Python PythonでSQLAlchemyを使ってpostgreSQLを操作してみる
ヒノマルク pythonからデータベースに接続するライブラリでSQLAlchemyというものがあります色々な記事で使い方が載っていますが、よく理解せずに利用していました。今回公式ページをきちんと読んでまとめてみました。 SQLAlchemy...
Pandas
Python Python hiveのデータをpandasに読み込んでみる
ヒノマルク 今回はhiveのデータをpandasのデータフレームに読み込めるようにします。 hiveを使うということはかなり大きなデータを扱っていると思います。 データクリーニングやサマリデータの作成はなるべくhive側でさせてからpyth...
Python PostgreSQLのデータをpandasに読み込んでみる
ヒノマルク 今日はpostgreSQLのデータをpandasのデータフレームに読み込めるようにします。 データベースからCSVに吐き出したものをpandasに読み込んでいる方はぜひ直接DBから読み込んでみてください。 psycopg2をイン...
Python Oracleのデータをpandasに読み込んでみる
ヒノマルク ここまで環境構築系の記事をメインにアップしていました。今日からpandasの使い方に戻ろうと思います。 > 2022/11/30追記 cx_Oracleは名称が変わりpython-oracledbというライブラリになったようです...
Python pandasで様々なデータをデータフレームに読み込んでみよう(TSV編)
どうもヒノマルクです。 今回はCSVファイルではなくTSVとスペースで区切られたファイルを読み込んでみます。 import pandas as pd pd.__version__ Out '1.3.4' TSVを読み込む # API ref...
Python pandasで様々なデータをデータフレームに読み込んでみよう(CSV編)
どうもヒノマルクです。 今日はCSVをpandasで読み込みたいと思います。 データは下記のようなものを準備しました。 CSVファイル ドラえもん,2112-9-3 野比 のび太,1964-8-7 源 静香,1964-5-2 骨川 スネ夫,...
Python Pythonでの分析用ライブラリであるpandasとは何か
どうもhinomarucです。 記念すべき新ブログでの分析系記事の1番目です。 仕事をしていてもしばらく使わなかったら忘れがちなpandasの使い方を記事化しようとかなと思います。 pandasとは何か pandasとはPythonのライブ...