自分のキャリアをあれこれ考えながら、Pythonで様々なデータを分析していくブログです

db-access

Python

pythonからOracleを操作する「cx_Oracle」が「python-oracledb」になったのでさっそく使ってみた

今までPythonからOracleデータベースにアクセスするライブラリとして、「cx_Oracle」を利用していました。 しかし、cx_Oracleは「python-oracledb」という名称になったようです。 cx_Oracle has...
Python

PythonでSQLAlchemyを使ってpostgreSQLを操作してみる

ヒノマルク pythonからデータベースに接続するライブラリでSQLAlchemyというものがあります色々な記事で使い方が載っていますが、よく理解せずに利用していました。今回公式ページをきちんと読んでまとめてみました。 SQLAlchemy...
Python

hiveのデータをpandasに読み込んでみる

ヒノマルク 今回はhiveのデータをpandasのデータフレームに読み込めるようにします。 hiveを使うということはかなり大きなデータを扱っていると思います。 データクリーニングやサマリデータの作成はなるべくhive側でさせてからpyth...
Python

PostgreSQLのデータをpandasに読み込んでみる

ヒノマルク 今日はpostgreSQLのデータをpandasのデータフレームに読み込めるようにします。 データベースからCSVに吐き出したものをpandasに読み込んでいる方はぜひ直接DBから読み込んでみてください。 psycopg2をイン...
Python

Oracleのデータをpandasに読み込んでみる

ヒノマルク ここまで環境構築系の記事をメインにアップしていました。今日からpandasの使い方に戻ろうと思います。 > 2022/11/30追記 cx_Oracleは名称が変わりpython-oracledbというライブラリになったようです...
Python

Pythonからimpylaでhiveを操作してみる

ヒノマルク どうもヒノマルクです。今日はhiveへのアクセスになります。 最近だとBigQueryに移行している企業もいるかと思いますが、まだまだ現役でゾウさんとハチさんに頑張ってもらっている企業も多いのではないでしょうか? ヒノマルクは業...
Python

[Mac] Pythonからcx_OracleでOracleデータベースを操作してみる

ヒノマルク どうもヒノマルクです。今日から吹き出しアイコンを使ってみました。この画像で作ると中々シュールです (笑) 今日はPythonからOracleデータベースにアクセスしてみようと思います。よろしくお願いします。 > 2022/11/...
Python

PythonからPsycopg2を使ってPostgreSQLのデータを操作してみる

明けましておめでとうございます。 2022年の最初の投稿になります、ヒノマルクです。 前回投稿した日から暫く経ってしまいました。 PythonからPostgreSQLにアクセスできるようにしようと思います。 Psycopgについて 今回はP...