自分のキャリアをあれこれ考えながら、Pythonで様々なデータを分析していくブログです

hinomaruc

Python

[pandas] その1 行と列の選択でのデータ抽出の方法をまとめてみた

ヒノマルク pandasの使い方をまとめていきます。 まずは行と列のデータの抽出方法です。 中々忘れがちですよね。pandasのバージョンによって非推奨になる機能もあります。 事前に下記記事ご覧になっておくとより理解が深まると思います。 条...
Python

[Python] Numpyとは何かまとめてみました。

ヒノマルク pandasの使い方を書く前に、numpyの知識も必要だと思い調べました。 自分があまり理解できていなかったことを痛感しました。 記事をまとめるのにそれなりに時間がかかりましたが、勉強になりました。 Numpyとは何か Nump...
Python

[pandas] read_csvでUnicodeDecodeErrorが出る場合の解決方法

ヒノマルク 今まで動いていたコードが動かなくなったことありますよね。 read_csvでウェブ上のテキストファイルを読み込んでいたのですが、なぜかUnicodeDecodeErrorというエラーが出るようになってしまいました。今回解決できた...
Python

PythonでSQLAlchemyを使ってpostgreSQLを操作してみる

ヒノマルク pythonからデータベースに接続するライブラリでSQLAlchemyというものがあります色々な記事で使い方が載っていますが、よく理解せずに利用していました。今回公式ページをきちんと読んでまとめてみました。 SQLAlchemy...
Python

hiveのデータをpandasに読み込んでみる

ヒノマルク 今回はhiveのデータをpandasのデータフレームに読み込めるようにします。 hiveを使うということはかなり大きなデータを扱っていると思います。 データクリーニングやサマリデータの作成はなるべくhive側でさせてからpyth...
Python

PostgreSQLのデータをpandasに読み込んでみる

ヒノマルク 今日はpostgreSQLのデータをpandasのデータフレームに読み込めるようにします。 データベースからCSVに吐き出したものをpandasに読み込んでいる方はぜひ直接DBから読み込んでみてください。 psycopg2をイン...
Python

Oracleのデータをpandasに読み込んでみる

ヒノマルク ここまで環境構築系の記事をメインにアップしていました。今日からpandasの使い方に戻ろうと思います。 > 2022/11/30追記 cx_Oracleは名称が変わりpython-oracledbというライブラリになったようです...
Python

[Mac] Python3.7の仮想環境を作成する

ヒノマルク どうもヒノマルクです。今日は異なるバージョンのPythonをインストールし、異なるバージョンのPythonの仮想環境を作成したいと思います。 automlの調査をしていた時、色々なライブラリを比較していたのですが、 mlboxと...
Python

Pythonからgoogle-cloud-bigqueryでBigQueryにアクセスしてみる

ヒノマルク どうもヒノマルクです。今日はBigQueryにPythonから接続できるようにしようと思います。google-cloud-bigqueryというライブラリを使用します。 google-cloud-bigqueryに対応しているP...
Python

Pythonからimpylaでhiveを操作してみる

ヒノマルク どうもヒノマルクです。今日はhiveへのアクセスになります。 最近だとBigQueryに移行している企業もいるかと思いますが、まだまだ現役でゾウさんとハチさんに頑張ってもらっている企業も多いのではないでしょうか? ヒノマルクは業...