自分のキャリアをあれこれ考えながら、Pythonで様々なデータを分析していくブログです

Pandas

Python

pythonからOracleを操作する「cx_Oracle」が「python-oracledb」になったのでさっそく使ってみた

今までPythonからOracleデータベースにアクセスするライブラリとして、「cx_Oracle」を利用していました。 しかし、cx_Oracleは「python-oracledb」という名称になったようです。 cx_Oracle has...
Python

pandasのデータを上から順に1行ずつ処理をする方法

pandasで簡単な条件でフラグを作る方法などは下記の記事で紹介しました。 今回はより複雑な条件で、データを上から順に処理をすることで汎用的に使えそうな方法を試してみました。 この方法を使うことによって例えば、日売データから「商品ごとに累積...
Python

seabornで棒グラフ作成 (大量データ対応)

今日はseabornで棒グラフを作成しようと思います。 試してみましたが、大量データを表示すると重かったり、X軸がラベルで真っ黒になってしまうかと思います。 対応方法としてデータを特定条件で間引いて表示するようにしました。 今回は表示したい...
Python

PythonでExcelみたいなグラフを描いてみる

Pythonでグラフを描画するとどうしてももう少し綺麗にならないかなと常々考えていました。 seabornという優秀なライブラリを使えば、見た目が綺麗なグラフを作成できますが、Excelと比べてしまうとどうしても違和感がありました。 なので...
Python

pandasに新しいカラムを追加する5つの方法

ヒノマルク 今回はDataFrameに新しいカラムを追加する方法をまとめました。 例えば全て1という値のカラムを追加したり、特定のルールにしたがって区分値を付与し直す時などに新規カラムを追加することになります。 ボストンの住宅価格データセッ...
Python

[pandas] その3 evalとqueryでのデータ抽出方法をまとめてみた

ヒノマルク 前回はセルの値を条件にして抽出する方法をまとめました。 今回はpandasのevalメソッドとqueryメソッドでの抽出方法をまとめてみたいと思います。 evalメソッドについて evalメソッドはdf.eval("抽出条件")...
Python

[pandas] その2 条件式でのデータ抽出方法をまとめてみた

ヒノマルク 前回は行の番号や列のラベルでデータを抽出していました。 今回はセルの値を条件にして抽出する方法を調べて見ます。 下記記事の続きになります。 Boolean Indexing (ブール索引) によるデータ抽出 ある行や列を特定の値...
Python

[pandas] その1 行と列の選択でのデータ抽出の方法をまとめてみた

ヒノマルク pandasの使い方をまとめていきます。 まずは行と列のデータの抽出方法です。 中々忘れがちですよね。pandasのバージョンによって非推奨になる機能もあります。 事前に下記記事ご覧になっておくとより理解が深まると思います。 条...
Python

[Python] Numpyとは何かまとめてみました。

ヒノマルク pandasの使い方を書く前に、numpyの知識も必要だと思い調べました。 自分があまり理解できていなかったことを痛感しました。 記事をまとめるのにそれなりに時間がかかりましたが、勉強になりました。 Numpyとは何か Nump...
Python

[pandas] read_csvでUnicodeDecodeErrorが出る場合の解決方法

ヒノマルク 今まで動いていたコードが動かなくなったことありますよね。 read_csvでウェブ上のテキストファイルを読み込んでいたのですが、なぜかUnicodeDecodeErrorというエラーが出るようになってしまいました。今回解決できた...