Linux [Linux] ディスクの空き容量と使用量をdfコマンドとduコマンドで確認する
データアナリストとして働いていても何だかんだLinuxに触れる機会はそれなりにあるかと思います。 ・Linuxサーバーに入ってsqlコマンドを叩く ・共有で使っているjupyterサーバーが落ちていたので、Linuxに入って起動し直す ・簡...
2022-08
Linux 
Python Pythonで最も似た属性をもつ商品をコサイン類似度で計算し取得する
今回はコサイン類似度の算出方法をまとめておきたいと思います。 コサイン類似度とは2つのベクトルがどれくらい似ているか表す指標になります。 コサイン類似度とは2つのベクトルが「どのくらい似ているか」という類似性を表す尺度で、具体的には2つのベ...
Python Pythonのライブラリをpipで一括アップデートする方法 (pip22.3.1対応)
今日は作成した仮想環境が古くなった場合に一度にアップデートする方法をまとめておきます。 更新があるライブラリを取得しアップデート 結論から記載すると下記コマンドで一斉アップデートできます。 pip22.3.1より前 (22.3.1は含まない...
Data Analytics (その3-2) アップル引越しの需要予測をProphetでやってみた
今回はMeta社のProphetというツールを使ってみたいと思います。 Prophet is a forecasting procedure implemented in R and Python. It is fast and provi...
Python Jupyter notebookのおすすめ拡張機能5選をまとめてみた
今回はJupyter notebookの拡張機能(jupyter_contrib_nbextensions)をインストールしおすすめの機能をまとめておこうと思います。 The IPython-contrib repository is ma...
Data Analytics (その3-1) アップル引越しの需要予測をAutoML(AutoGluon)でやってみた
今回からアップル引越しのデータを使って時系列予測モデルを作成していきます。 最初からAutoMLであるAutoGluonを使ってしまうと思っています。 サンプルデータを使って動作確認をした記事もありますので補足情報にお使いください。 GPU...
Data Analytics (その2) アップル引越しの需要予測のデータ確認
前回の続きで、アップル引越しのデータの中身を確認していきたいと思います。 import pandas as pd # 訓練データと予測付与用データの読み込み df = pd.read_csv("/Users/hinomaruc/Deskto...
Python Google ColabのGPU環境でAutoGluonのTime Series Forecasting機能を試してみる
本記事ではGoogle ColaboratoryのGPU環境でAutoMLライブラリであるAutoGluonをインストールし、Times Series Forecastingの機能が動作するところまでを確認していきます。 AutoGluon...
Python Google ColabのGPU環境でGPU版torchとGPU版mxnetの動作確認をしてみた。
本記事では、今後ディープラーニング系のライブラリを使っていこうと思っている中でGPUを使える環境を準備したかったので、Google ColaboratoryのGPU環境の確認とGPU版のtorchとmxnetというライブラリを使ってみた結果...
Data Analytics (その1) アップル引越しの需要予測の分析計画
今回から時系列データの分析に入りたいと思います。 データはSIGNATE社のデータ分析コンペでダウンロード出来る、アップル引っ越しセンターの引越し実績を利用したいと思います。 アップル引っ越しセンターは下記サイトになります。 IT化によって...