自分のキャリアをあれこれ考えながら、Pythonで様々なデータを分析していくブログです

hinomaruc

Data Analytics

(その4-6) エイムズの住宅価格をランダムフォーレストで予測してみた パート2

今回は前回の続きでランダムフォーレスト(random forest)のパラメータチューニングをベイズ最適化(Bayesian Optimization)で行いたいと思います。 色々と調べている中、ベイズ最適化はグリッドサーチのように総当たり...
Data Analytics

(その4-6) エイムズの住宅価格をランダムフォーレストで予測してみた パート1

今回はランダムフォーレスト(random forest)になります。 旧ブログでも割とアクセスがあった手法になります。 大学の授業や会社での勉強などでとりあえず使ってみたいという方は上から順に実行すれば動くはずですのでぜひお試しください。 ...
Data Analytics

(その4-5) エイムズの住宅価格をサポートベクター回帰(SVR)で予測してみた

今回はサポートベクター回帰(SVR)になります。 サポートベクターマシーン(SVM)はよく聞きますが、SVRはSVMを回帰問題に適用したものであるようです。 詳細は「Unlocking the True Power of Support V...
Data Analytics

(その4-4) エイムズの住宅価格をニューラルネットワークで予測してみた

今回はニューラルネットワークになります。 今だとディープラーニングの方が聞いたことがある方の方が多いでしょうか? ディープラーニングはニューラルネットワークを多層化することにより高精度を出すことを可能にした手法のようです。 ディープラーニン...
Data Analytics

(その4-3) エイムズの住宅価格を多項式回帰で予測してみた

今日は多項式回帰でエイムズの住宅価格を予測したいと思います。 多項式回帰は、従属変数と独立変数とが非線形的な関係で表現されるような場合に適しており 引用: 多項式回帰 多項式回帰についてはWikipediaをご覧ください。 多項式回帰ですが...
Data Analytics

(その4-2) エイムズの住宅価格を重回帰分析で予測してみた

今回はみんな大好き重回帰分析を行いと思います。 結果が分かりやすく企画側のメンバーにも説明しやすいので私は好んで使っています。 精度はXgBoostなどのアルゴリズムには敵わないと思いますが、係数や切片さえ出してしまえばシステムにも組み込み...
Data Analytics

(その4-1) エイムズの住宅価格を単回帰分析で予測してみた

評価指標 住宅IdごとのSalePrice(販売価格)を予測するコンペです。 評価指標は予測SalePriceと実測SalePriceの対数を取ったRoot-Mean-Squared-Error(RMSE)の値のようです。 単回帰分析 分析...
Data Analytics

(その3-3) エイムズの住宅価格のデータセットのデータ加工②

下記記事の続きになります。 データ加工をする場合は「(その3-2) エイムズの住宅価格のデータセットのデータ加工①」から実施してくださいね。 変数選択 変数選択をして行きます。実業務ではたくさんの説明変数を作成することが多いですので、「次元...
Data Analytics

(その3-2) エイムズの住宅価格のデータセットのデータ加工①

前回、(その3-1) エイムズの住宅価格のデータセットのデータ加工の計画ということでどう進めて行こうか計画を立てました。 今回は欠損値処理、外れ値処理、特徴量エンジニアリング① (追加変数作成、データ型変更)を実施しました。 変数選択や特徴...
Data Analytics

(その3-1) エイムズの住宅価格のデータセットのデータ加工の計画

前回までの記事でデータの俯瞰をやったので、今回からは欠損値処理、外れ値処理、特徴量エンジニアリングをしてモデリング用データを作成したいと思います。 まずはどう加工するか計画を練りました。 ちなみに下記Kaggleのノートブックを参考にしてい...