(その3-1) タイタニックのデータセットのデータ加工の計画

前回はそもそもデータの加工作業では何をするのかをまとめていました。

手順として下記のような作業が発生すると書きました。

そこで、タイタニックのデータセットでは具体的にどういうことをしたらいいか考えてみました。

下記のKaggleでKagglerが公開しているチュートリアルを参考にしました。

① 欠損値処理 (missing value processing)

まずは、2レコードしか欠損していないEmbarkedカラムから欠損値処理をしたいと思います。

こちらは最頻値の値を代入するか、簡単なクロス集計をしてEmbarkedカラムの値を推定したいと思います。

※ チュートリアルを見ると実際に欠損レコードの対象者をGoogle検索してどこから乗船したのか分かるようです。

次に、20%ほど欠損があるAgeカラムです。

基礎俯瞰をした時にAgeは生存率の関係がありそうなファクターだと感じたので、補完してあげたいと思います。
クロス集計でもよいですが、せっかくなので目的変数をAgeにした回帰モデルを作成して年齢を推定させてあげようと思います。

最後に77%欠損があるCabinカラムです。

客室と生存は間違いなく関係ありそうなので、悩みどころです。

個人的には欠損値が多すぎるのでカラムごと除外してしまってもいいのかなと思っています。

参考までにチュートリアルによると、Cabinの先頭のアルファベットが客室のおおよその場所を示しており、Pclassによってどこからどの場所か推定できるようです。

まずは、外れ値があるかどうか確認したいと思います。

数値データに対して実施し、データを現状ママか削除か変換かを判断したいと思います。

基礎俯瞰のときに、Fareカラムが裾の長い分布になっていたので、外れ値があるのかもしれません。
(一緒に乗船している人数分の合算になっているかも知れないので、確認は必要。)

外れ値かどうかはせっかくなのでGrubbs'TestやTietjen-Moore Testなどの検定を試したいと思います。

チュートリアルを参考にしつつ、下記変数を追加で作成したいと思います。

相関係数とVIFの値を算出し、多重共線性の確認をしたいと思います。
その上でどちらかの変数を採用するなど決めたいと思います。

今回はバランスデータになっているようなのでやりません。

タイタニックのデータセットのデータ加工の計画をたてました。

仮説検定も時間があれば試してみたいと思います。