4. データ前処理
4.5 欠損データ処理
観測や記録の現場では、値が入っていない「穴」が必ずと言ってよいほど生じる。これを欠損データ（欠測値）と呼び、その扱い方次第で解析結果や学習モデルの精度・信頼性は大きく変わる。最初に押さえるべきは、欠損がどういう理由で起きているか（欠損メカニズム）と、どの程度・どんな項目に偏って起きているか（欠損パターン）である。欠損メカニズムは大きく3類型に整理される。完全にランダム（MCAR: Missing Completely At Random）は、欠損の発生が他の変数や真の値と無関係に偶然起きる状態で、この場合は欠損を含む行を除外しても推定が偏りにくいと説明される。ただし現実にMCARは稀で、観測済みの他変数に依存して欠損する（MAR: Missing At Random）ことが多く、この場合は除外のみだと偏りが生じうるため、観測済み変数を用いた補完などの統計的手当てが必要になる。真の欠損値そのものに欠損の発生が関係する（MNAR: Missing Not At Random）ケースは「無視不可能」で、機構の理解や追加データ収集、専門的なモデル化が求められる。[1][2][3]
欠損処理の基本方針は、1) 欠損の実態把握（比率・分布・関連）、2) 欠損メカニズムの仮説立て（MCAR/MAR/MNARの見立て）、3) 目的（推定の偏り最小か、精度最大か、再現性重視か）に沿った手法選択、4) 実施と妥当性確認（感度分析を含む）、の順で進めると破綻が少ない。まず比率と分布を見る。項目別の欠損率、レコード（行）ごとの欠損数、時間帯や運転条件で偏っていないか、欠損のある・ないで他の変数の分布が違わないかを点検する。MCARの仮説は、他変数で層別したときに欠損発生が変わらないか、といった間接的検討で補強できる。形式的検定（例：LittleのMCAR検定）を使うこともあるが、実務では可視化と記述統計で十分な判断材料が得られることが多い。[4][3][1]
処理法は大きく「削除」「補完（代入）」「モデルに直接組み込む」の三系統が中心になる。削除は仕組みが単純で実装も容易だが、情報損失と偏りのリスクを常に伴う。代表はリストワイズ削除（欠損を含む行を全削除）とペアワイズ削除（解析に必要なペアに限って利用）で、MCARかつ欠損率が十分小さい場合は有効だが、MARやMNAR、欠損率が高いと推定が歪むおそれがあるため、安易な一括削除は避けるべきとされる。[5][6][7]
補完（代入）は欠損に何らかの値を入れて完全なデータに整える。単一代入の初歩は平均値・中央値・最頻値による補完で、データを捨てずに前に進める利点がある一方、分散を過小評価し関連を歪める副作用があるため用途は探索・前処理段階に限定するのが妥当である。もう一段進んだ単一代入には回帰補完（観測済み特徴から欠損を予測）やk近傍、決定木などの機械学習ベースの補完があるが、単一の確定値で埋める限界として不確実性を反映できない点は変わらない。より推奨されるのが多重代入（Multiple Imputation, MI）で、欠損ごとに複数の乱数性を伴う代入を行って複数の完成データセットを作り、それぞれ解析した結果を統合する。これにより代入の不確実性が推定量の分散に反映され、単一代入の過剰な自信過剰を避けやすい。疫学や社会調査の分野でも、多重代入の有用性が従来手法に比べて指摘されている。[8][9][4]
削除と補完の折衷や注意点も重要である。欠損がランダムでない可能性があるときは、値を埋めるだけでなく「欠損があった」という情報自体を二値フラグで新しい特徴として保存しておくと、モデリング時に有用なことがある。これは補完＋欠損フラグの併用と呼ばれ、欠損の有無自体が意味を持つ場面（特定属性に偏った欠損など）で性能を高めやすい実務的工夫である。また、ペアワイズ削除で分析ごとにサンプルが変わると結果の一貫性が損なわれる懸念があり、レポーティングのルールとしてサンプル数の変動を明示する必要がある。[10][7][5]
実装の観点では、入門段階では平均・中央値・最頻値による単純補完や、列・行の削除といった基本操作を正しく使い分けられることが出発点になる。そのうえで、MARが想定される場合は観測済みの説明変数を活用した回帰補完や、多重代入法（例：mice/Amelia等のパッケージ）を導入すると、統計的により健全な解析へと進められる。PythonやRの解説では、単一代入とリストワイズ削除の組み合わせから始め、データセットに応じて段階的に多重代入へ進む学習曲線が推奨されている。[11][6][8]
補完法ごとの長所と弱点を具体的に整理しておく。平均・中央値補完は迅速・簡便で、モデル入力の欠損をただちに解消できるが、分散と相関を歪めやすい。モード補完（カテゴリ）は最頻カテゴリの過大評価を招く場合がある。回帰補完は他変数の情報を活かせるが、確定的に埋めると分散を過小評価しがちで、誤指定の影響も受ける。機械学習補完は非線形や相互作用に強い一方で、過学習やリーク（欠損の生じ方の情報を不適切に使う）の管理が必要になる。多重代入は理論的にバランスがよいが、設計（代入モデル、反復、プール方法）や計算コストの理解が要る。MNARが疑われるときは、補完そのものの前に欠損生成機構の把握や、感度分析（異なる仮定での結果比較）を行うのが望ましい。[6][9][4]
実務の手順を具体化すると次の通りである。1) 欠損の可視化と記述：項目別欠損率、行別欠損数、時系列ヒートマップ、欠損と他変数の相関を点検する。2) メカニズムの仮説：MCAR/MAR/MNARの当たりをつけ、MCARが妥当なら削除も選択肢に入れる。3) 基準線の処理：まずは単純補完またはMCARに限ったリストワイズ削除で粗い分析を走らせ、目的の尺度（バイアス・分散・再現性）の観点で問題を洗い出す。4) 本処理の選択：MAR想定なら観測変数を使った補完、可能なら多重代入へ。欠損フラグも併用して「欠損の有無」を特徴として残す。5) 妥当性確認：処理前後の分布・相関の変化、モデル性能の変化、別処理の感度を比較し、結論が処理法に過度に依存していないか点検する。6) 記録：採用した仮定、欠損率、処理法、代入モデルの仕様とハイパラ、検証結果を明記し、再現可能性を担保する。[8][10][6]
欠損処理は「欠損をゼロにすること」ではなく、「欠損が結論に与える影響を制御し、根拠を明確にすること」が目標である。MCARでない限り、単なる削除や単純補完は偏りや過小分散の原因になりうる。多重代入や観測変数を活かした補完は、この問題に対する標準的な解決策として各分野で推奨されている。さらに、欠損は「情報」でもある。欠損フラグを特徴として持たせることで、モデルが欠損の偏りそのものを学習に活かせることがある点も実務のエッセンスである。[9][5][10]
最後に、現場での落とし穴と回避策をまとめる。- 欠損率が高い項目を何も考えず削除すると、重要なシグナルを同時に失う可能性がある。代替取得や推定可能性を検討した上で意思決定する。- 欠損を「一括で平均補完」すると、分散・相関の歪みが大きくなり、下流の検定やモデルが過剰に自信を持つ。探索段階にとどめるか、必ず感度分析を実施する。- 補完後のデータで「欠損があった記録」を見分けられないと、後工程での解釈が困難になる。欠損フラグの併用で情報を保存する。- MAR仮定は検証不能な仮定でもある。合理性の説明（欠損の生じ方に関するドメイン知識）と、異なる仮定での感度分析を記すことで、結論の頑健性を示す。[2][3][4] [1] https://www.salesanalytics.co.jp/column/no00363/
[2] https://aitc.dentsusoken.com/column/column15/ [3] https://ja.wikipedia.org/wiki/%E6%AC%A0%E6%B8%AC%E3%83%87%E3%83%BC%E3%82%BF [4] https://hira-labo.com/archives/3088 [5] https://note.com/tatsu321/n/n949b00581b9e [6] https://www.issoh.co.jp/column/details/5803/ [7] https://www.kitamura-foundation.org/images/book/13.pdf [8] https://www.codexa.net/missing_value_python/ [9] https://www.jstage.jst.go.jp/article/jve/20/2/20_111/_pdf [10] https://bigdata-analytics.jp/for-beginners/handle-missing-and-outlier-data/ [11] https://uribo.github.io/practical-ds/03/handling-missing-data.html [12] https://editverse.com/ja/handling-missing-data-imputation-methods-for-2024-research/ [13] https://www.esri.cao.go.jp/jp/stat/report/report_2_1.pdf [14] https://zizou-book-lab.com/missing-pattern-mcar-mar-mnar/ [15] https://book.st-hakky.com/data-science/missing-values-in-datasets [16] https://mmbiostats.com/missing_value_classification [17] https://zenn.dev/mi_01_24fu/articles/missing-value-2025_03_14 [18] https://qiita.com/kazuya_minakuchi/items/26b26d42438c7c2d7871 [19] https://machine-learning-skill-up.com/knowledge/pandas%E3%81%A7%E4%B8%AD%E5%A4%AE%E5%80%A4%E8%A3%9C%E5%AE%8C%E3%82%92%E5%AE%9F%E8%B7%B5%EF%BC%81%E6%AC%A0%E6%90%8D%E3%83%87%E3%83%BC%E3%82%BF%E5%AF%BE%E7%AD%96%E3%81%AE%E5%9F%BA%E6%9C%AC%E3%82%92 [20] https://norimune.net/1811※本ページは、AIの活用や研究に関連する原理・機器・デバイスについて学ぶために、個人的に整理・記述しているものです。内容には誤りや見落としが含まれている可能性もありますので、もしお気づきの点やご助言等ございましたら、ご連絡いただけますと幸いです。
※本ページの内容は、個人的な学習および情報整理を目的として提供しているものであり、その正確性、完全性、有用性等についていかなる保証も行いません。本ページの情報を利用したこと、または利用できなかったことによって発生した損害（直接的・間接的・特別・偶発的・結果的損害を含みますが、これらに限りません）について、当方は一切責任を負いません。ご利用は利用者ご自身の責任でお願いいたします。
