4. データ前処理
4.6 データのシャッフル
データのシャッフルとは、並んでいるデータの順番をランダムに入れ替える操作である。一見単純に見えるが、学習の公平さや評価の正確さを保つうえでとても重要な前処理で、特に「データの並びが偏っている」場合に威力を発揮する。並び順には収集順（時系列）、機器やラインごと（グループ）、あるラベルの連続（不均衡）など、さまざまな偏りが混ざっていることが多い。シャッフルは、こうした並び順の“癖”を学習が誤って覚えてしまうのを避け、モデルの汎化（新しいデータへの当てはまり）を助ける基本手段である。[1][2]
まず、シャッフルが必要になる典型場面を整理する。1つ目は学習と評価への分割前で、もし順番どおりに前半を学習、後半を評価にすると、たまたま後半に特定の条件やクラスが偏っていても気づかず、評価が不公平になる恐れがある。ここでシャッフルしてから分割すれば、訓練とテストの両方に似た分布でデータが入る確率が高まり、偶然による過大・過小評価を和らげられる。2つ目は交差検証（データを複数の折りに分けて何度も学習・検証を繰り返す評価法）で、各分割の前にシャッフルを入れることで、ある折だけが易しすぎる・難しすぎるといった偏りをならす効果がある。また、データが非常に大きい場合などは、毎回一部をランダム抽出して評価する「シャッフル分割交差検証（Shuffle-Split）」が有効で、訓練・テストの比率も柔軟に指定できる。[2][3][1]
次に、ラベルの比率が偏っている分類問題では、シャッフルに加えて「層化（ストラティファイド）」を組み合わせるのが定石である。これは、各分割の中でクラスの割合が全体の割合に近くなるように、シャッフルしながら分ける方法で、少数クラスが検証データに入らない、といった事故を防ぐ。K分割交差検証に層化を適用する「層化K分割（Stratified K-Fold）」、あるいはシャッフル分割に層化を加える「層化シャッフル分割（Stratified Shuffle Split）」が広く使われ、どの折でもクラス比が揃うため、評価の安定性が高まる。実装ツールでも、分割時にshuffleフラグやrandom_state（乱数シード）を設定して再現性を確保するのが推奨されている。[4][5][6][7][1]
注意すべきは、シャッフルしてはいけない、または工夫が必要なケースの見極めである。代表は時系列データで、未来の情報を過去の学習に混ぜてしまうと「情報漏えい」になり、現実では不可能な高精度になってしまう。この場合は、シャッフルせずに「過去→未来」の順で学習・検証を区切る時系列用の交差検証を使うか、シャッフルは同一時間帯ブロック単位で行い、ブロックの順序は保つなどの配慮が必要になる。また、同一個体や同一ライン内で似たデータが多数ある場合は、個体（グループ）をまたいで混ざらないように「グループ分割」を使い、同じグループが訓練と検証に跨らないようにするのが基本である。層化とグループを両立する手法（StratifiedGroupKFoldなど）も紹介されており、クラス比の維持とグループ独立性を同時に満たす設計が可能だ。[3][8]
シャッフルが効果を発揮する理由は直感的だ。データの順番に含まれる偶然や収集手順の癖（例えば、最初は正常が多く、徐々に異常が増える、特定ロットが連続している、など）をならして、学習と評価の条件を近くするからである。これにより、たまたま予測しやすいデータだけで評価する危険を減らし、汎化性能の見積もりが安定する。一方で、並びに意味がある（時間、グループ）ときに無邪気にシャッフルすると、先述の情報漏えいが起きる。したがって、「いつランダム化するか」「何を単位にシャッフルするか」を目的とデータ構造に合わせて選ぶことが重要である。[8][1][2][3]
実務での手順は次のようにまとめられる。1) データ構造の把握：時系列か、グループがあるか、クラス比は偏っていないかを確認する。2) 分割戦略の選択：通常データならシャッフル＋K分割、クラス不均衡なら層化、巨大データや柔軟な比率が必要ならシャッフル分割（Shuffle-Split）を選ぶ。3) 再現性の確保：random_stateを固定し、結果の再現ができるようにする。4) データ漏えい対策：時系列は順序を守る、グループは跨がない、特徴量作成やスケーリングは「学習用で学んで検証用へ適用」の順を守る（分割前に全体で計算しない）。5) 検証の安定化：複数分割の結果を平均し、単一分割による偶然の影響を減らす。[6][1][2][3][8]
具体例でイメージを固める。製造ラインの音データを日付順に溜めた場合、朝は静かで夕方は騒がしいかもしれない。順番のまま前半学習・後半評価にすると、評価が「夕方のうるさい条件だけ」になり、モデルの実力を誤解する恐れがある。シャッフルしてから分割すれば、朝も夕方も両方に入る確率が上がり、平均的な実力に近い評価が得られる。一方、日毎の変化そのものを予測したい（時系列予測）なら、日付を保ったまま「過去日で学習→未来日で評価」にし、シャッフルはしない。分類で少数の異常サンプルがある場合は、層化を使って各折に必ず異常が入るようにして、評価が不安定化しないようにする。[5][1][4][8]
交差検証と組み合わせたシャッフルのバリエーションも押さえておくと役立つ。- K分割（K-Fold）：データをKつに分け、各回で1つを検証、残りを学習にする。shuffleを有効にすれば、分割前にランダム化され、各折の偏りが減る。- シャッフル分割（Shuffle-Split）：毎回ランダムサンプリングで学習・検証を作るため、データの一部を使い回せる。大規模データで有効。- 層化K分割／層化シャッフル分割：各折でクラス比を全体に揃える。分類の標準設定。- 時系列CV：順序を崩さず、過去→未来で区切る。シャッフルはしない。- グループK分割／層化グループK分割：同一グループが学習・検証に跨らないようにする。人・機器・ロット単位の独立性を守る。[1][3][8][5]
最後に、よくある失敗と対処をまとめる。- 失敗1：分割前に全データで前処理（正規化や特徴抽出）をしてからシャッフル・分割。対処：必ず「学習用の統計で学び、検証・テストにはそのパラメータを適用」する順序を厳守する（リーク防止）。- 失敗2：時系列をシャッフルして高精度に見せてしまう。対処：時系列CVやウォークフォワード分割を使う。- 失敗3：不均衡データで通常シャッフルのみ。対処：層化を有効にしてクラス比を揃える。- 失敗4：同一個体のデータが学習・検証に跨り、過大評価。対処：グループ分割で個体を分ける。- 失敗5：再現性がない。対処：乱数シード（random_state）を固定する。[7][3][8][5][6][1]
要点として、シャッフルは「並びの癖をならし、学習と評価の条件を近づける」ための基本操作であり、層化・グループ・時系列といった分割戦略と組み合わせて使うことで、評価の信頼性と再現性が大きく向上する。目的とデータ構造に合ったシャッフル設計を選べば、故障予知の実運用でも、誤検知と見逃しのバランスがとれた堅実なモデル評価に近づける。[2][3][8][5][1] [1] https://www.codexa.net/cross_validation/
[2] https://zenn.dev/monda/articles/kaggle-cv-template [3] https://zenn.dev/yuto_mo/articles/c5b37a569d5673 [4] https://qiita.com/Hatomugi/items/620c1bc757266b00e87f [5] https://otafuku-lab.co/aizine/cross-validation0910/ [6] https://helve-blog.com/posts/python/sklearn-cross-validation/ [7] https://blog.since2020.jp/data_analysis/%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92%E3%83%90%E3%83%AA%E3%83%87%E3%83%BC%E3%82%B7%E3%83%A7%E3%83%B3%E6%89%8B%E6%B3%95-%E5%BE%B9%E5%BA%95%E8%A7%A3%E8%AA%AC-part-2/ [8] https://www.salesanalytics.co.jp/column/no00324/ [9] https://qiita.com/Yorozuya59/items/53cd1fa9fe25efa16d72 [10] https://triggermind.com/ai-basic/machine-learning-basic/ [11] https://note.com/carbgem_hr/n/n6957224722f7 [12] https://pythonandai.com/scikit-learn-split/ [13] https://www.honda.co.jp/manual-access/navi/lxm-242zfni/pdf/lxm-242zfni_lxu-242nbi-a-03.pdf [14] https://car.panasonic.jp/support/manual/navi/data/re04d_04wd/re04d_04wd.pdf [15] https://www.docomo.ne.jp/binary/pdf/support/manual/SC-04E_J_OP_01FV.pdf [16] https://qiita.com/c60evaporator/items/ca7eb70e1508d2ba5359 [17] https://cs.regza.com/document/manual/100001_01r1.pdf [18] https://aws.amazon.com/jp/what-is/overfitting/ [19] https://www.honda.co.jp/manual-access/navi/vxu-207nbi/pdf/vxm-207vfni_vfei_vxu-207swi_nbi-a-all.pdf [20] http://car.panasonic.jp/support/manual/navi/data/rx02d_wd_rs02d_wd/rx02d_wd_rs02d_wd.pdf※本ページは、AIの活用や研究に関連する原理・機器・デバイスについて学ぶために、個人的に整理・記述しているものです。内容には誤りや見落としが含まれている可能性もありますので、もしお気づきの点やご助言等ございましたら、ご連絡いただけますと幸いです。
※本ページの内容は、個人的な学習および情報整理を目的として提供しているものであり、その正確性、完全性、有用性等についていかなる保証も行いません。本ページの情報を利用したこと、または利用できなかったことによって発生した損害（直接的・間接的・特別・偶発的・結果的損害を含みますが、これらに限りません）について、当方は一切責任を負いません。ご利用は利用者ご自身の責任でお願いいたします。
