6. 故障予知のアプローチ
6.9 閾値設定の方法
異常検知や分類の仕上げで欠かせないのが「閾値（しきい値）」の設計である。モデルは多くの場合、各サンプルに「異常らしさ」や「異常である確率に相当するスコア」を連続値で返す。実運用では、そのスコアをどこで二値化するか（正常/異常を分けるか）によって、見逃し（本当は異常なのに正常と判定）と誤警報（本当は正常なのに異常と判定）のバランスが決まる。したがって、目的（安全重視か、作業効率重視か）とデータ特性（不均衡の度合い、負荷変動）に合わせて、合理的に閾値を選ぶ方法論が必要になる。まず大枠として、単一の固定閾値に依存しない評価（ROC/PR）でモデルの素性を把握し、その上でコストや運用制約に沿って「どの点を採用するか」を決めるのが定石である。[1][2][3]
モデルの汎用評価には、全ての可能な閾値を走査して性能の曲線を描くROC曲線（横軸FPR、縦軸TPR）やPR曲線（横軸再現率、縦軸適合率）が広く使われる。ROCはクラス不均衡の影響を受けにくい全体的な識別力の把握に適し、AUCは閾値に依らない総合指標である。一方、少数派（異常）の重要度が高い場面では、PR曲線の方が直感的に状況を映しやすく、特に不均衡データではPRの方が情報量が多いとする議論が定着している。ここで重要なのは、F1（適合率と再現率の調和平均）は特定の閾値を選んだ時だけ定義されるため、F1で比較するには「どの閾値でF1最大か」を同じ手順で求める必要があるという点である。[4][2][3][1]
実運用の閾値決定には複数の方針がある。第一は、目的再現率（見逃し許容度）や目的特異度（誤警報許容度）の制約を先に置き、曲線上でその制約を満たす点を選ぶ方法である。例えば「再現率を最低90%確保」と定めると、PR曲線上で再現率0.9以上の範囲の中から適合率が最も高い点を採る、といった設計ができる。第二は、費用（誤警報コストαと見逃しコストβ）で重み付けした期待コストを最小化する方針で、ROC平面上ではFPRとTPRの線形制約として幾何的に解釈でき、許容コスト境界とROC曲線の交点が最適運用点になる。第三は、検査キャパシティの制約（1日あたり処理できるアラート数M）を上限として、ROC平面で到達可能な領域内の交点（許容FPR・TPRの組）を選ぶ“容量制約下の最適点”の考え方で、現場制約を直接反映できる。[5][2][1]
手堅いチューニング手順をまとめる。1) まず閾値に依らない評価（ROC-AUC/PR-AUC）でモデルの素性を確認する。2) 検証データ上で全しきい値を走査して曲線を作り、業務仕様（再現率下限、誤警報の容量、コスト比）に合う実用点を候補化する。3) 候補点ごとにF1や期待コストを算出し、同等性能なら変動が小さい（ロバストな）点を採用する。F1は閾値に敏感で、外れ率の仮定（contamination）によって振れやすいので、AUC系と併用して判断する。4) 最終閾値は独立のテストセットで一度だけ確認し、確定する（バイアス防止）。この一連は、実装面でも「全しきい値のTPR/FPRを列挙して曲線を描く」基本操作に沿って進められる。[6][2][4][5][1]
評価指標の性質も押さえておく。- ROC-AUCは不均衡に比較的安定だが、陽性スコア分布が不変なら分布比の変化でAUCは変わりにくいという報告があり、状況に応じた読み方が必要である。- PR-AUCは不均衡に敏感で、陽性の実効的な検出力を直接評価できるため、異常検知の実務に向く。- F1は単一閾値に依存し、データの外れ率の仮定やしきい値の取り方に大きく影響されるため、最適化は系統立てて行う（最大F1点を求める等）。[7][4][1]
実務のもう一つの系譜として、「工程の統計管理」に基づく閾値もある。時系列の単変量監視（例えば1フレームRMSや帯域RMS）では、基準期間の平均±3σの管理限界（3シグマ・ルール）を超えたら逸脱とみなす、という古典的アプローチが広く用いられてきた。3σ管理図は、プロセスが統計的に安定なら約99.73%が限界内に収まり、特別原因による逸脱の早期発見に適する。注意すべきは、この方法は単変量の分布仮定（近似正規性）や安定条件に依存するため、負荷や季節で分布が動く場合は条件別に基準を持つ、または移動平均・移動σで適応させる、といった運用が要る点である。[8][9][10][11]
不均衡に対する「閾値移動」の実務も重要である。多くの分類器は“確率様スコア”を返すが、既定の0.5で二値化せず、目的指標を最適化するように閾値を動かすのが定石である。例えば、PR曲線上でF1最大点の閾値、あるいはコスト最小点の閾値を検証で求めて採用する方法が代表的で、確率の較正と併用すると挙動が安定する。実装例では、業務コスト関数を与えて閾値を自動選択する枠組み（コストセンシティブ閾値調整）も提供されている。[12][13]
異常検知固有の話題として、「想定外れ率（contamination）で一律の割合を異常に割り当てる」運用もある。これは訓練や評価データで想定外れ率を1%、5%、10%などに設定し、その上位スコアを異常と見なす手順で、データセット間で閾値を揃える実験設計として用いられる。F1はこの仮定に敏感であり、同じモデルでも設定した外れ率により最適点が動くため、AUCのような閾値非依存の指標と合わせて評価するのが推奨される。[4]
最後に、現場に落とすためのチェックリストを挙げる。- 目的の明確化：見逃しと誤警報のどちらをどれだけ許容するか、再現率下限や処理容量、コスト比（α,β）を事前に合意する。- 曲線評価：検証セットでROC/PRを作り、目的制約を満たす範囲の最良点（F1最大、コスト最小など）を選ぶ。- データ不均衡：PR重視で比較し、必要なら閾値移動と確率較正を併用する。- 統計管理の補助：単変量監視には3σ管理限界を補助線として用い、工程変動の逸脱を早期検知する。- 独立検証：最終閾値は独立テストで一度だけ確認し、固定する（リークと過適合の防止）。- ドリフト対応：季節・負荷・装置差で分布が動く前提で、条件別閾値や定期再同定のルールを持つ。- 仕様化：採用閾値、根拠となる曲線・指標、見直し周期、想定外れ率の設定、有事の運用（エスカレーション）を文書化する。[9][10][2][11][12][5][8][1][6]
要点として、閾値は「モデルの素性（曲線）」と「現場制約（再現率・コスト・容量）」の交点として設計するのが最短距離である。単一の指標や経験則に頼らず、ROC/PRで広く見渡し、目的制約やコスト、3σによる単変量の監視も併用しながら、検証セット上で一貫した手順で決めることが、誤警報と見逃しのバランスを最適化し、現場で持続的に機能する閾値設定につながる。[2][8][1] [1] https://journals.plos.org/plosone/article?id=10.1371%2Fjournal.pone.0118432
[2] https://developers.google.com/machine-learning/crash-course/classification/roc-and-auc [3] https://en.wikipedia.org/wiki/Receiver_operating_characteristic [4] https://arxiv.org/html/2409.15986v1 [5] https://arxiv.org/pdf/2504.02169.pdf [6] https://fraud-detection-handbook.github.io/fraud-detection-handbook/Chapter_4_PerformanceMetrics/ThresholdFree.html [7] https://www.sciencedirect.com/science/article/pii/S2666389924001090 [8] https://www.6sigma.us/cause-variation/what-are-control-limits/ [9] https://www.investopedia.com/terms/t/three-sigma-limits.asp [10] https://en.wikipedia.org/wiki/Control_chart [11] https://www.spcforexcel.com/knowledge/control-chart-basics/three-sigma-limits-control-charts/ [12] https://www.machinelearningmastery.com/threshold-moving-for-imbalanced-classification/ [13] https://scikit-learn.org/stable/auto_examples/model_selection/plot_cost_sensitive_learning.html [14] https://arxiv.org/html/2312.09143v1 [15] https://milvus.io/ai-quick-reference/how-does-anomaly-detection-handle-imbalanced-class-distributions [16] https://www.vldb.org/pvldb/vol17/p483-zhang.pdf [17] https://towardsdatascience.com/courage-to-learn-ml-a-deeper-dive-into-f1-recall-precision-and-roc-curves-d5c0a46e5eb7/ [18] https://ieeexplore.ieee.org/document/10737508/ [19] https://balancedscorecard.org/wp-content/uploads/pdfs/control.pdf [20] https://www.6sigma.us/process-improvement/control-charts-six-sigma-ultimate-guide/※本ページは、AIの活用や研究に関連する原理・機器・デバイスについて学ぶために、個人的に整理・記述しているものです。内容には誤りや見落としが含まれている可能性もありますので、もしお気づきの点やご助言等ございましたら、ご連絡いただけますと幸いです。
※本ページの内容は、個人的な学習および情報整理を目的として提供しているものであり、その正確性、完全性、有用性等についていかなる保証も行いません。本ページの情報を利用したこと、または利用できなかったことによって発生した損害（直接的・間接的・特別・偶発的・結果的損害を含みますが、これらに限りません）について、当方は一切責任を負いません。ご利用は利用者ご自身の責任でお願いいたします。
