機械学習における「オーバーフィッティング」「アンダーフィッティング」とは？

Deep neural networksなどの複雑なモデルは、データ中の微妙なパターンを検出することができる。 しかし、学習セットがノイズに満ちていたり、小さすぎたりすると（サンプリングノイズが入る）、モデルはノイズそのもののパターンを検出してしまう可能性が高い。

たとえば、生活満足度モデルに国の名前の属性を追加するとします。

この場合、複雑なモデルは、学習データで名前に「w」が含まれるすべての国の生活満足度が 7 より大きいという事実のようなパターンを検出するかもしれません： ニュージーランド (7.)3）、ノルウェー（7.4）、スウェーデン（7.2）、およびスイス（7.5）。

しかし、この w 満足度のルールは、ルワンダ、ジンバブエなどには一般化しません。

明らかにこのパターンは訓練データで純粋に偶然発生しましたが、モデルにはパターンが本物か単なるデータ内のノイズの結果かを区別する方法はありません。

オーバーフィッティングは、学習データの量とノイズに対してモデルが複雑すぎる場合に起こります。

学習データの属性数を減らすか、モデルを制約*する。

より多くの学習データを収集する。

学習データのノイズを減らす（例：データエラーを修正し、外れ値を削除する）。

モデルを単純化し、オーバーフィットのリスクを減らすためにモデルを制約することを正則化と呼ぶ。

たとえば、以前に定義した線形モデルには、θ0 および θ1 という 2 つのパラメータがある。

これにより、学習アルゴリズムは、モデルを学習データに適応させるための 2 つの自由度を与え、直線の高さ (θ0 ) と傾き (θ1 ) の両方を微調整することができます。

θ1 = 0 を強制すると、アルゴリズムは 1 つの自由度しか持たず、データを適切にフィットさせるのが難しくなる。

学習データに完全に適合させることと、モデルが十分に一般化できるように十分に単純に保つことの間の適切なバランスを見つけたいのです。