オーバーフィットを防いだり、良い予測モデルを選択したりするために、データをいくつかのセットに分割してからモデル化することができます。このプロセスでは、データの一部を使ってパラメータを推定し、残りのデータを使ってパラメータを調整・評価します。JMP Proでは、以下の方法でデータを2つまたは3つのセットに分割できます。
学習・評価
データを学習セットと検証セットの2つに分割します。学習セットを使用して、モデルのパラメータを推定します。検証セットを使用して、あてはめたモデルの性能を評価します。
学習・調整
データを学習セットと検証セットの2つに分割します。学習セットを使用して、モデルのパラメータを推定します。検証セットは、モデルのあてはめのアルゴリズムで、モデルパラメータを調整し、予測能力に優れたモデルを最終的に選ぶために使用されます。この場合、独立したモデルの評価は行われません。
学習・調整・評価
データを学習セット・検証セット・テストセットの3つに分割します。学習セットを使用して、モデルのパラメータを推定します。検証セットは、モデルのあてはめのアルゴリズムで、モデルパラメータを調整し、予測能力に優れたモデルを最終的に選ぶために使用されます。その後、あてはめたモデルの性能を独立して評価するために、テストセットが使用されます。