検証列は、データを交差検証セットに分割するための枠組みを提供します。また、いくつかのJMPプラットフォームでは、K分割法やさまざまな種類の保留法による検証もサポートされています。
K分割交差検証法
まず、データをK個に分割します。(K-1)個分のデータからモデルが学習され、その学習されたモデルに基づき、残りの1個分からモデル検証の指標が計算されます。この処理は、順番にK回行われ、K回の処理が終わった後、それらから計算されたK個の指標が合計されます。この一連の処理を異なるモデル設定で行い、指標の合計が最も良いモデル設定が選択されます。選ばれたモデル設定にはK個のモデルがありますが、そのうち、データ全体での指標が良いモデルが最終的に選択されます。
メモ: いくつかのプラットフォームでは、モデルの設定パネルでK分割交差検証法を指定する必要があります。また、プラットフォームの起動ウィンドウでK分割交差検証法を指定しなければならないプラットフォームもあります。さらに別のプラットフォームでは、4つ以上の水準を持つ検証列を指定して、K分割交差検証法を行わなければならない場合があります。
無作為抽出による保留法
(特定のプラットフォームの起動オプションとして使用可能。)この保留(holdout)の方法では、データを無作為に学習セットと検証セットに分割します。学習セットや検証セットだけではなく、テストセットも含めることができます。各セットに割り当てる割合(元のデータにおける割合)を指定できます。
1つ取って置き法
(特定のプラットフォームのオプションとして使用可能。)一度に1つのオブザベーションを除外して、モデルを繰り返しあてはめます。1つ取って置き法はジャックナイフ法としても知られています。
除外行による保留法
データテーブルで除外されている行を、検証データとして利用します。JMP Proの場合、このオプションはプラットフォーム環境設定で選択することによって使用できます。
メモ: データテーブルで除外されている行を検証データとして用いることのできるプラットフォームでは、起動ウィンドウで検証列または検証セットの割合が指定されていない場合にのみ、データテーブルで除外されている行が検証データとして使用されます。
表A.2 プラットフォーム別のK分割法と保留法による検証
プラットフォーム |
除外行に |
無作為抽出に |
1つ取って |
K分割交差検証法 |
---|---|---|---|---|
モデルのあてはめ |
|
|
|
|
最小2乗法によるあてはめ |
× |
× |
× |
× |
ステップワイズ回帰 |
× |
× |
× |
〇(応答が連続尺度の場合のみ) |
ロジスティック回帰 |
× |
× |
× |
× |
一般化回帰 |
× |
〇 |
〇 |
〇(モデルの設定パネル) |
PLS回帰 |
× |
〇 |
〇 |
〇(モデルの設定パネル) |
予測モデル |
|
|
|
|
ニューラル |
〇 |
〇 |
× |
〇(起動ウィンドウまたは検証列) |
パーティション |
〇 |
〇 |
× |
〇(プラットフォーム環境設定でオプションを選択) |
ブートストラップ森 |
〇 |
〇 |
× |
× |
ブースティングツリー |
〇 |
〇 |
× |
× |
K近傍法 |
〇 |
〇 |
× |
× |
単純Bayes |
〇 |
〇 |
× |
× |
サポートベクトルマシン |
× |
〇 |
× |
〇(モデルの設定パネル) |
発展的なモデル |
|
|
|
|
関数データエクスプローラ |
× |
× |
× |
× |
多変量のモデル |
|
|
|
|
判別分析 |
オプション |
× |
× |
× |
PLS回帰 |
× |
〇 |
〇 |
〇(起動ウィンドウまたは検証列) |
アップリフト |
× |
〇 |
|
× |