検証

分岐の数が多いツリーを作成すると、データにオーバーフィット（過学習）する可能性があります。オーバーフィットすると、モデルの作成に用いたデータでの予測は精確でも、将来のデータに対する予測精度は悪くなります。検証（validation）とは、データの一部をモデルパラメータの推定に使用し、残りのデータでモデルの予測能力を評価する方法を指します。

•

モデルパラメータの推定に使うデータを、学習セットといいます。

•

モデルの予測能力を評価するのに用いるデータを、検証セットといいます。

•

予測能力の最終評価に使うデータを、テストセットといいます。検証列を指定した場合のみ、テストセットを使用できます。第 “「パーティション」プラットフォームの起動”を参照してください。

検証セットを指定した場合には、［実行］ボタンが表示されます。この［実行］ボタンは、［分岐］ボタンを手動で繰り返し押すことなしに、分岐処理を一度に実行したいときに使います。［実行］ボタンをクリックすると、現時点より後の10回のどの分岐においても、検証セットのR2乗が改善されない時点まで、一度に処理が実行されます。この方法では、解釈しにくい複雑なツリーになるかもしれませんが、求められたツリーの予測精度は高いでしょう。

［実行］ボタンを使ったときには、［分岐履歴］コマンドがオンになります。なお、［実行］ボタンを使ったときにノードの数が40を超えるツリーができた場合は、［ツリーの表示］コマンドはオフになります。

学習セット、検証セット、テストセットは、分析対象のデータを分割することにより作成します。データを分割する方法としては、以下のような方法が用意されています。

除外された行

行の属性によって、データを分割します。除外されていない行を学習セット、除外されている行を検証セットとして用います。

行の属性と行の除外の詳細については、『JMPの使用法』の「データの入力と編集」章を参照してください。

保留

データを無作為に学習セットと検証セットに分割します。プラットフォームの起動ウィンドウにある「検証セットの割合」で、検証セットとして使用する部分の割合（保留する割合）を指定することができます。検証セットの割合の詳細については、第 “「パーティション」プラットフォームの起動”を参照してください。

K分割交差検証

データをランダムにK個に分割します。順番に、(K-1)個分のデータにモデルがあてはめられ、残っているデータでモデルが検証されます。全部でK個のモデルがあてはめられます。最終的なモデルは交差検証のR2乗により選択されます。なお、JMPの「パーティション」では、オーバーフィットを防ぐために、ある停止ルールが使われています。この方法は、少ないデータを効率的に利用するので、小規模なデータセットに適しています。第 “K分割交差検証”を参照してください。

検証列

検証列の値に基づいて、データを分割します。検証列には、多くとも3つの数値が含まれている必要があります。検証列の指定は「パーティション」起動ウィンドウで行います。第 “「パーティション」プラットフォームの起動”を参照してください。

この列の値によって、データの分割方法が決まります。

–

検証列の水準が2つの場合は、小さい方の値をもつ行が学習セット、大きい方の値をもつ行が検証セットとして使われます。

–

水準が3つの場合は、値が小さいものから順に、学習セット、検証セット、テストセットとして使われます。

「列の選択」リストで列を選択せず、［検証］ボタンをクリックすると、データテーブル内に検証列を作成することができます。「検証列の作成」機能の詳細については、「検証列の作成」ユーティリティを参照してください。