交差検証のレポート
「モデルの設定」パネルで［検証法］として、何らかの検証法を選択した場合には、検証結果のレポートも表示されます。レポート名は、コントロールパネルで選択した検証法と手法に基づき、「<手法の名前>: 検証法=<検証法の名前>」という文字列から生成されます。「モデルの設定」パネルでの指定に基づき、0から最大数までの因子の各モデルに関して、要約統計量が表示されます。このレポートには、PRESS平均平方根の棒グラフも表示されます。PRESS平均平方根プロットを参照してください。PRESS平均平方根が最小になっているモデルが、最適なモデルであると判断できます。
図6.10 交差検証のレポート
［Xの標準化］オプションが選択されている場合、標準化はデータテーブル全体に対して一度だけ適用され、個々の学習セットには再適用されません。ただし、［中心化］や［尺度化］のオプションが選択されている場合は、交差検証における中心化や尺度化は各学習セットに適用されます。これらのオプションが選択されている場合は、それぞれ個別に中心化や尺度化された学習セットによって交差検証が進められます。
レポートには、次の統計量が表示されます。検証や交差検証のいずれかが使用された場合にレポートに表示されている要約統計量は、学習セットに対するものです。
因子数
モデルのあてはめに使用された因子の個数。
PRESS平均平方根
すべての応答値のPRESSを平均し、その平方根を求めたものです。PRESS平均平方根を参照してください。
van der Voet のT2
この検定統計量は、各モデルが最適なモデルと有意に異なるかどうかを検定するためのものです。それぞれのvan der Voet T2検定の帰無仮説は、「この因子数に基づくモデルは、最適なモデルと異ならない」です。対立仮説は「モデルは最適なモデルと異なる」です。van der Voet のT2を参照してください。
p値(Prob > van der Voet T2)
van der Voet T2検定のp値。van der Voet のT2を参照してください。
Q2
モデルがもつ予測能力を測定する無次元の指標。PRESSをYの平方和で割ったものを、1から引いた値。
1 − PRESS/SSY
累積Q2
当該の因子数以下であるモデルがもつ予測能力の指標。因子数fに対し、累積Q2は次のように計算されます。
(PRESSi/SSYi)
この式で、PRESSiとSSYiは、因子数がiであるモデルの統計量です。
R2X
当該の因子によって説明されるXの変動の割合。R2Xの値が大きい成分は、X変数の変動の大半を説明します。検証が使用された場合のR2XとR2Yの計算を参照してください。
累積R2X
当該の因子数のモデルによって説明されるXの変動の割合。i = 1から当該の因子数までのR2Xの合計。
R2Y
当該の因子によって説明されるYの変動の割合。R2Yの値が大きい成分は、Y変数の変動の大半を説明します。検証が使用された場合のR2XとR2Yの計算を参照してください。
累積R2Y
当該の因子数のモデルによって説明されるYの変動の割合。i = 1から当該の因子数までのR2Yの合計。
Q2および累積R2Yの解釈
Q2と累積R2Yは両方ともモデルの予測能力を測定する統計量ですが、その性質は異なります。
• 累積R2Yは、因子数が増えるにつれて増加します。これは、より多くの因子がモデルに追加されるにつれて、より多くの変動が説明されるからです。
• Q2の場合は、因子数が増えるにつれて増加した後、減少するか少なくとも増加を止めます。これは、より多くの因子が追加されるにつれて、モデルは学習セットへのあてはまりは良くなりますが、新しいデータへの汎化性能は下がるため、PRESS統計量が減少していくからです。
モデルにいくつの因子を含めるかを決定するときに、van der Voet検定の代わりに、Q2と累積R2Yを用いることもできます。それには、Q2値が大きく、減少が始まっていない時点での因子数を選択します。また、累積R2Y値も大きくなっているモデルを選択することも考えられます。
図6.11は、「Penta.jmp」データテーブルの累積R2YとQ2を、因子数に対してプロットしたものです。検証法には「1つ取って置き法」を使用しています。累積R2Yは、因子数4のあたりまで増加し、その後は平らになっています。Q2は、因子数2で最も大きく、その後は平らになっています。このプロットから、因子数2のモデルがYの変動の多くを説明し、データに対するオーバーフィット（過剰適合、過度のあてはめ）も回避することがわかります。
図6.11 「Penta.jmp」の累積R2YとQ2
PRESS平均平方根プロット
PRESS平均平方根プロットは、横軸に因子数、縦軸にPRESS平均平方根を示した棒グラフです。これは、「交差検証」レポートの「PRESS平均平方根」の右側に表示される横向きの棒グラフと同じです（図6.10）。
PRESS平均平方根
因子数aに対するPRESS平均平方根は、次のように計算されます。
1. a個の因子のモデルが各学習セットにあてはめられます。
2. 得られた予測式を検証セットのデータに適用します。
3. 各Y変数に対し、次の計算が行われます。
– 検証セットごとに、各観測値とその予測値の差の2乗（予測誤差の2乗）を求めます。
– 各応答変数に関して「予測誤差の2乗」の平均を求め、さらにそれを応答変数の分散で除算します。検証法が［K分割］と［1つ取って置き法］の場合は、データ全体での応答変数の分散で除算します。検証法が［保留］の場合は、学習セット内での応答変数の分散で除算します。
– これらを合計します。複数の検証セットがある場合は、この合計を、検証セットの数から1を引いた数で割ります。これが、Y変数のPRESS統計量です。
4. A個の因子の「PRESS平均平方根」は、すべての応答のPRESSの値を平均し、その平方根を求めたものです。
5. Y変数が複数ある場合には、ステップ3で得られたPRESS統計量を全応答変数で平均したものが使われます。
Q2の計算
Q2は、1 - PRESS / SSYという式で計算される統計量です。この式で、PRESSは、学習データから推定されたモデルを検証セットで評価したときの予測誤差平方和を、全応答変数で平均したものです。SSYは、検証セットにおけるYの平方和を、全応答変数で平均したものです。
「交差検証」レポートのQ2は、選択した「検証法」に応じて、次のように計算されます。
1つ取って置き法
1つ取って置き法でのQ2は、一度に1行ずつのデータを除外することで構築したモデルを各検証セットに適用して計算された1 - PRESS / SSYの平均です。
K分割法
K分割法のQ2は、K個に分割したデータのうちの1つを除外することで構築したk個のモデルを各検証セットに適用して計算された1 - PRESS / SSY の平均です。
保留法や検証列の使用
保留法や検証列を用いた場合のQ2は、1つの学習セットから構築されたモデルを検証セットに適用して計算された1 - PRESS / SSY です。
検証が使用された場合のR2XとR2Yの計算
「交差検証」レポートのR2XとR2Yは、選択した「検証法」に応じて、次のように計算されます。
メモ: なお、R2Yも、以下の説明と同様に計算されます。
1つ取って置き法
1つ取って置き法のR2Xは、一度に1行ずつのデータを除外することで構築したモデルの「Xの説明される変動(%)」の平均です。
K分割法
K分割法のR2Xは、K個に分割されたデータのうち1つの分割を順に除外することで構築したモデルの「Xの説明される変動(%)」の平均です。
保留法や検証列の使用
保留法や検証列を用いた場合のR2Xは、学習データを使用して構築したモデルの「Xの説明される変動(%)」です。