公開日: 04/01/2021

検証セットでのモデル要約

(「ブートストラップの森の指定」ウィンドウで[項数に対する複数のあてはめ]オプションを選択した場合に表示されます。)各モデルの適合度統計量が表示されます。図5.10および「複数のあてはめ」パネルを参照してください。

設定

モデルをあてはめたときに使用された設定が表示されます。

全体の統計量

学習セットの適合度統計量が表示されます(検証セットやテストセットを指定した場合、それらの適合度等計量も表示されます)。表示される結果の内容は応答変数の尺度によって異なります。

たとえば、「ブートストラップの森の指定」ウィンドウの[項数に対する複数のあてはめ]オプションを使用して、複数のモデルをあてはめたとしましょう。その場合、「全体の統計量」に結果が表示されるのは、応答変数がカテゴリカルな場合には、検証セットの「エントロピーR2乗」値が最大になっているモデルです。一方、応答変数が連続尺度の場合には、検証セットの「R2乗」値が最大になっているモデルです。

カテゴリカルな応答変数

「指標」レポート

学習セットに対して以下の統計量が表示されます(検証セットやテストセットが指定された場合には、それらに対しても同じ統計量が表示されます)。

注: 「エントロピーR2乗」と「一般化R2乗」は、1に近いほど適合度が良いことを示します。「平均 -Log p」、「RMSE」、「平均 絶対偏差」、「誤分類率」は、値が小さいほど、適合度が良いことを示します。

エントロピーR2乗

適合度の指標で、現在のモデルと切片だけのモデル(データ全体で確率が一定のモデル)の対数尤度を比較したものです。この指標の範囲は0~1です。エントロピーR2乗を参照してください。

一般化R2乗

この指標は、一般的な回帰モデルに適用できるものです。一般化R2乗は、尤度Lから算出され、最大が1となるように尺度化されています。完全にモデルがデータにあてはまっている場合は1、切片だけのモデルと同等なあてはまりの場合には0になります。一般化R2乗は、通常のR2乗(正規分布に従う連続尺度の応答変数に対する標準最小2乗法のR2乗)を一般化したものです。この一般化R2乗は、「NagelkerkeのR2」、または「Craig and UhlerのR2」とも呼ばれており、Cox and Snellの疑似R2を最大が1になるように尺度化したものです。詳細は、Nagelkerke(1991)を参照してください。

平均 -Log p

-log(p)の平均です。pは、実際に生じた応答水準に対する予測確率です。

RMSE

誤差の標準偏差(Root Mean Square Error; 誤差平方和を自由度で割ったものの平方根)。誤差は(1-p)で計算されます。ここで、pは、実際に生じた応答水準に対する予測確率です。

平均 絶対偏差

誤差の絶対値の平均。誤差は(1-p)で計算されます。ここで、pは、実際に生じた応答水準に対する予測確率です。

誤分類率

予測確率が最も大きい応答の水準が、観測された水準と一致しない割合。

N

標本サイズ(オブザベーション数)。

混同行列

(応答変数がカテゴリカルの場合のみ。)学習セットにおける分類結果の度数が表示されます。検証セットやテストセットが指定された場合には、それらに対する結果も表示されます。

決定行列

(応答がカテゴリカルであり、かつ応答変数の列に「利益行列」列プロパティがあるか、または[利益行列の指定]オプションを使用して損失を指定した場合にのみ表示されます。)学習セットに対する「決定行列 度数」と「決定行列 割合」が表示されます。検証セットやテストセットが指定された場合には、それらに対する結果も表示されます。パーティションの別例を参照してください。

連続尺度の応答変数

「個々のツリー」レポート

「バッグ内」と「バッグ外」のデータから求められたRMSEが表示されます。全体のRMSEは、すべてのツリーにおけるMSEの平均を求め、その平方根をとったものです。ツリーの作成に使われた学習セットは「バッグ内」(IB; In-Bag)、ツリーの作成に使われなかった学習セットは「バッグ外」(OOB; Out-Of-Bag)と呼ばれます。

各ツリーのバッグ外RMSE(OOB RMSE)は、誤差平方和をバッグ外のオブザベーション数で割って、その平方根をとったものです。「ツリーごとの要約」レポートの「OOB SSE/N」で表示されている値は、バッグ外RMSEを2乗した値になっています。

「R2乗」レポートと「RMSE」レポート

学習セットに対して、R2乗、誤差の標準偏差、および標本サイズ(オブザベーション数)が表示されます。検証セットやテストセットが指定された場合には、それらに対する結果も表示されます。

より詳細な情報が必要な場合や、質問があるときは、JMPユーザーコミュニティで答えを見つけましょう (community.jmp.com).