「モデルの比較」の別例
この例では、ロジスティック回帰モデルとディシジョンツリーモデルを比較します。使用するのは自動車のデータで、目標は自動車のサイズを予測することです。
まず、［ヘルプ］>［サンプルデータフォルダ］を選択し、「Car Physical Data.jmp」を開いてください。
ロジスティック回帰モデルの作成
1. ［分析］>［モデルのあてはめ］を選択します。
2. 「タイプ」を選択し、［Y］をクリックします。
3. 「生産国」・「車両重量」・「最小回転半径」・「排気量」・「馬力」の列を選択し、［追加］をクリックします。
4. ［実行］をクリックします。
「名義ロジスティックのあてはめ」レポートが表示されます。
5. 予測式を列に保存するには、「名義ロジスティック」の赤い三角ボタンをクリックし、［確率の計算式の保存］を選択します。
ディシジョンツリーモデルの作成
1. ［分析］>［予測モデル］>［パーティション］を選択します。
2. 「タイプ」を選択し、［Y, 目的変数］をクリックします。
3. 「生産国」・「車両重量」・「最小回転半径」・「排気量」・「馬力」の列を選択し、［X, 説明変数］をクリックします。
4. 「手法」リストで［ディシジョンツリー］が選択されていることを確認します。
5. ［OK］をクリックします。
「パーティション」レポートが表示されます。
6. Shiftキーを押しながら［分岐］をクリックします。
7. 「分岐数を入力:」の横に「10」と入力します。
8. ［OK］をクリックします。
9. 予測式を列に保存するには、「パーティション」の赤い三角ボタンをクリックし、［列の保存］>［予測式の保存］を選択します。
モデルの比較
1. ［分析］>［予測モデル］>［モデルの比較］を選択します。
2. 「確率」で始まるすべての列を選択し、［Y, 予測式］をクリックします。
3. ［OK］をクリックします。
図11.7 「モデルの比較」レポート
レポートを見ると、パーティションモデルの「エントロピーR2乗」と「一般化R2乗」は高め、「誤分類率」は低めになっています。
4. ［モデルの比較］の赤い三角をクリックし、［ROC曲線］を選択します。
「タイプ」別にROC曲線が表示されます。そのうちの1つをFigure 11.8に示します。
図11.8 「Medium」のROC曲線
ROC曲線を見ると、この2つのモデルの予測能力は、ほぼ同じであることがわかります。
5. ［モデルの比較］の赤い三角をクリックし、［AUCの比較］を選択します。
「タイプ」別にAUCの比較レポートが表示されます。そのうちの1つをFigure 11.9に示します。
図11.9 「Medium」のAUCの比較
このレポートは、AUC（ROC曲線より下の領域の面積）の差を検定しています。結果から、「タイプ」のどの水準においても、AUCには統計的な有意差は見られません。
次の理由により、2つのモデルの予測能力の間には、大きな差はないだろうと結論付けることができます。
• R2乗値とROC曲線がほぼ同じである。
• AUCに、統計的な有意差が見られない。