“验证列”角色提供了一个将数据划分为交叉验证集的框架。此外,某些 JMP 平台还支持 K 折验证和多种类型的“保留”验证。
K 折交叉验证
将原始数据划分为 K 个子集。这 K 个子集依次对基于剩余 k-1 个子集的数据构建的模型进行验证,总共拟合 K 个模型。选择生成最佳验证统计量的模型作为最终模型,构建该模型时未使用的那一折提供测试集性能统计量。
注意:对于某些平台,您必须在模型控制面板中指定“K折交叉验证”。对于其他平台,您必须在平台启动窗口中指定“K 折交叉验证”。还有另外一些平台,您必须通过包含三个以上水平的验证列指定“K 折交叉验证”。
随机验证保留
(可作为特定平台的启动选项。)将原始数据随机划分为训练集和验证集。也可包括测试集。您可以指定要在每个集中使用的原始数据的比例。
留一法验证保留
(可用作特定平台的选项。)重复拟合模型,一次留一个观测。留一法验证也称为 Jackknife 过程。
排除行作为验证保留
将数据表中的排除行用作验证保留集。对于 JMP Pro,可通过在平台首选项中选择使用该选项。
注意:对于支持将排除行用作验证保留集的平台,仅当启动窗口中没有指定验证列或验证比例时才使用排除行。
表 A.2 按平台划分的 K 折和保留验证
平台 |
排除行作为验证保留 |
随机验证保留 |
留一法保留 |
K 折交叉验证 |
---|---|---|---|---|
拟合模型 |
|
|
|
|
拟合最小二乘法 |
否 |
否 |
否 |
否 |
逐步回归 |
否 |
否 |
否 |
是(仅用于连续响应模型) |
Logistic 回归 |
否 |
否 |
否 |
否 |
广义回归 |
否 |
是 |
是 |
是(通过模型控制) |
偏最小二乘 |
否 |
是 |
是 |
是(通过模型控制) |
预测模型 |
|
|
|
|
神经 |
是 |
是 |
否 |
是(通过模型启动或验证列) |
分割 |
是 |
是 |
否 |
是(在平台首选项中选择该选项) |
Bootstrap 森林法 |
是 |
是 |
否 |
否 |
提升树 |
是 |
是 |
否 |
否 |
K 最近邻 |
是 |
是 |
否 |
否 |
朴素 Bayes |
是 |
是 |
否 |
否 |
支持向量机 |
否 |
是 |
否 |
是(通过模型启动) |
专业模型 |
|
|
|
|
函数数据分析器 |
否 |
否 |
否 |
否 |
多元模型 |
|
|
|
|
判别 |
可选 |
否 |
否 |
否 |
偏最小二乘 |
否 |
是 |
是 |
是(通过模型启动或验证列) |
提升 |
否 |
是 |
|
否 |