验证是使用数据集的一部分估计模型参数并使用另一部分评估模型预测能力的过程。
• 训练集用于估计模型参数。
• 验证集用在模型拟合中,用于评估或验证模型的预测能力。
• 测试集是对模型预测能力的最终独立评估。仅当使用验证列时才能使用测试集。
将训练集、验证集和测试集创建为原始数据的子集。通过使用“拟合模型”启动窗口中的验证列来完成这项工作。
验证列的值决定如何拆分数据以及使用什么方法进行验证:
• 若列有两个非重复值,则创建训练集和验证集。
• 若列有三个非重复值,则创建训练集、验证集和测试集。
• 若列有三个以上的非重复值或仅有一个非重复值,则不执行验证。
使用验证列时,针对“拟合详细信息”报表中的训练集、验证集和测试集给出模型拟合统计量。还为每个训练集、验证集和测试集提供单独的 ROC 曲线、提升曲线和混杂矩阵。
有关如何在 JMP 建模平台中使用“验证”列的详细信息,请参见《预测和专业建模》中的JMP 建模中的验证。