仅当在“模型启动”控制面板中将某种交叉验证方式选为“验证方法”时,才显示该报表。报表标题被动态地命名为 <交叉验证方法> 且方法 = <方法指定>,具体取决于在控制面板中选定的交叉验证和方法选项。它显示模型拟合的汇总统计量,拟合所用的因子数为 0 到提取的最大因子数(在“模型启动”控制面板中指定)。该报表还提供“PRESS 均值根值图”。请参见PRESS 均值根图。使用最小 PRESS 均值根统计量标识最佳因子数。
图 6.10 “交叉验证”报表
当选定标准化 X 选项时,标准化会一次性应用到整个数据表。它不会重新应用到各个训练集。但是,当选定中心化或统一尺度选项的任意组合时,该选择组合会应用到每个交叉验证训练集。使用这些训练集执行交叉验证,若选定这些选项则会对它们单独进行中心化和统一尺度。
报表中显示以下统计量。若使用了任何形式的验证或交叉验证,则报告的结果是训练集统计量的汇总。
因子数
拟合模型时使用的因子数。
PRESS 均值根
所有响应的 PRESS 值的平均值的平方根。请参见PRESS 均值根。
van der Voet T2
van der Voet 检验的统计量,它检验具有不同提取因子数的模型是否与最佳模型存在显著差异。每个 van der Voet T2 检验的原假设假定基于相应因子数的模型与最佳模型没有差异。备择假设是该模型与最佳模型有差异。请参见van der Voet T2。
概率 > van der Voet T2
van der Voet T2 检验的 p 值。请参见van der Voet T2。
Q2
预测能力的无量纲测度,它定义为:从 1 中减去 PRESS 值除以 Y 的总平方和所得的比值,即:
1 − PRESS/SSY
累积 Q2
具有给定因子数或更少因子数的模型的预测能力指标。对于给定的因子数 f,按以下方式定义累积 Q2:
(Pressi/SYYi)
此处 PRESSi 和 SSYi 对应于它们针对 i 个因子的值。
R2X
由指定因子解释的 X 变异的百分比。具有较大 R2X 的成分解释 X 变量中的大部分变异。请参见使用验证时 R2X 和 R2Y 的计算。
累积 R2X
具有给定因子数的模型所解释的 X 变异的百分比。它是 R2X 值之和( i = 1 到给定的因子数)。
R2Y
由指定因子解释的 Y 变异的百分比。具有较大 R2Y 的成分解释 Y 变量中的大部分变异。请参见使用验证时 R2X 和 R2Y 的计算。
累积 R2Y
具有给定因子数的模型所解释的 Y 变异的百分比。它是 R2Y 值之和(i = 1 到给定的因子数)。
统计量 Q2 和累积 R2Y 均可衡量模型的预测能力,但方法不同。
• 累积 R2Y 随因子数的增加而增大。这是因为随着因子添加至模型,更多的变异得到解释。
• Q2 的趋势是随因子数的增加,先增大后减小(或至少停止增大)。这是因为随着更多的因子添加至模型,模型开始调整训练集,对于新数据却得不到较好的结果,导致 PRESS 统计量减小。
Q2 和累积 R2Y 分析是 van der Voet 检验的一个替代方法,用于确定要在模型中包括多少因子。选择一个因子数,使得 Q2 较大且没有开始减小。您还希望累积 R2Y 较大。
图 6.11 显示 Penta.jmp 数据表针对因子数标绘的累积 R2Y 和 Q2,验证方法为“留一法”。累积 R2Y 增加,并且在大约四个因子时开始趋于平稳。统计量 Q2 在两个因子时最大,然后开始趋于平稳。该图表明具有两个因子的模型将能够解释 Y 中的大部分变异,且不会过拟合数据。
图 6.11 Penta.jmp 的累积 R2Y 和 Q2
该条形图在水平轴上显示因子数,在垂直轴上显示“PRESS 均值根”值。它等效于在“交叉验证”报表(图 6.10)中显示在“PRESS 均值根”列右侧的水平条形图。
对于指定的因子数 a,使用以下步骤计算 PRESS 均值根:
1. 对每个训练集拟合具有 a 个因子的模型。
2. 将得到的预测公式应用到验证集中的观测。
3. 对于每个 Y:
‒ 对于每个验证集,计算每个验证集的观测值与其预测值的差值平方(预测误差平方)。
‒ 对于每个验证集,求这些差值平方的平均值并将结果除以响应的方差估计值。对于“K 重”和“留一法”验证方法,除以整个响应列的方差。对于“保留”验证方法,除以训练集中响应值的方差。
‒ 将这些均值相加,若有多个验证集时,则将它们的总和除以验证集数减 1。这是给定 Y 的 PRESS 统计量。
4. a 个因子的“PRESS 均值根”是所有响应的 PRESS 值的平均值的平方根。
5. 多个 Y 的 PRESS 统计量通过计算在第 3 步中获得的全部响应的 PRESS 统计量的平均值得到。
统计量 Q2 定义为 1 - PRESS / SSY。PRESS 统计量是模型的所有响应的预测误差平方和平均值,该模型基于训练集构建,但是基于验证集计算。SSY 的值是所有响应的 Y 的平方和平均值,这些响应基于验证集中的观测值。
根据选择的验证方法,按以下方式计算“交叉验证”报表中的统计量 Q2:
留一法
Q2 是针对验证集计算的 1 - PRESS / SSY 值的平均值,指标计算基于通过一次留一个观测构造的模型。
K 重
Q2 是针对验证集计算的 1 - PRESS / SSY 值的平均值,指标计算基于通过每次留 K 个子集中的一个构造的 K 个模型。
保留或验证集
Q2 是针对验证集计算的 1 - PRESS / SSY 值的平均值,指标计算基于使用单个训练数据集构造的模型。
根据选择的验证方法,按以下方式计算“交叉验证”报表中的统计量 R2X 和 R2Y:
注意:对于所有这些计算,以类似方式计算 R2Y。
留一法
通过每次留一个观测来构造模型,针对这些模型的 X 效应解释的变异百分比的平均值即为 R2X。
K 重
通过每次留一个子集来构造 K 个模型,针对这些模型的 X 效应解释的变异百分比的平均值即为 R2X。
保留或验证集
使用训练数据来构造模型,针对该模型的 X 效应解释的变异百分比即为 R2X。