仅当在“模型启动”控制面板中将某种交叉验证方式选为“验证方法”时,才显示该报表。报表标题动态命名为 <交叉验证方法> 且方法 = <方法指定>,具体取决于在控制面板中选定的交叉验证和方法选项。它显示模型拟合的汇总统计量,拟合所用的因子数为 0 到提取的最大因子数(在“模型启动”控制面板中指定)。该报表还提供“PRESS 均值根值图”。请参见PRESS 均值根图。使用最小 PRESS 均值根统计量标识最佳因子数。
图 6.9 “交叉验证”报表
当选定标准化 X 选项时,标准化会一次性应用到整个数据表。它不会重新应用到各个训练集。但是,当选定中心化或统一尺度选项的任意组合时,该选择组合会应用到每个交叉验证训练集。使用这些训练集执行交叉验证,若选定这些选项则会对它们单独进行中心化和统一尺度。
报表中显示以下统计量。若使用了任何形式的验证或交叉验证,则报告的结果是训练集统计量的汇总。
因子数
拟合模型时使用的因子数。
PRESS 均值根
所有响应的 PRESS 值的平均值的平方根。请参见PRESS 均值根。
van der Voet T2
van der Voet 检验的统计量,它检验具有不同提取因子数的模型是否与最佳模型存在显著差异。每个 van der Voet T2 检验的原假设假定基于相应因子数的模型与最佳模型没有差异。备择假设是该模型与最佳模型有差异。请参见van der Voet T2。
概率 > van der Voet T2
van der Voet T2 检验的 p 值。请参见van der Voet T2。
Q2
预测能力的无量纲测度,它定义为:从 1 中减去 PRESS 值除以 Y 的总平方和所得的比值,即:
1 − PRESS/SSY
累积 Q2
具有给定因子数或更少因子数的模型的预测能力指标。对于给定的因子数 f,按以下方式定义累积 Q2:
(Pressi/SYYi)
此处 PRESSi 和 SSYi 对应于它们针对 i 个因子的值。
R2X
由指定因子解释的 X 变异的百分比。具有较大 R2X 的成分解释 X 变量中的大部分变异。请参见使用验证时 R2X 和 R2Y 的计算。
累积 R2X
具有给定因子数的模型所解释的 X 变异的百分比。它是 R2X 值之和( i = 1 到给定的因子数)。
R2Y
由指定因子解释的 Y 变异的百分比。具有较大 R2Y 的成分解释 Y 变量中的大部分变异。请参见使用验证时 R2X 和 R2Y 的计算。
累积 R2Y
具有给定因子数的模型所解释的 Y 变异的百分比。它是 R2Y 值之和(i = 1 到给定的因子数)。
统计量 Q2 和累积 R2Y 均可衡量模型的预测能力,但方法不同。
• 累积 R2Y 随因子数的增加而增大。这是因为随着因子添加至模型,更多的变异得到解释。
• Q2 的趋势是随因子数的增加,先增大后减小(或至少停止增大)。这是因为随着更多的因子添加至模型,模型开始调整训练集,对于新数据却得不到较好的结果,导致 PRESS 统计量减小。
Q2 和累积 R2Y 分析是 van der Voet 检验的一个替代方法,用于确定要在模型中包括多少因子。选择一个因子数,使得 Q2 较大且没有开始减小。您还希望累积 R2Y 较大。
Figure 6.10 显示 Penta.jmp 数据表针对因子数标绘的累积 R2Y 和 Q2,验证方法为“留一法”。累积 R2Y 增加,并且在大约四个因子时开始趋于平稳。统计量 Q2 在两个因子时最大,然后开始趋于平稳。该图表明具有两个因子的模型将能够解释 Y 中的大部分变异,且不会过拟合数据。
图 6.10 Penta.jmp 的累积 R2Y 和 Q2
该条形图在水平轴上显示因子数,在垂直轴上显示“PRESS 均值根”值。它等效于在“交叉验证”报表中显示在“PRESS 均值根”列右侧的水平条形图(Figure 6.9)。
对于指定的因子数 a,按以下方式计算“PRESS 均值根”:
1. 对每个训练集拟合具有 a 个因子的模型。
2. 将得到的预测公式应用到验证集中的观测。
3. 对于每个 Y:
‒ 对于每个验证集,计算每个验证集的观测值与其预测值的差值平方(预测误差平方)。
‒ 对于每个验证集,求这些差值平方的平均值并将结果除以按如下所示计算的响应的方差估计值。对于“K 重”和“留一法”验证方法,除以整个响应列的方差。对于“保留”验证方法,除以训练集中响应值的方差。
‒ 将这些均值相加,若有多个验证集时,则将它们的总和除以验证集数减 1。这是给定 Y 的 PRESS 统计量。
4. a 个因子的“PRESS 均值根”是所有响应的 PRESS 值的平均值的平方根。
5. 多个 Y 的 PRESS 统计量通过计算在step 3中获得的全部响应的 PRESS 统计量的平均值得到。
统计量 Q2 定义为 1 - PRESS / SSY。PRESS 统计量是模型的所有响应的预测误差平方和平均值,该模型基于训练集构建,但是基于验证集计算。SSY 的值是所有响应的 Y 的平方和平均值,这些响应基于验证集中的观测值。
根据选择的验证方法,按以下方式计算“交叉验证”报表中的统计量 Q2:
留一法
Q2 是针对验证集计算的 1 - PRESS / SSY 值的平均值,指标计算基于通过一次留一个观测构造的模型。
K 重
Q2 是针对验证集计算的 1 - PRESS / SSY 值的平均值,指标计算基于通过每次留 K 个子集中的一个构造的 K 个模型。
保留或验证集
Q2 是针对验证集计算的 1 - PRESS / SSY 值的平均值,指标计算基于使用单个训练数据集构造的模型。
根据选择的验证方法,按以下方式计算“交叉验证”报表中的统计量 R2X 和 R2Y:
注意:对于所有这些计算,以类似方式计算 R2Y。
留一法
通过每次留一个观测来构造模型,针对这些模型的 X 效应解释的变异百分比的平均值即为 R2X。
K 重
通过每次留一个子集来构造 K 个模型,针对这些模型的 X 效应解释的变异百分比的平均值即为 R2X。
保留或验证集
使用训练数据来构造模型,针对该模型的 X 效应解释的变异百分比即为 R2X。