保存的公式

本节给出通过得分选项 > 保存公式保存的推导公式。这些公式依赖于判别方法。

对于由分类变量 X 定义的每个组，假定协变量的观测服从 p 维多元正态分布，其中 p 是协变量数。“保存公式”选项给出的公式符号中给出了公式中使用的符号。

“保存公式”选项给出的公式符号
p	协变量数
T	组（X 的水平）总数
t = 1, ..., T	用于区分由 X 定义的各组的下标
nt	第 t 组中的观测数
n = n1 + n2 + ... + nT	总观测数
y	某个观测的协变量的 1 x p 向量
	组 t 中第 i 个观测，它包含 p 个协变量的向量
	针对组 t 中的观测，协变量 y 的均值的 1 x p 向量
ybar	所有观测的协变量均值的 1 x p 向量
	估计的第 t 组的组内协方差矩阵 (p x p)
	估计的 (p x p) 合并的组内协方差矩阵
qt	组 t 的成员关系的先验概率
p(t\|y)	y 属于组 t 的后验概率
\|A\|	矩阵 A 的行列式

线性判别方法

在线性判别分析中，假定所有组内协方差矩阵是相等的。共同协方差矩阵通过 Sp 来估计。请参见“保存公式”选项给出的公式符号了解相关符号。

观测 y 到组 t 的 Mahalanobis 距离按以下方式定义：

观测 y 属于第 t 组的似然函数按以下方式估计：

请注意，必须为合并的协方差矩阵估计的参数数目是 p(p+1)/2，必须为均值估计的参数数目是 Tp。必须估计的参数总数是 p(p+1)/2 + Tp。

按以下方式计算组 t 的成员关系的后验概率：

观测 y 被分配给具有最大后验概率的组。

按以下方式定义“线性”判别方法所保存的公式：


SqDist[0]
SqDist[<组 t>]
Prob[<组 t>]
Pred <X>

二次判别方法

在二次判别分析中，不假定组内协方差矩阵是相等的。组 t 的组内协方差矩阵由 St. 估计。这意味着必须为组内协方差矩阵估计的参数数目是 Tp(p+1)/2，必须为均值估计的参数数目是 Tp。必须估计的参数总数是 Tp(p+3)/2。

组样本大小相对于 p 很小时，组内协方差矩阵的估计值倾向于很不稳定。判别得分受组内协方差矩阵的逆矩阵的最小特征值影响很大。请参见 Friedman, 1989。因此，若您的组样本大小相对于 p 来说很小，您可能要考虑正则判别方法中所述的“正则”方法。

请参见 “保存公式”选项给出的公式符号了解相关符号。观测 y 到组 t 的 Mahalanobis 距离按以下方式定义：

观测 y 属于第 t 组的似然函数按以下方式估计：

组 t 的成员关系的后验概率为：

观测 y 被分配给具有最大后验概率的组。

按以下方式定义“二次”判别方法所保存的公式：


SqDist[<组 t>]
Prob[<组 t>]
Pred <X>

注意：SqDist[<组 t>] 可为负。

正则判别方法

“正则”判别分析允许两个参数：λ 和 γ。

•	参数 λ 权衡分配给合并的协方差矩阵和组内协方差矩阵（不假定相等）的权重。

•	参数 γ 确定向对角矩阵的收缩量。

该方法允许您利用正则化的两个特征，提高了二次判别分析估计值的稳定性。请参见 Friedman, 1989。请参见 “保存公式”选项给出的公式符号了解相关符号。

对于正则方法，组 t 的协方差矩阵为：

观测 y 到组 t 的 Mahalanobis 距离按以下方式定义：

观测 y 属于第 t 组的似然函数按以下方式估计：

按以下方式计算组 t 的成员关系的后验概率：

观测 y 被分配给具有最大后验概率的组。

“正则”判别方法所保存的公式定义如下：


SqDist[<组 t>]
Prob[<组 t>]
Pred <X>

注意：SqDist[<组 t>] 可为负。

宽线性判别方法

当您有很多协变量特别是协变量数超过观测数 (p > n) 时，“宽线性”方法很有用。该方法的核心是高效计算合并的组内协方差矩阵 Sp 的逆矩阵或它的转置矩阵（若 p > n）。它使用奇异值分解方法来避免为大的协方差矩阵反转和分配空间。

“宽线性”方法假定组内协方差矩阵相等，若观测数等于或超过协变量数，则该方法等效于“线性”方法。

宽线性计算

请参见 “保存公式”选项给出的公式符号了解相关符号。“宽线性”计算步骤如下所示：

1.	计算组内样本均值的 T x p 矩阵 M。M 的第 (t,j) 个元素 mtj 是第 j 个协变量上的组 t 成员的样本均值。

2.	对于每个协变量 j，计算各组的合并标准差。称之为 sjj。

3.	用 Sdiag 表示具有对角元素 sjj 的对角矩阵。

4.	按如下方式对每个协变量的值进行中心化和统一尺度：

‒	减去观测所属组的均值。

‒	将差值除以合并标准差。

使用符号，对于组 t 中的观测 i，第 j 个协变量的组中心化和统一尺度值为：

符号 t(i) 表示观测 i 所属的组 t。

5.	用 Ys 表示值的矩阵。

6.	用 R 表示组中心化和统一尺度的协变量的合并组内协方差矩阵。按以下方式计算矩阵 R：

7.	将奇异值分解应用到 Ys：

其中 U 和 V 是正交的，D 是对角线上具有正元素（奇异值）的对角矩阵。请参见奇异值分解。

则 R 可以表示为：

8.	若 R 是满秩的，按以下方式得到 R-1/2：

其中 D-1 是对角矩阵，其对角元素为 D 的对角元素的逆。

若 R 不是满秩的，则按以下方式定义 R 的伪逆矩阵：

然后按以下方式定义 R 的平方根倒数：

9.	若 R 是满秩的，结果就是。因此，为了保持完整性，我们使用伪逆矩阵继续讨论。

按以下方式定义 p x p 的矩阵 Ts：

则：

其中

是使用 SVD 计算的原始数据的合并组内协方差矩阵的广义逆矩阵。

Mahalanobis 距离

Mahalanobis 距离、似然函数和后验概率的公式与线性判别方法中所述的那些公式相同。但是，Sp 的逆矩阵由使用奇异值分解计算的广义逆矩阵替代。

当您保存公式时，Mahalanobis 距离以分解的形式给出。对于观测 y，到组 t 的平方距离如下所示，其中最后一个等式中的 SqDist[0] 和 Discrim Prin Comp 在保存的公式中定义：

保存的公式

按以下方式定义“宽线性”判别方法所保存的公式：


判别数据矩阵	观测值在协变量上的向量
判别主成分	使用主成分得分矩阵变换的数据，它呈现组内不相关的数据。通过给出，其中是包含总均值的 1 x p 向量。
SqDist[0]
SqDist[<组 t>]	观测值到组重心的 Mahalanobis 距离。请参见 Mahalanobis 距离。
Prob[<组 t>]	，在线性判别方法中给出
Pred <X>