奇异值分解

奇异值分解 (SVD) 允许您先后通过一次旋转、一次缩放以及另一次旋转的方式来表示任意线性变换。SVD 规定任何 n x p 的矩阵 X 可表示为：

用 r 表示 X 的秩。用 Ir 表示 r x r 单位矩阵。

矩阵 U, Diag(Λ) 和 V 具有以下属性：

U 是 n x r 半正交矩阵且 U′U = Ir

V 是 p x r 半正交矩阵且 V′V = Ir

Diag(Λ) 是 r x r 对角矩阵，其正对角线元素由列向量 Λ = (λ1, λ2, ..., λr)′ 给出，其中 λ1 ≥ λ2 ≥ ... ≥ λr > 0。

λi 是 X 的非零奇异值。

下面说明了 SVD 与正方形矩阵的谱分解的关系：

• λi 的平方是 X′X 的非零特征值。

• V 的 r 列是 X′X 的特征向量。

注意：在文献中有关于矩阵 U、V 以及包含奇异值的矩阵的维度的各种约定。但是，这些约定差异在 X 秩的范围内对分解没有实际影响。

有关奇异值分解的详细信息，请参见 Press et al. (1998, Section 2.6)。