奇异值分解 (SVD) 允许您先后通过一次旋转、一次缩放以及另一次旋转的方式来表示任意线性变换。SVD 规定任何 n x p 的矩阵 X 可表示为:
用 r 表示 X 的秩。用 Ir 表示 r x r 单位矩阵。
矩阵 U, Diag(Λ) 和 V 具有以下属性:
U 是 n x r 半正交矩阵且 U′U = Ir
V 是 p x r 半正交矩阵且 V′V = Ir
Diag(Λ) 是 r x r 对角矩阵,其正对角线元素由列向量 Λ = (λ1, λ2, ..., λr)′ 给出,其中 λ1 ≥ λ2 ≥ ... ≥ λr > 0。
λi 是 X 的非零奇异值。
下面说明了 SVD 与正方形矩阵的谱分解的关系:
• λi 的平方是 X′X 的非零特征值。
• V 的 r 列是 X′X 的特征向量。
注意:在文献中有关于矩阵 U、V 以及包含奇异值的矩阵的维度的各种约定。但是,这些约定差异在 X 秩的范围内对分解没有实际影响。
有关奇异值分解的详细信息,请参见 Press et al.(1998, Section 2.6)。