特異値分解

特異値分解（Singular Value Decomposition; SVD）は、行列による線形変換を、回転、尺度変換、もう一つの回転で表したものです。特異値分解は、n x pの行列Xを次のように分解します。

rをXのランクとします。また、r x rの単位行列をIrとします。

行列U、Diag(Λ)、およびVには、次のような性質があります。

Uは、U’U = Irを満たすn x rの準直交行列

Vは、V’V = Irを満たすp x rの準直交行列

Diag(Λ)は、列ベクトル

を対角要素に持つr x rの対角行列。ここで、

λiは、Xの0以外の特異値です。

•

λiの2乗は、X’Xの0以外の固有値です。

•

Vのr列は、X’Xの固有ベクトルです。

メモ: 行列U、V、および特異値に関し、行列の次元に応じていくつかの異なる表現方法が文献で紹介されています。しかし、それらには、Xのランクまでの特異値分解に関しては根本的な違いはありません。

詳細については、Press et al.（1998, Section 2.6）を参照してください。