PLS回帰では、説明変数(X)の線形結合からなる因子に基づいて応答変数(Y)を予測する線形モデルを構築します。PLS回帰における因子は、Xの線形結合とYの線形結合との共分散が最大になるようなものです。このようにして、PLS回帰では、XとYの関係を調べ、潜在的な因子を抽出します。PLS回帰では、「応答の変動」と「説明変数の変動」の両方を説明するような因子が抽出されます。PLS回帰は、オブザベーションの数より説明変数Xの方が多い場合や、説明変数に強い相関が見られる場合に役立ちます。
NIPALS法は、以下に述べる反復計算によって、1つずつ因子を抽出していきます。X = X0 を中心化および尺度化した説明変数の行列、Y = Y0を中心化および尺度化した応答変数の行列とします。PLS法は、初めに、予測変数の線形結合であるt =X0w を求めます。ここで、tはスコアベクトル、wはその重みベクトルです。そして、X0およびY0を求められたスコアtに回帰することにより、それらの予測値を計算します。
これらのスコア(線形結合)は、説明変数の線形結合 t =X0w が、応答変数の線形結合 u=Y0q と最大の共分散 t´u を持つように、求められます。共分散が最大になるとき、XとYの重みであるwとqは、共分散行列X0´Y0の第1左特異ベクトルおよび第1右特異ベクトル、 つまりそれぞれX0´Y0Y0´X0とY0´X0X0´Y0の第1固有ベクトルに比例したベクトルになっています。
SIMPLS法は、統計的な基準を最適化するという考えに基づいて導出された手法です。SIMPLS法では、Xスコアが直交しているという制約のもとで、Xの線形結合とYの線形結合との共分散が最大となるスコアベクトルを求めます。各反復において、NIPALS法では、行列X0とY0から予測値を引くことで収縮(deflate)させるといった計算が採用されていますが、SIMPLS法では、交差積行列X0´Y0に対して収縮が行われていきます。