一般化回帰手法の概要
「一般化回帰」手法は、正則化した（罰則を課した）回帰分析を行います。正則化した回帰分析では、パラメータ推定値をゼロの方向に縮小（shrink; 収縮）することで、モデルの予測精度を高めようとします。正則化によりパラメータ推定値を縮小させると、予測値にはバイアス（偏り）が生じます。バイアスは増加するのですが、それと引き換えに、ばらつき（分散）が減れば、罰則を科さないモデルと比較して予測誤差は全体として小さくなります。なお、「一般化回帰」で用意されている方法のうち、弾性ネットとLassoは、推定値の縮小と同時に変数選択を行う側面もあります。
弾性ネットやLassoなどは、多重共線性が生じている横長のデータを分析するのに有効です。また、最近のデータでは、標本サイズよりも変数の個数の方が多いこともよくあります。この状況は、しばしば「n < p問題」などと呼ばれています。nは標本サイズ、pは説明変数の個数です。そのようなデータに対して従来の統計手法を使用する場合は、変数を取捨選択する必要があります。
実験計画で得られたデータなどの、小規模で相関があまりないようなデータでも、Lassoや弾性ネットは有効です。予測モデルを作成する場合や、モデルに含める変数を選択する場合にこれらの方法は役立ちます。
「一般化回帰」手法には、以下の方法が用意されています。
• 最尤法
• ステップワイズ法による変数選択
• 罰則付き回帰
弾性ネットとLassoは、比較的最近の手法です（Tibshirani 1996; Zou and Hastie 2005）。弾性ネットとLassoは、パラメータ推定値の大きさに対して罰則を課すことにより、パラメータ推定値をゼロの方向に向けて縮小させます。どの程度、収縮させればよいかは、何らかの検証法によって決定されます。縮小の度合いは、調整パラメータによって決まります。Lassoと弾性ネットは、いくつかのパラメータ推定値をゼロにする傾向があり、パラメータ推定値を縮小させるだけでなく、変数を選択する性質も持ち合わせています。弾性ネットモデルは、Lassoとリッジ回帰の中間的な性質を持ち合わせています。推定法の統計的詳細を参照してください。
一般化回帰のモデル化手法の詳細
• 最尤法は古典的な手法の1つで、他の手法と比べるための出発点となるでしょう。仮説検定など従来の推定の手法に適しています。
• 変数増加法はステップワイズ法の1つです。変数増加法では、1つずつ項がモデルに追加されていきます。すべての項がモデルに含まれるか、自由度がなくなるまで、各ステップにおいて最も有意な項が追加されていきます。
• Lassoには2つの欠点があります。第1に、同じ程度に重要な変数のあいだに高い相関がある場合、Lassoはそこから変数を1つだけしか選択しない傾向があります。第2に、変数の個数pが標本サイズnよりも多い場合、Lassoは最大でn個しか説明変数を選択しません。
• 一方、弾性ネットは、重要な変数間に高い相関があっても、そこから複数の変数を選択しようとします。また、弾性ネットは、n < pのとき、n個以上の説明変数を選択することもできます。
• リッジ回帰は、罰則を課す回帰手法の中では初期のものの1つです（Hoerl, 1962; Hoerl and Kennard, 1970）。リッジ手法においては推定値がゼロになることはなく、変数選択の手法としては使えません。
• ダブルLassoは、最初にLassoモデルで変数選択を行った後、選択された変数だけで再度、Lassoモデルをあてはめます。最初のモデルで選択された変数だけが、次のLassoモデルの説明変数として使用されます。
• 2段階変数増加法は、変数増加を2段階で行います。第1段階では主効果に対して変数選択が行われ、第2段階では、選択された主効果で構成されたより高次の効果がモデルに追加されます。
「一般化回帰」手法では、Lassoと弾性ネットにおいて、適応型推定も行えます。これらの適応型推定では、効果のある変数に対して、効果があまりない変数より少ない罰則が課されます。効果のある変数とは、モデルの項のうち、応答変数に対して実際に効果を持つものを指します。適応型のLassoと弾性ネットは、モデルに預言的性質（oracle property）を持たせるために提案されました。預言的性質とは、「効果のある説明変数が漸近的にはきちんと選択される」という性質です。具体的には、パラメータがゼロである説明変数を正確に識別することです。預言的性質とは、「得られるパラメータ推定値が、効果のある説明変数だけを使って構成したモデルのパラメータ推定値に、漸近的に一致する」ことです。適応型手法を参照してください。
「一般化回帰」手法では、応答変数にさまざまな分布をあてはめることができます。あてはめられる分布には、正規分布、Cauchy分布、指数分布、ガンマ分布、Weibull分布、対数正規分布、ベータ分布、二項分布、ベータ二項分布、Poisson分布、負の二項分布、ゼロ強調の二項分布、ゼロ強調のベータ二項分布、ゼロ強調のPoisson分布、ゼロ強調の負の二項分布、ゼロ強調のベータ分布があります。これらの分布を用いることにより、連続尺度の応答、右に歪んだ連続尺度の応答、度数の応答などをモデル化できます。「一般化回帰」手法では、分位点回帰モデルやCoxの比例ハザードモデルのあてはめもできます。一部の分布では、打ち切りデータも扱うことができます。モデル選択のためのさまざまな基準が用意されており、また、検証列（データを学習・検証・テストに分割する列）の指定もサポートされています。分布を参照してください。