弾性ネットやLassoなどは、多重共線性が生じている横長のデータを分析するのに有効です。また、最近のデータでは、標本サイズよりも変数の個数の方が多いこともよくあります。この状況は、しばしば「n < p問題」などと呼ばれています。nは標本サイズ、pは説明変数の個数です。そのようなデータに対して従来の統計手法を使用する場合は、変数を取捨選択する必要があります。
•
|
•
|
弾性ネットとLassoは、比較的最近の手法です(Tibshirani 1996; Zou and Hastie 2005)。弾性ネットとLassoは、パラメータ推定値の大きさに対して罰則を課すことにより、パラメータ推定値をゼロの方向に向けて縮小させます。どの程度、収縮させればよいかは、何らかの検証法によって決定されます。縮小の度合いは、調整パラメータによって決まります。Lassoと弾性ネットは、いくつかのパラメータ推定値をゼロにする傾向があり、 パラメータ推定値を縮小させるだけでなく、変数を選択する性質も持ち合わせています。弾性ネットモデルは、Lassoとリッジ回帰の中間的な性質を持ち合わせています。詳細は、第 “推定法の統計的詳細”を参照してください。
•
|
Lassoには2つの欠点があります。第1に、同じ程度に重要な変数のあいだに高い相関がある場合、Lassoはそこから変数を1つだけしか選択しない傾向があります。第2に、変数の個数pが標本サイズnよりも多い場合、Lassoは最大でn個しか説明変数を選択しません。
|
•
|
•
|
リッジ回帰は、罰則を課す回帰手法の中では初期のものの1つです(Hoerl, 1962, Hoerl and Kennard, 1970)。リッジ手法においては推定値がゼロになることはなく、変数選択の手法としては使えません。
|
「一般化回帰」手法では、Lassoと弾性ネットにおいて、適応型推定も行えます。これらの適応型推定では、効果のある変数に対して、効果があまりない変数より少ない罰則が課されます。効果のある変数とは、モデルの項のうち、応答変数に対して実際に効果を持つものを指します。適応型のLassoと弾性ネットは、モデルに預言的性質(oracle property)を持たせるために提案されました。預言的性質とは、「効果のある説明変数が漸近的にはきちんと選択される」という性質です。具体的には、パラメータがゼロである説明変数を正確に識別することです。預言的性質とは、「得られるパラメータ推定値が、効果のある説明変数だけを使って構成したモデルのパラメータ推定値に、漸近的に一致する」ことです。第 “適応型手法”を参照してください。
「一般化回帰」手法では、応答変数にさまざまな分布をあてはめることができます。あてはめられる分布には、正規分布、Cauchy分布、指数分布、ガンマ分布、Weibull分布、対数正規分布、ベータ分布、二項分布、ベータ二項分布、Poisson分布、負の二項分布、ゼロ強調の二項分布、ゼロ強調のベータ二項分布、ゼロ強調のPoisson分布、ゼロ強調の負の二項分布、ゼロ強調のベータ分布があります。これらの分布を用いることにより、連続尺度の応答、右に歪んだ連続尺度の応答、度数の応答などをモデル化できます。「一般化回帰」手法では、分位点回帰モデルやCoxの比例ハザードモデルのあてはめもできます。一部の分布では、打ち切りデータも扱うことができます。モデル選択のためのさまざまな基準が用意されており、また、検証列(データを学習・検証・テストに分割する列)の指定もサポートされています。第 “分布”を参照してください。