推定法の統計的詳細
罰則（ペナルティ）を課した回帰手法では、回帰係数に罰則を課すことによってバイアスが生じます。
リッジ回帰
リッジ回帰では、回帰係数にl2ペナルティが適用されます。リッジ回帰係数の推定値は、次のように求められます。
、
この式で、
はl2ペナルティ。lは調整パラメータ、Nは行数、pは変数の数です。
Dantzig選択器
Dantzig選択器では、回帰係数にl∞ペナルティが適用されます。Dantzig選択器の推定値は、次のように求められます。
この式で、
はl∞ノルムを表します。このノルムは、vベクトルにおける要素の絶対値のうち最大のものです。
Lasso回帰
Lasso回帰では、回帰係数にl1ペナルティが適用されます。Lasso回帰係数の推定値は、次のように求められます。
、
この式で、
はl1ペナルティ。lは調整パラメータ、Nは行数、pは変数の数です。
弾性ネット
弾性ネットは、l1とl2の両ペナルティを組み合わせて使用します。弾性ネット係数の推定値は、次のように求められます。
、
この式で使われている記号は次のとおりです。
• 
はl1ペナルティ
• 
はl2ペナルティ
• lは調整パラメータ
• aはl1ペナルティとl2ペナルティの配分を決定するパラメータ
• Nは標本サイズ
• pは変数の個数
ヒント: 説明変数が1つしかない弾性ネットモデルで、aとlを変化させたときの縮小効果を示す2つのサンプルスクリプトがあります。［ヘルプ］>［サンプルデータ］を選択し、［サンプルスクリプトディレクトリを開く］をクリックして、［demoElasticNetAlphaLambda.jsl］または［demoElasticNetAlphaLambda2.jsl］を選択してください。それぞれのスクリプトの先頭に、使用法と表示される内容説明が（英語で）記載されています。
適応型手法
適応型Lassoの手法では、重み付きのペナルティを使って、一致推定値を求めます。重み付きのl1ペナルティの計算式は次のとおりです。
、
この式で、
は、最尤推定値が存在する場合は最尤推定値です。応答変数の確率分布として正規分布を指定したときで、最尤推定値が存在しない場合には、
には一般化逆行列を使って求めた最小2乗推定解が使われます。応答変数の確率分布として正規分布以外のものを指定したときで、最尤推定値が存在しない場合には、
にはリッジ回帰の解が使われます。
適応型Lassoの場合、この重み付きl1ペナルティを使って、
係数が決定されます。
適応型弾性ネットの場合は、この重み付きl1ペナルティを使い、さらにl2ペナルティにも重みを付けます。適応型弾性ネットの重み付きl2ペナルティの計算式は次のとおりです。
、
この式で、
は、最尤推定値が存在する場合は最尤推定値です。応答変数の確率分布として正規分布を指定したときで、最尤推定値が存在しない場合には、
には一般化逆行列を使って求めた最小2乗推定解が使われます。応答変数の確率分布として正規分布以外のものを指定したときで、最尤推定値が存在しない場合には、
にはリッジ回帰の解が使われます。