ブースティングは、複数の小さいモデル（基底モデル）を逐次的にあてはめていき、それらの結果を合わせて、加法的な大きなモデルを構築する手法です。ブースティングでは、小さなモデルをあてはめて、その残差（尺度化した残差）が計算されます。その残差に対して、また、小さなモデルをあてはめます。この処理を繰り返します。最後に、小さなモデルを組み合わせて、最終的なモデルを作成します。検証セットによってモデルを評価して、小さいモデルをあてはめる回数を決めます（ただし、指定した回数を超えた場合は、そこで終了します）。

ブースティングは、1つの大きなモデルをあてはめるよりも、通常、計算時間が短くてすみます。ただし、基本モデルは1〜2ノードの単層モデルである必要があります。また、あてはめる基本モデルが膨大になると、あてはめが高速であるという利点が失われる可能性があります。

学習率は0 < r ≤ 1の範囲で設定します。学習率が1に近い値だと、最終モデルへの収束が速くなりますが、データにオーバーフィットしやすくなります。「モデル数」に少ない数を指定した場合には、学習率を1に近い値に設定してください。