ブースティングツリー(boosted tree)は、複数の小さいツリーを逐次的にあてはめていき、それらの結果を合わせて加法的な大きなモデルを構築する手法です。小さいツリーは、「層」(layer)と呼ばれています。各層のツリーは、少数の分岐で構成されます。前の層における残差に対してツリーがあてはめられていきます。そのため、各層は、それ以前までの層で生じている残差を小さくしていきます。最終的な予測値は、その予測値を、すべての層で合計したものです。
図7.1 ブースティングツリーの層の例