「ブースティングツリー」プラットフォームの概要

「ブースティングツリー」プラットフォームは、多数の小さいツリーをあてはめて層（layer）を形成し、それに基づいて加法的な大きなモデルを構築します。各ツリーはそれぞれ少数（通常は5つ以下）の分岐で構成されます。各層は、パーティションで解説されている再帰的な手法であてはめられます。ただし、各層において、指定された分岐回数に達した時点で、分岐を止めます。なお、ツリーにおける葉の予測値は、その葉に含まれるすべてのデータの平均です。

次のようなアルゴリズムになっています。

1. 最初の層をあてはめます。

2. 残差を計算します。残差は、葉に含まれるデータの実測値から、予測値（それらデータの平均）を引いて求めます。

3. 求められた残差に、新たなツリーをあてはめます。

4. 加法的な大きなモデルを構築します。それには、1つ1つのデータ行において、すべての層の予測値を合計します。

5. 指定した層数に達するまで、あるいは、検証セットを使用している場合は層を追加しても検証セットの適合度統計量がこれ以上改善されなくなるまで、ステップ2～ステップ4を繰り返します。

最終的な予測値は、すべての層における予測値を合計したものです。

前の層までの残差に対してツリーをあてはめていくことで、モデルの適合度が改善していきます。

JMPの「ブースティングツリー」では、カテゴリカルな応答変数に対しては、2水準の応答変数のみがサポートされています。このとき、各層のあてはめでは、オフセット項の和をロジスティック変換したものが使われます。最終的な予測値も、すべての層に関してオフセット項を合計したものをロジスティック変換したものです。

ブースティングツリーの詳細については、Hastie et al.（2009）を参照してください。

より詳細な情報が必要な場合や、質問があるときは、JMPユーザーコミュニティで答えを見つけましょう (community.jmp.com).