“提升树”平台概述

“提升树”平台可生成加法决策树模型，该模型基于在层中构造的许多小决策树。每层中的树都包含少量拆分，拆分数通常不超过五个。每层都使用分割模型中所述的递归拟合方法拟合。唯一的区别在于拟合会在指定的拆分数停止。对于给定的树，叶中某观测的预测值是该叶中所有观测的均值。

拟合过程继续按照如下方式执行：

1. 拟合初始层。

2. 计算残差。通过从观测的实际值中减去这些观测在叶中的预测均值得到残差。

3. 拟合残差层。

4. 构造加法树。对于给定的观测，将各层上的观测预测值加总。

5. 重复执行步骤 2到步骤 4，一直持续到达到指定的层数；若使用了验证，该过程会一直持续到拟合更多层也不能改善验证统计量为止。

最终的预测是某个预测在所有层上的预测值之和。

通过基于之前层的残差连续拟合各层，每层都可以改善拟合。

对于分类响应，仅支持包含两个响应水平的响应。对于分类响应，每层拟合的残差是线性 Logit 的偏移量。最终的预测是所有层的线性 Logit 总和的 Logistic 变换。

有关提升树的详细信息，请参见 Hastie et al. (2009)。