“提升树”平台可生成加法决策树模型,该模型基于在层中构造的许多小决策树。每层中的树都包含少量拆分,拆分数通常不超过五个。每层都使用分割模型中所述的递归拟合方法拟合。唯一的区别在于拟合会在指定的拆分数停止。对于给定的树,叶中某观测的预测值是该叶中所有观测的均值。
以下是拟合过程:
1. 拟合初始层。
2. 计算残差。通过从观测的实际值中减去这些观测在叶中的预测均值得到残差。
3. 拟合残差层。
4. 构造加法树。对于给定的观测,将各层上的观测预测值加总。
5. 重复执行第 2 步到第 4 步,一直持续到达到指定的层数;若使用了验证,该过程会一直持续到拟合更多层也不能改善验证统计量为止。
最终的预测是某个预测在所有层上的预测值之和。
通过基于之前层的残差连续拟合各层,每层都可以改善拟合。
对于分类响应,仅支持包含两个响应水平的响应。对于分类响应,每层拟合的残差是线性 Logit 的偏移量。最终的预测是所有层的线性 Logit 总和的 Logistic 变换。
有关提升树的详细信息,请参见 Hastie et al. (2009)。