大家兄的数据分析学习条记(二十四）：回归树与提升树

• 回归树是决策树的一种算法，但回归的值是连续值。
  
  
• 与分类树不同，回归树的每个节点（包罗叶子节点和中央节点），都会得到预测值。
  
• 一样平常这个预测值就是这些连续标注的匀称值。
  
• 对特性举行分类，切分属性的依据不再是熵或基尼系数，而是最小方差。
  

• 也就是说在根据某一个属性切分后，必须要满意两部门的方差的和是最小的。
  
• 之后就可以套用别的特性举行同样的过程，直到满意回归树的制止条件。
  
• 制止条件可以是剪枝的限定、叶子最大样本数量等等。
  

• 假如要举行预测，顺着回归树的特性到叶子节点，取叶子节点的匀称值作为预测值。
  

• 提升树的构建基于回归树，提升树中以梯度提升决策树(GBDT)的预测效果最好。
  
  
• 梯度提升决策树是一种集成方法：
  

• 其中第一棵树是一个弱集成器，拟合效果毛病较大。
  
• 下一个棵树的标签，是上一棵预测后，与原标签的差分值。
  
• 重复第二步直到竣事。
  

• 具体算法如下：