Day6 梯度提升树(Gradient Boosting Decision Tree)

梯度提升树是什麽?

讲人话就是将随机森林的概念更进一步应用，策略性地逐步建构多棵决策树模型，间接让重要的特徵占有更多的权重，得到准确度更高的决策树森林，就叫做梯度提升树。

浅谈梯度提升树

梯度提升树的核心观念是累加所有树的残差(预测值减实际值)作为最终结果，这也是为什麽梯度提升树是回归树(预测实际的值)的原因，感觉还是有点抽象，以下举一个通俗的例子，假设有一个训练集{A,B,C,D}，他们的年龄分别是14、16、24、26，依特徵(年龄较为相近)建构树(下图左)，并计算残差，{A,B,C,D}的结果分别为-1、1、-1、1，将此残差用来建立另一棵树(下图右)，再计算残差，很幸运地，{A,B,C,D}的结果均为0，即预测年龄等於实际年龄。

Reference:https://codertw.com/%E7%A8%8B%E5%BC%8F%E8%AA%9E%E8%A8%80/582502/

A = 15 - 1 = 14岁(购物金额 <= 1k && 经常提问)
B = 15 + 1 = 16岁(购物金额 <= 1k && 经常回答)
C = 25 - 1 = 24岁(购物金额 >= 1k && 经常提问)
D = 25 + 1 = 26岁(购物金额 >= 1k && 经常回答)