树选手3号：XGboost

今天来认识一下kaggle比赛的常胜军-XGboost（extreme gradient boosting），跟朋友聊天的时候朋友也说 XGboost根本业界爱用之一，主要的优势有：

1. 运算速度快：模型背後用C++逻辑，training速度快
2. 精准度高

XGboost也与random forest一样是种出很多棵树的算法，那两者的差异在哪呢？前两天在讲random forest的时候，我们利用了bagging的方式来建不同的树，主要就是想让每棵树互相独立学习;而XGboost的重点则是：每一棵树都会根据前一棵树不足的地方进行改良，也就是每棵树是相互有关联的！ 另外在每次建树的过程XGboost采用所有资料而非部份资料。

Loss function

XGboost主要透过loss function来评断树的好坏，这里用一个分类问题常用的loss function- cross entropy，下图p是label（实际值），q是prediction（预测值)，基本上若p与q相近，则loss小:

当XGboost要新建一棵树时，会拿新的树与前一棵树以loss function做比较，去找出loss降低最多的结构，再依序下去，下图中的learning rate可以先当成一个权重就好（之後会专门写一篇gradient descent），之後learning rate也会是实际用python应用时一个重要的参数。

To be continue.