Day4 决策树(Decision tree)

决策树是什麽?

讲人话就是利用特徵与分类结果之间的关系，藉由历史资料建构出一棵「如果这样就那样」的树，成为一个让不同特徵落入对应的适当分类模型。

浅谈决策树

决策树主要分为两大类:

-回归树:用来预测实际的值，输出为定量的，像是温度、年龄之类的等等......
-分类树:用来分类标签，是最常见的决策树，输出为定性的，像是天气是阴天还是晴天、性别是男还是女之类的等等......

决策树的建构步骤:

1.特徵选择:找出对我们做决策有影响的事物(特徵)，常用ID3算法求得信息增益，若是想求得信息增益比则是使用C4.5算法。
2.决策树生成:经过计算完特徵值後，找出最合适的根节点及分枝，达到局部最优化。
3.决策树剪枝:防止决策树「过拟合」，提高泛用性，就像剪掉一棵树多余的分枝，达到整体最优化。

CART（Classification and Regression Tree）:可以用於分类跟回归问题。