信息熵：

变量X有多种取值x1,x2,x3...xi...xn，

现有一样本，用各种取值的频率近似作为概率用，求得：

p1,p2,p3...pi...pn

熵

这里的log可以以2,10，e为底，反正后面要用的是熵的差值或比值。

信息增益：

g(D,A)=样本原本熵H(D)-用A特征分类后的熵H(D|A)

H(D|A)算法：假设D被A分为多组，D1,D2...Di...，每组的样本数量n1,n2...ni...

H(D|A)=∑(ni/n)·H(Di)

信息增益缺点：会偏向取值多的特征

信息增益率：

实质是g(D,A)乘以一个惩罚系数，

A取值越多，这个惩罚系数越小，

缺点：偏向取值少的特征。

gini不纯度：只能处理二分类特征，

                   对于多分类特征，用one-against-rest，先找到一个gini最小的分点，变为二分类。

预剪枝：树生成过程中，对每个结点判断是否应该作为叶结点。

后剪枝：完整树生成后，从叶到根逐个非叶结点判断是否应该作为叶结点。

连续值处理：离散化

                    方法：值排序，相邻两两相加，得到的点作为候选划分点，找到一个信息增益最高的点作为划分点。

缺失值处理：每次计算只在本特征非缺失样本中进行。

【转载】原文地址：https://blog.csdn.net/rona1/article/details/80760855