网站做301的坏处,做网站的毕业设计,如何给网站挂黑链,建设局怎么样划分依据 基尼系数基尼系数的应用信息熵信息增益信息增益的使用信息增益准则的局限性 最近在学习项目的时候经常用到随机森林#xff0c;所以对决策树进行探索学习。
基尼系数
基尼系数用来判断不确定性或不纯度#xff0c;数值范围在0~0.5之间#xff0c;数值越低#x… 划分依据 基尼系数基尼系数的应用信息熵信息增益信息增益的使用信息增益准则的局限性 最近在学习项目的时候经常用到随机森林所以对决策树进行探索学习。
基尼系数
基尼系数用来判断不确定性或不纯度数值范围在0~0.5之间数值越低数据集越纯。 基尼系数的计算 假设数据集有K个类别类别K在数据集中出现的概率为Pk则基尼系数为 上式是用来求某个节点的基尼系数要求某个属性的基尼系数用下面的公式 最后选择基尼系数最小的属性进行划分即可。
基尼系数的应用
在决策树中假如某个节点的基尼系数就是0此时被分类到这个节点的数据集是纯的意思就是按照此叶节点的父节点的分类方法来说此叶节点都是同一个类别的不需要再次分裂决策。
信息熵
信息熵和基尼系数作用相同都是用来度量样本集合纯度的指标。 计算方法 Pk是当前样本集合中第k类样本所占比例Ent(D)(信息熵)越小集合D的纯度越高。 这里约定当Pk为0时Ent(D)0 信息增益
计算公式 假设现在对集合D使用属性a来进行划分属性a有v个取值也就是有v个节点上式中Dv是第v个节点就是取值为v的样本个数。
信息增益的使用
信息增益越大说明使用属性a来划分所获得的纯度提升越大决策树越好。
信息增益准则的局限性
从上面的公式可以看出信息增益偏好可取值数目较多的属性假如某个属性可取值达到了n也就是每个样本都不一样比如“编号”属性那可以计算出这个属性的信息增益接近1选择这样的属性来划分很可能不具有泛化能力。 改进 使用增益率 对于这个公式当属性a的可取值越多时则IV(a)会越大增益率变小进行了平衡。同样的增益率准则也有局限它对可取值较少的属性又有所偏好。
最终先找出信息增益高于平均水平的属性再从中选择增益率最高的即可。
