网站空间后台密码,合肥网站快速排名提升,长春网站优化哪家好,网站设计制作平台哪个好3.5 认识决策树
3.5.1 认识决策树
如何高效的进行决策#xff1f; 特征的先后顺序
3.5.2 决策树分类原理详解 已知有四个特征#xff0c;预测 是否贷款给某个人。
先看房子#xff0c;再看工作#xff0c;是否贷款。
年龄#xff0c;信贷情况#xff0c;工作#…3.5 认识决策树
3.5.1 认识决策树
如何高效的进行决策 特征的先后顺序
3.5.2 决策树分类原理详解 已知有四个特征预测 是否贷款给某个人。
先看房子再看工作是否贷款。
年龄信贷情况工作是否贷款
1 原理
信息熵信息增益等。
需要用到信息论的知识问题通过例子引入信息熵
信息论基础
1信息 香农消除随机不定性的东西 小明 年龄 “我今年18岁” 是信息 小华 “小明明年19岁” 不是信息因为我已经知道小明18岁
2 信息的衡量 ——信息量—— 信息熵
2 信息熵的定义
H的专业术语之为信息熵单位为比特 bit 3 决策树的划分依据之一信息增益 4 决策树的划分依据——信息增益
当然决策树的原理不止信息增益这一种还有其他方法但是原理都类似我们就不去举例计算。 3.5.3 决策树API 3.5.4 案例泰坦尼克号乘客生存预测 流程分析
特征值 目标值
1获取数据
2数据处理 缺失值处理 特征值——字典类型
3准备好特征值 目标值
4划分数据集
5特征工程字典特征抽取
6决策树预估器流程
7模型评估
3.5.5 决策树可视化
1 保存树的结构到dot文件 3.5.6 决策树总结
优点
简单的理解和解释树木可视化
缺点
决策树学习者可以创建不能很好推广数据的过于复杂的树这被称为过拟合。
改进
减枝cart算法决策树API当中已经实现随意森林参数调优有相关介绍
随机森林
注意企业重要决策由于决策树很好的分析能力在决策过程中应用较多可以选择特征
3.5.7 总结
信息熵信息增益的计算
DecisonTreeClassifier进行决策树的划分
export_graphviz导出到dot文件
