网站建设大全,怎么才能做电商,网站建设交易中心,动画视频制作软件机器学习6——最大熵模型 目录 机器学习6——最大熵模型最大熵#xff08;maximum entropy#xff09;模型模型模型学习#xff08;估计参数#xff09;模型评价应用 最大熵#xff08;maximum entropy#xff09;模型
选择熵最大的概率模型 熵是衡量不确定性的#xf…机器学习6——最大熵模型 目录 机器学习6——最大熵模型最大熵maximum entropy模型模型模型学习估计参数模型评价应用 最大熵maximum entropy模型
选择熵最大的概率模型 熵是衡量不确定性的后面决策树也会用到
熵单独写一个吧后面链接放在这里 - 香农说要有熵于是便有了熵
离散随机变量X概率分布PX熵 H ( P ) − ∑ x P ( x ) l o g P ( x ) H(P)-\sum_{x}^{} P(x)logP(x) H(P)−x∑P(x)logP(x) 0 ≤ H ( P ) ≤ l o g ∣ X ∣ 0\le H(P)\le log\left | X\right | 0≤H(P)≤log∣X∣ ∣ X ∣ \left | X\right | ∣X∣是随机变量取值个数 模型
输入X以概率P(Y|X)输出Y 涉及到概率有数据一般就是频率近似概率的思想大数定律的天下经验分布 这里给了特征函数f(x,y)其实就是指示函数符合条件发生咯取1不符合取0为输入 x 和输出 y 组合提供特定的特征值。 – 第一个是组合xy关于经验分布的期望 那最大熵模型就 模型学习估计参数
还是转化成优化问题 拉格朗日乘子法登场 熟悉的求导环节 最后这个Pw就是模型的形式确定参数特征权重 wi使得模型的预测分布尽可能地符合训练数据的统计特征。参数权值求解 这个最大熵和最大似然是等价的
模型评价
优点
灵活性最大熵模型不对数据分布做强假设只根据已有的约束条件确定概率分布因此非常灵活。适用性广适用于各种类型的数据如文本数据、图像数据等。理论基础扎实基于信息论中的熵概念具有较强的理论支持
缺点
计算复杂训练过程中需要计算规范化因子 在大规模数据上可能计算开销较大。特征选择依赖模型性能依赖于特征函数的选择和设计特征选择不当可能影响模型的表现。
应用
自然语言处理NLP
文本分类最大熵模型用于将文本分类到不同类别如垃圾邮件过滤。命名实体识别识别文本中的命名实体如人名、地名及其类型。词性标注标注文本中的每个词的词性如名词、动词等。
计算生物学
基因序列分析用于预测基因序列中的功能区域。蛋白质结构预测预测蛋白质的结构特征和功能。
模式识别 图像分类用于对图像进行分类例如识别手写数字或人脸识别。 语音识别用于将语音信号转换为文本。
