网站空间在线解压,网页版qq中心登录入口,网站开发代理商,常德红网最新消息新闻本部分主要为机器学习理论入门_熟悉朴素贝叶斯算法#xff0c;书籍参考 “ 统计学习方法#xff08;第二版#xff09;”。
学习目标#xff1a; 熟悉条件概率、先验概率、后验概率、全概率#xff0c;熟悉朴素贝叶斯算法原理与推判断过程#xff1b;熟悉参数估计#…本部分主要为机器学习理论入门_熟悉朴素贝叶斯算法书籍参考 “ 统计学习方法第二版”。
学习目标 熟悉条件概率、先验概率、后验概率、全概率熟悉朴素贝叶斯算法原理与推判断过程熟悉参数估计熟悉算法具体使用场景与实际应用。
个人理解下来其实就是一句话本算法就是根据所有已知参数来计算后验概率问题。 一、统计学基础概念 条件概率: 就是事件A在事件B发生的条件下发生的概率。条件概率表示为 P A ∣ B PA|B PA∣B读作“A在B发生的条件下发生的概率”。 先验概率: 在贝叶斯统计中某一不确定量 p 的先验概率分布是在考虑”观测数据”前能表达 p 不确定性的概率分布。它旨在描述这个不确定量的不确定程度而不是这个不确定量的随机性。这个不确定量可以是一个参数或者是一个隐含变量。 后验概率: 在贝叶斯统计中一个随机事件或者一个不确定事件的后验概率是在考虑和给出相关证据或数据后所得到的条件概率。同样后验概率分布是一个未知量视为随机变量基于试验和调查后得到的概率分布。“后验”在本文中代表考虑了被测试事件的相关证据。 全概率: 是对一复杂事件A的概率求解问题转化为了在不同情况下发生的简单事件的概率的求和问题。
举个例子说明下应该就会有更好的理解了
eg. 要确定一个瓜是好瓜还是坏瓜用判别模型的方法是从历史数据中学习到模型然后通过提取这个瓜的特征来预测出这只瓜是好瓜的概率是坏瓜的概率。 通过上述西瓜的数据集来看:
条件概率就是在条件为瓜的颜色是青绿的情况下瓜是好瓜的概率先验概率就是常识、经验、统计学所透露出的“因”的概率即瓜的颜色是青绿的概率。后验概率就是在知道“果”之后去推测“因”的概率也就是说如果已经知道瓜是好瓜那么瓜的颜色是青绿的概率是多少。后验和先验的关系就需要运用贝叶斯决策理论来求解。
二、朴素贝叶斯概念
监督学习分为生成模型 (generative model) 与判别模型 (discriminative model)贝叶斯方法是生贝叶斯方法正是生成模型的代表 (还有隐马尔科夫模型)。在概率论与统计学中贝叶斯定理 (Bayes’ theorem) 表达了一个事件发生的概率而确定这一概率的方法是基于与该事件相关的条件先验知识 (prior knowledge)。而利用相应先验知识进行概率推断的过程为贝叶斯推断 (Bayesian inference)。
贝叶斯分类是一类分类算法的总称这类算法均以贝叶斯定理为基础故统称为贝叶斯分类。而朴素贝叶斯Naive Bayes分类是贝叶斯分类中最简单也是常见的一种分类方法。
朴素贝叶斯算法的核心思想是通过考虑特征概率来预测分类即对于给出的待分类样本求解在此样本出现的条件下各个类别出现的概率哪个最大就认为此待分类样本属于哪个类别。
朴素贝叶斯算法是一种基于概率统计的分类方法它利用贝叶斯定理和特征条件独立假设来预测样本的类别。尽管其假设特征之间相互独立在现实中往往不成立但朴素贝叶斯分类器因其计算简单、效率高、对缺失数据不敏感等优点在文本分类、垃圾邮件过滤、情感分析等领域有着广泛的应用。
三、朴素贝叶斯算法原理与推判过程
3.1 贝叶斯定理
条件概率 (conditional probability) 是指在事件 B 发生的情况下事件 A 发生的概率。通常记为 P(A | B)。
因此 可得 由此可以推出贝叶斯公式
这也是条件概率的计算公式。
此外由全概率公式可得条件概率的另一种写法 其中样本空间由A和A’构成由此求得事件B的概率。
3.2 贝叶斯推断
贝叶斯公式中P(A)称为先验概率Prior probability即在B事件发生之前对A事件概率的一个判断。 P(A|B)称为后验概率Posterior probability即在B事件发生之后对A事件概率的重新评估。 P(B|A)/P(B)称为可能性函数Likelyhood这是一个调整因子使得预估概率更接近真实概率。 所以条件概率可以理解成下面的式子后验概率先验概率 调整因子 这就是贝叶斯推断的含义。我们先预估一个先验概率然后加入实验结果看这个实验到底是增强还是削弱了先验概率由此得到更接近事实的后验概率。因为在分类中只需要找出可能性最大的那个选项而不需要知道具体那个类别的概率是多少所以为了减少计算量全概率公式在实际编程中可以不使用。
3.3 朴素贝叶斯算法描述
而朴素贝叶斯推断是在贝叶斯推断的基础上对条件概率分布做了条件独立性的假设。因此可得朴素贝叶斯分类器的表达式。因为以自变量之间的独立条件特征独立性和连续变量的正态性假设为前提就会导致算法精度在某种程度上受影响。
所谓「朴素」是假定所有输入事件之间是相互独立。进行这个假设是因为独立事件间的概率计算更简单。
具体数学描述可以参照书中内容本部分找了一个相对简洁的推判工时描述如下 3.4 朴素贝叶斯的参数估计
极大似然估计
利用极大似然估计我们可以得到下面这两个概率的估计公式 上式的意思是不同类别的出现概率的先验概率直接为样本中该类别出现的频率。 上式的意思是在类别为Ck的前提下第 i 维取值为ajl的概率为样本中Ck类中该分量为ajl的样本占Ck类样本总数的比重。
极大似然估计在此处的结果基本上可以简单归结为用频率估计概率
贝叶斯估计
上述的极大似然估计在一个情况下可能遇到问题如果某个样本没有出现的话对那个类别估计的信息完全丢失。
为解决这一问题我们可以手动为每一类别添加默认 n 次的出现频数 其中Si是第 i 维的取值个数λ是一个超参数一般取 1.
在第一式中我们为每个类别都加入了λ的频率所以分子单独某类的频数加上了λ分母加上了总类别数 K 乘上λ.
在第二式中我们为每个类别的每个维度都加入了λ的频率所以分子单独某类的频数加上了λ分母加上了该维度可能的取值个数数乘上λ因为有多少个取值我们就人为的加上了多少个λ.
可以认为贝叶斯估计是对极大似然估计进行了平滑。
四、朴素贝叶斯算法流程 4.1 算法实现流程
个人懒得打字了 直接粘贴大佬文档了有兴趣的可以看原文https://www.cnblogs.com/pinard/p/6069267.html 五、朴素贝叶斯算法小结
朴素贝叶斯算法以其简单高效的特点在文本分类、垃圾邮件过滤等领域取得了广泛的应用。尽管其特征条件独立假设在现实中往往不成立但这一假设的简化使得算法的计算过程变得非常高效。通过合理的数据预处理和特征选择朴素贝叶斯算法能够在许多实际应用中取得较好的成绩。
朴素贝叶斯算法优缺点如下
优点
对小规模的数据表现很好能处理多分类任务对缺失数据不太敏感算法也比较简单。
缺点 朴素贝叶斯模型假设属性之间相互独立这个假设在实际应用中往往是不成立的在属性个数比较多或者属性之间相关性较大时分类效果不好 需要知道先验概率且先验概率很多时候取决于假设因此在某些时候会由于假设的先验模型的原因导致预测效果不佳。 对输入数据的表达形式很敏感。
至于伯努利与多项式朴素贝叶斯等算法可以参照https://www.showmeai.tech/tutorials/34?articleId189这篇文章了解下
