滕州市 网站建设公司,网站建设产品,营销策划与运营团队,苏州网站建设永阳网络声明#xff1a;本文章是根据网上资料#xff0c;加上自己整理和理解而成#xff0c;仅为记录自己学习的点点滴滴。可能有错误#xff0c;欢迎大家指正。 在机器学习和统计学领域中#xff0c;似然函数#xff08;Likelihood Function#xff09;是一个至关重要的概念。…声明本文章是根据网上资料加上自己整理和理解而成仅为记录自己学习的点点滴滴。可能有错误欢迎大家指正。 在机器学习和统计学领域中似然函数Likelihood Function是一个至关重要的概念。它不仅是参数估计的基础而且在模型选择、模型评估以及众多先进的算法和技术中都有着广泛的应用。
1. 似然VS概率
概率和似然是统计学中两个不同的概念它们在概念上和应用上都有所区别。以下是通过一个具体例子来展示这两者之间的区别
1.1 概率Probability
定义概率是在给定的参数下某个事件发生的可能性。它是未来事件发生的度量通常用介于0和1之间的数值表示。 例子假设我们有一个标准的六面骰子每个面上有1到6的数字。当我们掷骰子时得到数字6的概率是(数字6)1/6 在这个例子中参数是骰子的面数6面事件是掷出数字6概率是已知的并且是在掷骰子之前就确定的。这里的关键是概率是在给定参数骰子的公平性即所有面出现概率相同的情况下事件发生的可能性。 1.2 似然Likelihood
定义似然是在已知观测数据的情况下这些数据对于不同参数值的支持程度。它不是数据发生的概率而是在给定数据时参数值的相对合理性。 现在假设我们不确定骰子是否公平我们通过掷骰子20次观察到数字6出现了5次。我们想要估计掷出数字6的真实概率 似然函数 表示为 (∣5次6)是 的函数表示在参数 下观测数据5次6的相对可能性。似然函数是 (∣5次6)。对的求解可用最大似然方法具体可看后面这时求出的的值不一定是1/6。 对比上面的例子 概率函数 给出了在给定参数下事件发生的可能性。在我们的例子中它告诉我们在假设骰子公平的情况下掷出6的概率是 1/6。 似然函数 用于在已知观测数据的情况下评估不同参数值的合理性。在我们的例子中它帮助我们根据观测到的5次6来估计 的值。 1.3 两者区别
概率是已知参数下事件的度量在概率中参数是已知的我们计算的是某个事件发生的可能性。似然是已知数据下参数的度量在似然中数据是已知的我们评估的是不同参数值对数据的支持程度。概率是绝对的概率给出了在给定参数下事件发生的确切概率。似然是相对的似然比较了在已知数据下不同参数值的相对合理性。
总结来说概率关注的是在给定参数下事件发生的可能性而似然关注的是在给定数据下参数值的合理性。这两者在统计分析中扮演着不同的角色。
2. 概率函数VS似然函数
2.1 概率函数Probability Function, PF 定义概率函数是描述随机变量取各种可能值的概率。对于离散随机变量它是一个定义在所有可能结果上的函数对于连续随机变量它是一个概率密度函数。 用途概率函数用于计算在给定参数下随机变量取特定值或处于某个区间的概率。
1概率函数
对于离散型随机变量概率函数通常指的是概率质量函数Probability Mass Function, PMF它给出了随机变量取每个可能值的概率. 对于离散随机变量 X概率函数可以表示为 满足以下性质。 非负性对于所有的 x有 ()≥0。归一性所有可能的 x 上的概率之和为1即 对于连续随机变量 X
2 概率密度函数Probability Density Function, PDF
概率密度函数是用于描述连续型随机变量在某个值或某个区间内取值的概率的函数。对于连续型随机变量 X其概率密度函数表示为 其中 是累积分布函数满足以下性质 非负性对于所有的 有 ()≥0。归一性的整个取值范围内概率密度函数的积分总和为1即
2.2 似然函数Likelihood Function, LF 定义似然函数是在已知观测数据的情况下这些数据对于不同参数值的相对可能性。它是参数的函数用于估计参数。 用途似然函数用于参数估计特别是在最大似然估计中通过找到使似然函数最大化的参数值。 数学表示对于简单随机样本似然函数可以表示为观测数据的概率函数的乘积 其中 是参数是观测值 是给定参数 下第 个观测值的概率密度函数或概率质量函数。
2.3 两者区别
参数与数据的角色在概率函数中参数是已知的数据是随机的而在似然函数中数据是已知的参数是未知的。目的概率函数用于计算特定事件发生的概率似然函数用于估计模型参数。形式概率函数通常与特定的概率分布相关联如正态分布、二项分布等而似然函数是观测数据对参数的函数。 例子假设我们有一个骰子并且想知道掷出6点的概率 。 概率函数如果我们假设骰子是公平的那么掷出6点的概率函数是 (6点)1/6。似然函数若我们掷了20次观察到5次6点似然函数将是 。我们通过最大化这个似然函数来估计 的值。 3.最大似然估计
极大似然估计Maximum Likelihood Estimation, MLE是一种在已知观测数据的情况下估计概率模型参数的方法。它基于以下原则 似然函数首先定义似然函数它是在给定参数值 下观测数据 的概率。对于独立同分布的观测数据 似然函数可以表示为所有观测数据的概率密度函数对于连续型随机变量或概率质量函数对于离散型随机变量的乘积 最大化似然然后选择使似然函数达到最大值的参数 。这些参数值被称为极大似然估计值。 对数转换为了简化计算通常对似然函数取对数因为对数是单调函数可以将乘积转换为求和 求解参数对对数似然函数求导并找到导数为零的点这通常涉及到数值优化技术。 统计性质在大样本情况下极大似然估计具有一些良好的统计性质如一致性估计值随着样本量的增加而趋近于真实值和渐近正态性估计量的分布趋近于正态分布。 仍然是上面的例子现在假设我们不确定骰子是否公平我们通过掷骰子20次观察到数字6出现了5次。我们想要估计掷出数字6的真实概率 写出似然函数根据观测结果例如掷20次得到5次6写出似然函数 取对数为了简化计算通常对似然函数取对数得到对数似然函数 求导数对 求导并找到导数为零的点这通常通过设置导数等于零并解方程来完成 解方程解上述导数等于零的方程得到 的值可得 得到最大似然估计解得 或 0.25这就是掷出数字6的最大似然估计概率。 如果骰子是完全公平的我们期望 θ 接近 1/6但由于我们的样本数据我们得到的估计值是 1/4。这可能表明骰子存在偏差或者仅仅是由于随机变异。 4. 似然比
似然比Likelihood Ratio是统计学中用于比较两个统计模型对同一数据集的拟合优度的量。它是两个似然函数值的比率通常用于模型选择、假设检验和参数估计中。
定义
似然比 λ 可以定义为两个模型的似然函数值的比值 其中 和 分别是参数 1和 2 下观测数据 的似然函数值。
应用
模型选择在比较两个模型时似然比可以用来评估哪个模型对数据的拟合更好。似然比检验一种统计假设检验方法用于比较零假设0H和备择假设1下的似然函数值。 例子假设我们有一个简单的数据集由10个观测值组成我们想要比较以下两个模型 模型1零假设 0: 假设观测值来自均值为标准差为 的正态分布。模型2备择假设 1: 假设观测值来自均值为标准差为的正态分布。 假设我们观测到的数据是 X{2,3,4,5,6,7,8,9,10,11}。 计算似然函数首先我们为每个模型计算似然函数。假设 和是已知的我们只估计均值 。 模型1的似然函数假设 : 模型2的似然函数假设: 计算似然比 评估似然比如果似然比 接近1说明两个模型对数据的拟合程度相似如果 显著大于1模型1可能更合适如果 显著小于1模型2可能更合适。 似然比检验在实际应用中我们通常对数化似然比并将其与特定的统计量进行比较以决定是否拒绝零假设。 通过这个例子我们可以看到似然比如何用于比较不同模型对同一数据集的拟合优度并在模型选择和假设检验中发挥作用。
