php 建网站,wordpress register,医疗网站模版,建设网页设计制作公司Fisher信息矩阵简介
Fisher信息矩阵#xff08;Fisher Information Matrix#xff0c;简称FIM#xff09;是统计学和信息理论中的一个重要概念#xff0c;广泛应用于参数估计、统计推断和机器学习领域。它以统计学家罗纳德费希尔#xff08;Ronald Fisher#xff09;的名…Fisher信息矩阵简介
Fisher信息矩阵Fisher Information Matrix简称FIM是统计学和信息理论中的一个重要概念广泛应用于参数估计、统计推断和机器学习领域。它以统计学家罗纳德·费希尔Ronald Fisher的名字命名反映了概率分布对参数变化的敏感度是衡量模型参数估计不确定性的核心工具。
什么是Fisher信息矩阵
Fisher信息矩阵是一个对称的方阵用于描述概率密度函数或概率质量函数在其参数下的信息含量。简单来说它告诉我们通过观测数据能够获得多少关于未知参数的信息。对于一个参数化的概率分布 ( p ( x ∣ θ ) p(x|\theta) p(x∣θ) )其中 ( θ \theta θ ) 是参数向量Fisher信息矩阵 ( I ( θ ) I(\theta) I(θ) ) 的定义基于对数似然函数的二阶导数。
数学定义
假设我们有一个概率密度函数 ( p ( x ∣ θ ) p(x|\theta) p(x∣θ) )其中 ( θ ( θ 1 , θ 2 , … , θ k ) \theta (\theta_1, \theta_2, \dots, \theta_k) θ(θ1,θ2,…,θk) ) 是 ( k k k ) 维参数向量。Fisher信息矩阵 ( I ( θ ) I(\theta) I(θ) ) 的元素可以通过以下两种等价的方式定义 基于期望的定义 I ( θ ) i j E [ ∂ log p ( x ∣ θ ) ∂ θ i ∂ log p ( x ∣ θ ) ∂ θ j ∣ θ ] I(\theta)_{ij} E\left[ \frac{\partial \log p(x|\theta)}{\partial \theta_i} \frac{\partial \log p(x|\theta)}{\partial \theta_j} \bigg| \theta \right] I(θ)ijE[∂θi∂logp(x∣θ)∂θj∂logp(x∣θ) θ] 这里( E [ ⋅ ] E[\cdot] E[⋅] ) 表示在给定 ( θ \theta θ ) 下的期望( ∂ log p ( x ∣ θ ) ∂ θ i \frac{\partial \log p(x|\theta)}{\partial \theta_i} ∂θi∂logp(x∣θ) ) 是对数似然函数对第 ( i i i ) 个参数的偏导数也称为得分函数score function。 基于二阶导数的定义在一定条件下等价 I ( θ ) i j − E [ ∂ 2 log p ( x ∣ θ ) ∂ θ i ∂ θ j ∣ θ ] I(\theta)_{ij} -E\left[ \frac{\partial^2 \log p(x|\theta)}{\partial \theta_i \partial \theta_j} \bigg| \theta \right] I(θ)ij−E[∂θi∂θj∂2logp(x∣θ) θ] 这是对数似然函数的二阶偏导数的负期望值通常称为Hessian矩阵的期望。
这两种定义在正则条件下例如分布满足可微性和期望的可交换性是等价的。
一个简单例子
为了更好地理解假设我们有一个正态分布 ( N ( μ , σ 2 ) N(\mu, \sigma^2) N(μ,σ2) )其中参数 ( θ ( μ , σ 2 ) \theta (\mu, \sigma^2) θ(μ,σ2) )。我们来计算它的Fisher信息矩阵
对数似然函数
对于单个观测值 ( x x x ) log p ( x ∣ μ , σ 2 ) − 1 2 log ( 2 π σ 2 ) − ( x − μ ) 2 2 σ 2 \log p(x|\mu, \sigma^2) -\frac{1}{2} \log (2\pi \sigma^2) - \frac{(x - \mu)^2}{2\sigma^2} logp(x∣μ,σ2)−21log(2πσ2)−2σ2(x−μ)2
计算得分函数
对 ( μ \mu μ ) 求偏导 ∂ log p ∂ μ x − μ σ 2 \frac{\partial \log p}{\partial \mu} \frac{x - \mu}{\sigma^2} ∂μ∂logpσ2x−μ对 ( σ 2 \sigma^2 σ2 ) 求偏导 ∂ log p ∂ σ 2 − 1 2 σ 2 ( x − μ ) 2 2 ( σ 2 ) 2 \frac{\partial \log p}{\partial \sigma^2} -\frac{1}{2\sigma^2} \frac{(x - \mu)^2}{2(\sigma^2)^2} ∂σ2∂logp−2σ212(σ2)2(x−μ)2
Fisher信息矩阵元素
( I 11 E [ ( x − μ σ 2 ) 2 ] 1 σ 2 I_{11} E\left[ \left( \frac{x - \mu}{\sigma^2} \right)^2 \right] \frac{1}{\sigma^2} I11E[(σ2x−μ)2]σ21 )因为 ( E [ ( x − μ ) 2 ] σ 2 E[(x - \mu)^2] \sigma^2 E[(x−μ)2]σ2 )。( I 22 E [ ( − 1 2 σ 2 ( x − μ ) 2 2 ( σ 2 ) 2 ) 2 ] 1 2 ( σ 2 ) 2 I_{22} E\left[ \left( -\frac{1}{2\sigma^2} \frac{(x - \mu)^2}{2(\sigma^2)^2} \right)^2 \right] \frac{1}{2(\sigma^2)^2} I22E[(−2σ212(σ2)2(x−μ)2)2]2(σ2)21 )。计算过程见下文。( I 12 I 21 E [ x − μ σ 2 ⋅ ( − 1 2 σ 2 ( x − μ ) 2 2 ( σ 2 ) 2 ) ] 0 I_{12} I_{21} E\left[ \frac{x - \mu}{\sigma^2} \cdot \left( -\frac{1}{2\sigma^2} \frac{(x - \mu)^2}{2(\sigma^2)^2} \right) \right] 0 I12I21E[σ2x−μ⋅(−2σ212(σ2)2(x−μ)2)]0 )交叉项期望为零。计算过程见下文。
于是Fisher信息矩阵为 I ( θ ) [ 1 σ 2 0 0 1 2 ( σ 2 ) 2 ] I(\theta) \begin{bmatrix} \frac{1}{\sigma^2} 0 \\ 0 \frac{1}{2(\sigma^2)^2} \end{bmatrix} I(θ)[σ21002(σ2)21]
Fisher信息矩阵的性质
正定性如果模型是可识别的即不同参数对应不同分布Fisher信息矩阵通常是正定的这意味着它可以用来衡量参数估计的“曲率”。对角元素对角线上的元素 ( I i i I_{ii} Iii ) 表示单个参数 ( θ i \theta_i θi ) 的信息量。独立性如果参数之间是独立的得分函数的交叉项期望为零矩阵将是对角矩阵。
应用 Cramér-Rao下界 Fisher信息矩阵的一个重要应用是提供参数估计方差的下界。对于一个无偏估计器 ( θ ^ \hat{\theta} θ^ )其协方差矩阵满足 Cov ( θ ^ ) ≥ I ( θ ) − 1 \text{Cov}(\hat{\theta}) \geq I(\theta)^{-1} Cov(θ^)≥I(θ)−1 其中 ( I ( θ ) − 1 I(\theta)^{-1} I(θ)−1 ) 是Fisher信息矩阵的逆矩阵。这表明估计器的精度受限于Fisher信息。 最大似然估计 在最大似然估计MLE中Fisher信息矩阵的逆可以用来近似估计参数的协方差矩阵尤其是在大样本情况下。 机器学习 在深度学习中Fisher信息矩阵被用于优化算法如自然梯度下降和模型正则化帮助理解损失函数的几何结构。
总结
Fisher信息矩阵是统计学中的一个强大工具它连接了概率分布、参数估计和信息理论。通过量化数据中包含的参数信息它为我们提供了理解模型行为和估计精度的基础。尽管计算复杂但在许多实际问题中它可以通过数值方法或近似来实现。
如果你需要更深入的探讨或具体例子请告诉我我可以进一步扩展 I 22 I_{22} I22复杂计算过程
以下是关于Fisher信息矩阵元素 ( I 22 I_{22} I22 ) 的计算过程 第一部分计算 ( I 22 I_{22} I22 )
给出的表达式是 I 22 E [ ( − 1 2 σ 2 ( x − μ ) 2 2 ( σ 2 ) 2 ) 2 ] I_{22} E\left[ \left( -\frac{1}{2\sigma^2} \frac{(x - \mu)^2}{2(\sigma^2)^2} \right)^2 \right] I22E[(−2σ212(σ2)2(x−μ)2)2]
并提到它等于 ( 1 2 ( σ 2 ) 2 \frac{1}{2(\sigma^2)^2} 2(σ2)21 )。让我们一步步验证这个计算过程假设 ( x ∼ N ( μ , σ 2 ) x \sim N(\mu, \sigma^2) x∼N(μ,σ2) )因为Fisher信息矩阵通常在正态分布的背景下计算。
步骤 1定义对数似然函数
对于来自正态分布 ( N ( μ , σ 2 ) N(\mu, \sigma^2) N(μ,σ2) ) 的单个观测值 ( x x x )概率密度函数为 p ( x ∣ μ , σ 2 ) 1 2 π σ 2 exp ( − ( x − μ ) 2 2 σ 2 ) p(x | \mu, \sigma^2) \frac{1}{\sqrt{2\pi \sigma^2}} \exp\left( -\frac{(x - \mu)^2}{2\sigma^2} \right) p(x∣μ,σ2)2πσ2 1exp(−2σ2(x−μ)2)
对数似然函数为 log p ( x ∣ μ , σ 2 ) − 1 2 log ( 2 π σ 2 ) − ( x − μ ) 2 2 σ 2 \log p(x | \mu, \sigma^2) -\frac{1}{2} \log (2\pi \sigma^2) - \frac{(x - \mu)^2}{2\sigma^2} logp(x∣μ,σ2)−21log(2πσ2)−2σ2(x−μ)2
步骤 2对 ( σ 2 \sigma^2 σ2 ) 求偏导数
由于 ( I 22 I_{22} I22 ) 对应参数 ( θ 2 σ 2 \theta_2 \sigma^2 θ2σ2 )我们需要计算 ∂ log p ∂ σ 2 \frac{\partial \log p}{\partial \sigma^2} ∂σ2∂logp
第一项( − 1 2 log ( 2 π σ 2 ) − 1 2 log 2 π − 1 2 log σ 2 -\frac{1}{2} \log (2\pi \sigma^2) -\frac{1}{2} \log 2\pi - \frac{1}{2} \log \sigma^2 −21log(2πσ2)−21log2π−21logσ2 ) ∂ ∂ σ 2 ( − 1 2 log σ 2 ) − 1 2 ⋅ 1 σ 2 − 1 2 σ 2 \frac{\partial}{\partial \sigma^2} \left( -\frac{1}{2} \log \sigma^2 \right) -\frac{1}{2} \cdot \frac{1}{\sigma^2} -\frac{1}{2\sigma^2} ∂σ2∂(−21logσ2)−21⋅σ21−2σ21
这里使用了链式法则( d d σ 2 log σ 2 1 σ 2 \frac{d}{d\sigma^2} \log \sigma^2 \frac{1}{\sigma^2} dσ2dlogσ2σ21 )。
第二项( − ( x − μ ) 2 2 σ 2 -\frac{(x - \mu)^2}{2\sigma^2} −2σ2(x−μ)2 ) ∂ ∂ σ 2 ( − ( x − μ ) 2 2 σ 2 ) − ( x − μ ) 2 2 ⋅ ( − 1 ) ( σ 2 ) − 2 ( x − μ ) 2 2 ( σ 2 ) 2 \frac{\partial}{\partial \sigma^2} \left( -\frac{(x - \mu)^2}{2\sigma^2} \right) -\frac{(x - \mu)^2}{2} \cdot (-1) (\sigma^2)^{-2} \frac{(x - \mu)^2}{2(\sigma^2)^2} ∂σ2∂(−2σ2(x−μ)2)−2(x−μ)2⋅(−1)(σ2)−22(σ2)2(x−μ)2
因此 ∂ log p ∂ σ 2 − 1 2 σ 2 ( x − μ ) 2 2 ( σ 2 ) 2 \frac{\partial \log p}{\partial \sigma^2} -\frac{1}{2\sigma^2} \frac{(x - \mu)^2}{2(\sigma^2)^2} ∂σ2∂logp−2σ212(σ2)2(x−μ)2
这与给出的期望内的表达式一致.
步骤 3对偏导数平方 I 22 E [ ( ∂ log p ∂ σ 2 ) 2 ] E [ ( − 1 2 σ 2 ( x − μ ) 2 2 ( σ 2 ) 2 ) 2 ] I_{22} E\left[ \left( \frac{\partial \log p}{\partial \sigma^2} \right)^2 \right] E\left[ \left( -\frac{1}{2\sigma^2} \frac{(x - \mu)^2}{2(\sigma^2)^2} \right)^2 \right] I22E[(∂σ2∂logp)2]E[(−2σ212(σ2)2(x−μ)2)2]
展开平方 ( − 1 2 σ 2 ( x − μ ) 2 2 ( σ 2 ) 2 ) 2 ( − 1 2 σ 2 ) 2 2 ( − 1 2 σ 2 ) ( ( x − μ ) 2 2 ( σ 2 ) 2 ) ( ( x − μ ) 2 2 ( σ 2 ) 2 ) 2 \left( -\frac{1}{2\sigma^2} \frac{(x - \mu)^2}{2(\sigma^2)^2} \right)^2 \left( -\frac{1}{2\sigma^2} \right)^2 2 \left( -\frac{1}{2\sigma^2} \right) \left( \frac{(x - \mu)^2}{2(\sigma^2)^2} \right) \left( \frac{(x - \mu)^2}{2(\sigma^2)^2} \right)^2 (−2σ212(σ2)2(x−μ)2)2(−2σ21)22(−2σ21)(2(σ2)2(x−μ)2)(2(σ2)2(x−μ)2)2
逐项简化 ( ( − 1 2 σ 2 ) 2 1 4 ( σ 2 ) 2 \left( -\frac{1}{2\sigma^2} \right)^2 \frac{1}{4(\sigma^2)^2} (−2σ21)24(σ2)21 ) ( 2 ( − 1 2 σ 2 ) ( ( x − μ ) 2 2 ( σ 2 ) 2 ) − ( x − μ ) 2 2 ( σ 2 ) 3 2 \left( -\frac{1}{2\sigma^2} \right) \left( \frac{(x - \mu)^2}{2(\sigma^2)^2} \right) -\frac{(x - \mu)^2}{2(\sigma^2)^3} 2(−2σ21)(2(σ2)2(x−μ)2)−2(σ2)3(x−μ)2 ) ( ( ( x − μ ) 2 2 ( σ 2 ) 2 ) 2 ( x − μ ) 4 4 ( σ 2 ) 4 \left( \frac{(x - \mu)^2}{2(\sigma^2)^2} \right)^2 \frac{(x - \mu)^4}{4(\sigma^2)^4} (2(σ2)2(x−μ)2)24(σ2)4(x−μ)4 )
因此 I 22 E [ 1 4 ( σ 2 ) 2 − ( x − μ ) 2 2 ( σ 2 ) 3 ( x − μ ) 4 4 ( σ 2 ) 4 ] I_{22} E\left[ \frac{1}{4(\sigma^2)^2} - \frac{(x - \mu)^2}{2(\sigma^2)^3} \frac{(x - \mu)^4}{4(\sigma^2)^4} \right] I22E[4(σ2)21−2(σ2)3(x−μ)24(σ2)4(x−μ)4]
步骤 4计算期望
由于 ( σ 2 \sigma^2 σ2 ) 是参数常数我们对 ( x x x ) 取期望 ( E [ 1 4 ( σ 2 ) 2 ] 1 4 ( σ 2 ) 2 E\left[ \frac{1}{4(\sigma^2)^2} \right] \frac{1}{4(\sigma^2)^2} E[4(σ2)21]4(σ2)21 ) 常数 ( E [ − ( x − μ ) 2 2 ( σ 2 ) 3 ] − 1 2 ( σ 2 ) 3 E [ ( x − μ ) 2 ] E\left[ -\frac{(x - \mu)^2}{2(\sigma^2)^3} \right] -\frac{1}{2(\sigma^2)^3} E[(x - \mu)^2] E[−2(σ2)3(x−μ)2]−2(σ2)31E[(x−μ)2] ) ( E [ ( x − μ ) 4 4 ( σ 2 ) 4 ] 1 4 ( σ 2 ) 4 E [ ( x − μ ) 4 ] E\left[ \frac{(x - \mu)^4}{4(\sigma^2)^4} \right] \frac{1}{4(\sigma^2)^4} E[(x - \mu)^4] E[4(σ2)4(x−μ)4]4(σ2)41E[(x−μ)4] )
对于 ( x ∼ N ( μ , σ 2 ) x \sim N(\mu, \sigma^2) x∼N(μ,σ2) ) ( E [ ( x − μ ) 2 ] 方差 σ 2 E[(x - \mu)^2] \text{方差} \sigma^2 E[(x−μ)2]方差σ2 ) ( E [ ( x − μ ) 4 ] 3 ( σ 2 ) 2 E[(x - \mu)^4] 3(\sigma^2)^2 E[(x−μ)4]3(σ2)2 ) 正态分布的四阶中心矩
代入 I 22 1 4 ( σ 2 ) 2 − 1 2 ( σ 2 ) 3 ⋅ σ 2 1 4 ( σ 2 ) 4 ⋅ 3 ( σ 2 ) 2 I_{22} \frac{1}{4(\sigma^2)^2} - \frac{1}{2(\sigma^2)^3} \cdot \sigma^2 \frac{1}{4(\sigma^2)^4} \cdot 3(\sigma^2)^2 I224(σ2)21−2(σ2)31⋅σ24(σ2)41⋅3(σ2)2 1 4 ( σ 2 ) 2 − 1 2 ( σ 2 ) 2 3 4 ( σ 2 ) 2 \frac{1}{4(\sigma^2)^2} - \frac{1}{2(\sigma^2)^2} \frac{3}{4(\sigma^2)^2} 4(σ2)21−2(σ2)214(σ2)23 ( 1 4 − 2 4 3 4 ) 1 ( σ 2 ) 2 2 4 1 ( σ 2 ) 2 1 2 ( σ 2 ) 2 \left( \frac{1}{4} - \frac{2}{4} \frac{3}{4} \right) \frac{1}{(\sigma^2)^2} \frac{2}{4} \frac{1}{(\sigma^2)^2} \frac{1}{2(\sigma^2)^2} (41−4243)(σ2)2142(σ2)212(σ2)21
这证实了 I 22 1 2 ( σ 2 ) 2 I_{22} \frac{1}{2(\sigma^2)^2} I222(σ2)21
这个计算依赖于对偏导数平方后展开并利用正态分布的矩结果如上所示。 第二部分两个偏导的乘积是否等价于平方
两个偏导的乘积等价成平方了吗让我们在 ( θ ( μ , σ 2 ) \theta (\mu, \sigma^2) θ(μ,σ2) ) 的Fisher信息矩阵背景下解释这个问题。
Fisher信息矩阵元素 ( I 11 E [ ( ∂ log p ∂ μ ) 2 ] I_{11} E\left[ \left( \frac{\partial \log p}{\partial \mu} \right)^2 \right] I11E[(∂μ∂logp)2] ) ( I 12 I 21 E [ ∂ log p ∂ μ ∂ log p ∂ σ 2 ] I_{12} I_{21} E\left[ \frac{\partial \log p}{\partial \mu} \frac{\partial \log p}{\partial \sigma^2} \right] I12I21E[∂μ∂logp∂σ2∂logp] ) ( I 22 E [ ( ∂ log p ∂ σ 2 ) 2 ] I_{22} E\left[ \left( \frac{\partial \log p}{\partial \sigma^2} \right)^2 \right] I22E[(∂σ2∂logp)2] ) 如上计算
对角元素是平方非对角元素是乘积。
解答交叉项期望为零
为什么 ( I 12 I 21 E [ x − μ σ 2 ⋅ ( − 1 2 σ 2 ( x − μ ) 2 2 ( σ 2 ) 2 ) ] 0 I_{12} I_{21} E\left[ \frac{x - \mu}{\sigma^2} \cdot \left( -\frac{1}{2\sigma^2} \frac{(x - \mu)^2}{2(\sigma^2)^2} \right) \right] 0 I12I21E[σ2x−μ⋅(−2σ212(σ2)2(x−μ)2)]0 )? 背景
在Fisher信息矩阵中( I i j I_{ij} Iij ) 表示参数 ( θ i \theta_i θi ) 和 ( θ j \theta_j θj ) 的信息关联。对于正态分布 ( N ( μ , σ 2 ) N(\mu, \sigma^2) N(μ,σ2) )我们令 ( θ 1 μ \theta_1 \mu θ1μ )( θ 2 σ 2 \theta_2 \sigma^2 θ2σ2 )。这里( I 12 I_{12} I12 ) 是交叉项定义为 I 12 E [ ∂ log p ∂ μ ⋅ ∂ log p ∂ σ 2 ] I_{12} E\left[ \frac{\partial \log p}{\partial \mu} \cdot \frac{\partial \log p}{\partial \sigma^2} \right] I12E[∂μ∂logp⋅∂σ2∂logp]
它衡量了 ( μ \mu μ ) 和 ( σ 2 \sigma^2 σ2 ) 之间的信息相关性。如果 ( I 12 0 I_{12} 0 I120 )说明这两个参数在信息上是“正交”的也就是说一个参数的得分函数score function与另一个参数的得分函数在期望上是无关的。 计算过程
步骤 1计算交叉项 ( I 12 I_{12} I12 ) I 12 E [ ∂ log p ∂ μ ⋅ ∂ log p ∂ σ 2 ] E [ x − μ σ 2 ⋅ ( − 1 2 σ 2 ( x − μ ) 2 2 ( σ 2 ) 2 ) ] I_{12} E\left[ \frac{\partial \log p}{\partial \mu} \cdot \frac{\partial \log p}{\partial \sigma^2} \right] E\left[ \frac{x - \mu}{\sigma^2} \cdot \left( -\frac{1}{2\sigma^2} \frac{(x - \mu)^2}{2(\sigma^2)^2} \right) \right] I12E[∂μ∂logp⋅∂σ2∂logp]E[σ2x−μ⋅(−2σ212(σ2)2(x−μ)2)]
展开乘积 x − μ σ 2 ⋅ ( − 1 2 σ 2 ( x − μ ) 2 2 ( σ 2 ) 2 ) x − μ σ 2 ⋅ ( − 1 2 σ 2 ) x − μ σ 2 ⋅ ( x − μ ) 2 2 ( σ 2 ) 2 \frac{x - \mu}{\sigma^2} \cdot \left( -\frac{1}{2\sigma^2} \frac{(x - \mu)^2}{2(\sigma^2)^2} \right) \frac{x - \mu}{\sigma^2} \cdot \left( -\frac{1}{2\sigma^2} \right) \frac{x - \mu}{\sigma^2} \cdot \frac{(x - \mu)^2}{2(\sigma^2)^2} σ2x−μ⋅(−2σ212(σ2)2(x−μ)2)σ2x−μ⋅(−2σ21)σ2x−μ⋅2(σ2)2(x−μ)2 − x − μ 2 ( σ 2 ) 2 ( x − μ ) 3 2 ( σ 2 ) 3 -\frac{x - \mu}{2(\sigma^2)^2} \frac{(x - \mu)^3}{2(\sigma^2)^3} −2(σ2)2x−μ2(σ2)3(x−μ)3
因此 I 12 E [ − x − μ 2 ( σ 2 ) 2 ( x − μ ) 3 2 ( σ 2 ) 3 ] I_{12} E\left[ -\frac{x - \mu}{2(\sigma^2)^2} \frac{(x - \mu)^3}{2(\sigma^2)^3} \right] I12E[−2(σ2)2x−μ2(σ2)3(x−μ)3]
由于期望是线性的我们可以分开计算 I 12 − 1 2 ( σ 2 ) 2 E [ x − μ ] 1 2 ( σ 2 ) 3 E [ ( x − μ ) 3 ] I_{12} -\frac{1}{2(\sigma^2)^2} E[x - \mu] \frac{1}{2(\sigma^2)^3} E[(x - \mu)^3] I12−2(σ2)21E[x−μ]2(σ2)31E[(x−μ)3]
步骤 2计算正态分布的矩
对于 ( x ∼ N ( μ , σ 2 ) x \sim N(\mu, \sigma^2) x∼N(μ,σ2) ) ( E [ x − μ ] 0 E[x - \mu] 0 E[x−μ]0 ) 一阶中心矩因为均值为 ( μ \mu μ ) ( E [ ( x − μ ) 3 ] 0 E[(x - \mu)^3] 0 E[(x−μ)3]0 ) 三阶中心矩由于正态分布是对称的奇数阶中心矩为零
代入 I 12 − 1 2 ( σ 2 ) 2 ⋅ 0 1 2 ( σ 2 ) 3 ⋅ 0 0 I_{12} -\frac{1}{2(\sigma^2)^2} \cdot 0 \frac{1}{2(\sigma^2)^3} \cdot 0 0 I12−2(σ2)21⋅02(σ2)31⋅00
所以 I 12 0 I_{12} 0 I120
这就是为什么交叉项期望为零。 解释为什么会是零
这个结果的背后有深刻的统计意义 正态分布的对称性 ( x − μ x - \mu x−μ ) 的分布是对称的服从 ( N ( 0 , σ 2 ) N(0, \sigma^2) N(0,σ2) )其奇数阶中心矩如 ( E [ x − μ ] E[x - \mu] E[x−μ] ) 和 ( E [ ( x − μ ) 3 ] E[(x - \mu)^3] E[(x−μ)3] )都为零。( ∂ log p ∂ μ x − μ σ 2 \frac{\partial \log p}{\partial \mu} \frac{x - \mu}{\sigma^2} ∂μ∂logpσ2x−μ ) 是线性项期望为零。( ∂ log p ∂ σ 2 − 1 2 σ 2 ( x − μ ) 2 2 ( σ 2 ) 2 \frac{\partial \log p}{\partial \sigma^2} -\frac{1}{2\sigma^2} \frac{(x - \mu)^2}{2(\sigma^2)^2} ∂σ2∂logp−2σ212(σ2)2(x−μ)2 ) 包含常数项和二次项乘以奇数项 ( x − μ x - \mu x−μ ) 后奇数阶的部分在期望下消失。 参数的正交性 在正态分布中( μ \mu μ ) 和 ( σ 2 \sigma^2 σ2 ) 的得分函数是“正交”的意味着它们提供的信息在统计上是独立的。当 ( I 12 0 I_{12} 0 I120 )Fisher信息矩阵是对角矩阵表明 ( μ \mu μ ) 和 ( σ 2 \sigma^2 σ2 ) 的估计不会相互干扰。 直观理解 ( x − μ σ 2 \frac{x - \mu}{\sigma^2} σ2x−μ ) 表示数据偏离均值的程度是随机的正负波动。( − 1 2 σ 2 ( x − μ ) 2 2 ( σ 2 ) 2 -\frac{1}{2\sigma^2} \frac{(x - \mu)^2}{2(\sigma^2)^2} −2σ212(σ2)2(x−μ)2 ) 与方差相关是关于偏差大小的量。这两者乘积的正负波动在对称分布下互相抵消期望为零。 验证另一种方法二阶导数
Fisher信息矩阵也可以用二阶导数的负期望定义 I 12 − E [ ∂ 2 log p ∂ μ ∂ σ 2 ] I_{12} -E\left[ \frac{\partial^2 \log p}{\partial \mu \partial \sigma^2} \right] I12−E[∂μ∂σ2∂2logp]
计算二阶混合偏导 ∂ ∂ σ 2 ( x − μ σ 2 ) ( x − μ ) ⋅ ( − 1 ) ( σ 2 ) − 2 − x − μ ( σ 2 ) 2 \frac{\partial}{\partial \sigma^2} \left( \frac{x - \mu}{\sigma^2} \right) (x - \mu) \cdot (-1) (\sigma^2)^{-2} -\frac{x - \mu}{(\sigma^2)^2} ∂σ2∂(σ2x−μ)(x−μ)⋅(−1)(σ2)−2−(σ2)2x−μ I 12 − E [ − x − μ ( σ 2 ) 2 ] 1 ( σ 2 ) 2 E [ x − μ ] 0 I_{12} -E\left[ -\frac{x - \mu}{(\sigma^2)^2} \right] \frac{1}{(\sigma^2)^2} E[x - \mu] 0 I12−E[−(σ2)2x−μ](σ2)21E[x−μ]0
这与得分函数方法一致进一步确认 ( I 12 0 I_{12} 0 I120 )。 结论
( I 12 0 I_{12} 0 I120 ) 是因为正态分布的奇数阶中心矩为零导致 ( ∂ log p ∂ μ \frac{\partial \log p}{\partial \mu} ∂μ∂logp ) 和 ( ∂ log p ∂ σ 2 \frac{\partial \log p}{\partial \sigma^2} ∂σ2∂logp ) 的乘积在期望下抵消。这反映了 ( μ \mu μ ) 和 ( σ 2 \sigma^2 σ2 ) 在信息上的独立性是正态分布的一个重要特性。
后记
2025年2月24日21点43分于上海在Grok3大模型辅助下完成。
