骨骼型的网站,怎么做能上谷歌网站,长沙游戏网站开发,无为教育网站最近看到一些模型使用了自回归方法#xff0c;这里就学习一下整理一下相关内容方便以后查阅。 自回归模型#xff08;AR #xff09; 自回归模型#xff08;AR #xff09;AR 模型的引入AR 模型的定义参数的估计方法模型阶数选择平稳性与因果性条件自相关与偏自相关函数优…最近看到一些模型使用了自回归方法这里就学习一下整理一下相关内容方便以后查阅。 自回归模型AR 自回归模型AR AR 模型的引入AR 模型的定义参数的估计方法模型阶数选择平稳性与因果性条件自相关与偏自相关函数优缺点总结 自相关Autocorrelation与偏自相关Partial Autocorrelation基本概念与定义自相关函数ACF样本自相关系数 偏自相关函数PACF ACF与PACF图在模型识别中的作用工具与代码实现 自回归移动平均模型Autoregressive Moving Average ModelARMA基本概念与定义自回归AR模型移动平均MA模型ARMA模型的定义 ARMA(p, q)模型的数学公式 参考资料 自回归Autoregression简称AR是一类广泛应用于时间序列分析和建模的统计模型。它的核心思想是将当前时刻的数据值表示为过去若干时刻数据值的线性组合以及一个随机误差项。通过这种方式自回归模型能够捕捉时间序列内部的自相关结构从而实现对未来值的预测、对数据生成机制的理解或对信号特征的建模。
自回归模型AR
AR 模型的引入
考虑如图所示的单摆系统。设 x t x_t xt 为第 t t t 次摆动过程中的摆幅。根据物理原理第 t t t 次的摆幅 x t x_t xt 由前一次的摆幅 x t − 1 x_{t-1} xt−1 决定即有 x t a 1 x t − 1 x_ta_1x_{t-1} xta1xt−1。考虑到空气振动的影响我们往往假设 x t a 1 x t − 1 ε t , t ≥ 1 x_ta_1x_{t-1}\varepsilon_t,t\geq1 xta1xt−1εt,t≥1
其中随机干扰 ε t ∼ N ( 0 , σ 2 ) ε_t \sim N(0, σ^2) εt∼N(0,σ2)。 设初始时刻 x 0 1 x_01 x01现在取不同的 a 1 a_1 a1 和 σ σ σ 值进行实验。实验结果如下图。 可以看出参数 a 1 a_1 a1 对序列的稳定性起到决定性的作用而噪声强度 σ 2 σ^2 σ2 决定了序列的波动程度。
在这里我们称第一个公式为一阶自回归模型。更一般地可以考虑序列值 x t x_t xt 可由前 p p p 个时刻的序列值及当前的噪声表出即 x t a 1 x t − 1 a 2 x t − 2 ⋯ a p x t − p ε t x_ta_1x_{t-1}a_2x_{t-2}\cdotsa_px_{t-p}\varepsilon_t xta1xt−1a2xt−2⋯apxt−pεt
其中 a j a_j aj 为参数 ε t {ε_t} εt 为白噪声。
AR 模型的定义
如果 ε t \varepsilon_\mathrm{t} εt为白噪声,服从 N ( 0 , σ 2 ) N(0,\sigma^2) N(0,σ2) a 0 , a 1 , . . . , a p ( a p ≠ o ) \mathrm{a_0,a_1,...,a_p(a_p\neq o)} a0,a1,...,ap(apo)为实数,就称 p p p 阶差分方程 X t a 0 a 1 X t − 1 a 2 X t − 2 ⋯ a p X t − p ε t , t ∈ Z X_ta_0a_1X_{t-1}a_2X_{t-2}\cdotsa_pX_{t-p}\varepsilon_t,t\in\mathbb{Z} Xta0a1Xt−1a2Xt−2⋯apXt−pεt,t∈Z
是一个 p p p 阶自回归模型简称 A R ( p ) AR(p) AR(p) 模型称 a ( a 0 , a 1 , . . . , a p ) T \mathbf{a(a_{0},a_{1},...,a_{p})^{T}} a(a0,a1,...,ap)T是 A R ( p ) AR(p) AR(p) 模型中的自回归系数。满足上述 模型的时间序列 X t {X_t} Xt 称为 A R ( p ) AR(p) AR(p) 序列。
当 a 0 0 a_00 a00 时称为零均值 A R ( p ) AR(p) AR(p) 序列即 X t a 1 X t − 1 a 2 X t − 2 ⋯ a p X t − p ε t , t ∈ Z X_ta_1X_{t-1}a_2X_{t-2}\cdotsa_pX_{t-p}\varepsilon_t,t\in\mathbb{Z} Xta1Xt−1a2Xt−2⋯apXt−pεt,t∈Z
需要指出的是对于 a 0 ≠ 0 a_0≠0 a00 的情况我们可以通过零均值化的手段把一般的 A R ( p ) AR(p) AR(p) 序列变为零均值 A R ( p ) AR(p) AR(p) 序列。
参数的估计方法
要使用AR模型进行预测或分析我们需要根据实际数据估计参数 ϕ 1 , ϕ 2 , … , ϕ p \phi_1, \phi_2, \dots, \phi_p ϕ1,ϕ2,…,ϕp 和噪声项的方差 σ 2 \sigma^2 σ2。参数估计方法包括 最小二乘法OLS将 AR 模型视为线性回归模型用 OLS 来估计参数。对于 AR§ 模型可将 ( x t − 1 , x t − 2 , … , x t − p ) (x_{t-1}, x_{t-2}, \dots, x_{t-p}) (xt−1,xt−2,…,xt−p) 作为自变量 x t x_t xt 为因变量构建线性方程组求解参数。 极大似然估计MLE在高斯噪声假设下可采用MLE方法通过最大化似然函数来得到参数估计。 Yule-Walker方程Yule-Walker方程是基于自相关函数推导出的方程组可以直接求解AR模型参数。这在理论研究和快速估计中非常有用。
模型阶数选择
确定 AR 模型的阶数 p p p 是实际应用中的一个关键步骤。过低的阶数可能无法充分捕捉序列的特征过高的阶数又会导致过拟合和模型复杂度增加。常用的阶数选择标准包括 赤池信息准则AIC AIC 2 k − 2 ln ( L ) \text{AIC} 2k - 2\ln(L) AIC2k−2ln(L)其中 k k k 是参数个数 L L L 为似然函数值。AIC倾向较复杂模型但不宜过于简单。 贝叶斯信息准则BIC BIC ln ( N ) k − 2 ln ( L ) \text{BIC} \ln(N)k - 2\ln(L) BICln(N)k−2ln(L)其中 N N N 为样本量。BIC惩罚项更大倾向更简单的模型。 HQ准则Hannan-Quinn介于 AIC 和 BIC 之间的准则。
一般来说通过对不同阶数的模型拟合并计算AIC、BIC、HQ等指标选择使这些准则达到最低值的阶数作为最终模型的阶数。
平稳性与因果性条件
AR模型适用于平稳时间序列因此研究 AR 模型时需要确保模型的平稳性。一个 A R ( p ) AR(p) AR(p) 模型的平稳性条件可以通过其特征方程来判断 1 − ϕ 1 z − ϕ 2 z 2 − ⋯ − ϕ p z p 0. 1 - \phi_1 z - \phi_2 z^2 - \cdots - \phi_p z^p 0. 1−ϕ1z−ϕ2z2−⋯−ϕpzp0.
如果该特征方程的根都落在单位圆之外即绝对值大于1那么该 A R ( p ) AR(p) AR(p) 模型是平稳的。平稳性保证了模型参数的统计性质和预测稳定性。如果时间序列不平稳可对数据进行差分、去趋势或其他平稳化处理后再建模这类模型可扩展为ARIMA模型。
自相关与偏自相关函数
AR模型参数与时间序列的自相关特性密切相关。通过自相关函数ACF和偏自相关函数PACF我们可以获得有助于选择AR阶数的信息。
对于 A R ( p ) AR(p) AR(p) 模型偏自相关函数在滞后阶数 p p p 处通常会出现截断这为阶数选择提供了直观的参考。
优缺点总结
优点
模型简单易懂参数有明确的统计学含义。算法成熟估计方法OLS、MLE、Yule-Walker简单且高效。对短期预测十分有效在数据平稳且线性特征显著时表现良好。
缺点
不适用于非线性序列需要扩展方法或非线性模型来处理。对非平稳序列需预处理否则无法保证参数估计的有效性。长期预测不如短期预测准确对突发性、非线性、复杂行为的序列无能为力。
自相关Autocorrelation与偏自相关Partial Autocorrelation
自相关Autocorrelation与偏自相关Partial Autocorrelation是时间序列分析中的两个重要统计工具用于刻画序列中不同时间点之间的相关关系结构。通过自相关和偏自相关函数分别记为ACF与PACF我们可以更清晰地了解序列的动态特性并为模型阶数选择如AR模型中的阶数 p p p提供依据。
基本概念与定义
自相关函数ACF
自相关描述同一时间序列在不同时间滞后lag下的相关程度。对于一个离散时间序列 { x t } \{x_t\} {xt}其均值为 μ \mu μ自相关可以定义为同一序列在时间间隔为 k k k 又称滞后数的两个值之间的线性相关程度。
形式化定义 设 γ ( k ) \gamma(k) γ(k) 为时间序列在滞后数为 k k k 时的协方差 γ ( 0 ) \gamma(0) γ(0) 为序列的方差则自相关函数Autocorrelation Function, ACF为 ρ ( k ) γ ( k ) γ ( 0 ) E [ ( x t − μ ) ( x t − k − μ ) ] E [ ( x t − μ ) 2 ] . \rho(k) \frac{\gamma(k)}{\gamma(0)} \frac{E[(x_t - \mu)(x_{t-k} - \mu)]}{E[(x_t-\mu)^2]}. ρ(k)γ(0)γ(k)E[(xt−μ)2]E[(xt−μ)(xt−k−μ)].
其中 ρ ( k ) \rho(k) ρ(k) 为滞后 k k k 的自相关系数取值范围为[-1, 1]。当 ρ ( k ) \rho(k) ρ(k) 接近1或-1时表示序列在滞后 k k k 处具有较强的正相关或负相关。当 ρ ( k ) \rho(k) ρ(k) 接近0时表示在滞后 k k k 处序列的值与过去的值几乎没有线性关系。
通过计算序列在不同滞后下的自相关可以构建一组自相关系数并将其作为自相关函数ACF对滞后数k绘制得到ACF图。
样本自相关系数
在实际应用中由于未知总体参数我们通常使用样本自相关系数来估计ACF ρ ^ ( k ) ∑ t k 1 N ( x t − x ˉ ) ( x t − k − x ˉ ) ∑ t 1 N ( x t − x ˉ ) 2 \hat{\rho}(k)\frac{\sum_{tk1}^N(x_t-\bar{x})(x_{t-k}-\bar{x})}{\sum_{t1}^N(x_t-\bar{x})^2} ρ^(k)∑t1N(xt−xˉ)2∑tk1N(xt−xˉ)(xt−k−xˉ) x ‾ \overline{x} x是样本均值 N N N 是样本大小。
偏自相关函数PACF
偏自相关Partial Autocorrelation描述的是在考虑中间滞后项的影响后两个时间点之间的“净”相关度。
偏自相关函数衡量的是在控制了中间所有滞后项的影响后时间序列在滞后k处的直接相关性。也就是说PACF α ( k ) α(k) α(k) 是在考虑了滞后1到滞后 k − 1 k−1 k−1的影响后 x t x_t xt 与 x t − k x_{t−k} xt−k 之间的净相关性。 x t β 0 β 1 x t − 1 β 2 x t − 2 ⋯ β k x t − k ϵ t x_t\beta_0\beta_1x_{t-1}\beta_2x_{t-2}\cdots\beta_kx_{t-k}\epsilon_t xtβ0β1xt−1β2xt−2⋯βkxt−kϵt
偏自相关函数 α ( k ) \alpha(k) α(k) 就是回归系数 β k \beta_{k} βk。
ACF与PACF图在模型识别中的作用
在AR模型中ACF与PACF图是选择模型阶数的重要视觉和理论依据。 纯AR模型中的特征 对于一个 A R ( p ) AR(p) AR(p) 模型 x t ϕ 1 x t − 1 ϕ 2 x t − 2 ⋯ ϕ p x t − p ϵ t , x_t \phi_1 x_{t-1} \phi_2 x_{t-2} \cdots \phi_p x_{t-p} \epsilon_t, xtϕ1xt−1ϕ2xt−2⋯ϕpxt−pϵt, ACF图通常会表现为在前几个滞后可能较大可能逐渐衰减的自相关然后在高阶滞后趋近于0。PACF图对于 A R ( p ) AR(p) AR(p)模型有一个明显特征从滞后p之后偏自相关系数会快速趋近于0而且在p阶截断。也就是说偏自相关函数在滞后数超过p时通常不显著。 纯MA模型中的特征 若是一个 M A ( q ) MA(q) MA(q) 模型非AR结构则ACF在q阶后截断即ACF在滞后q后接近0而PACF表现为渐进衰减不会像AR模型那样干净地截断。 ARMA模型中的特征 对于混合模型 A R M A ( p , q ) ARMA(p,q) ARMA(p,q)ACF和PACF都不会出现干净的截断而是呈现混合的渐进衰减特性。透过ACF和PACF的形态可以尝试区分AR、MA及ARMA等模型结构。
通过观察ACF和PACF的截断与衰减模式我们能够初步推断合适的模型类别与阶数。例如
如果PACF在p阶截断而ACF渐进衰减那么这可能是AR§模型。如果ACF在q阶截断而PACF渐进衰减那么这可能是MA(q)模型。如果两者都渐进衰减那么可能是ARMA模型需要更进一步检验。
工具与代码实现
导入库并加载数据
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from statsmodels.graphics.tsaplots import plot_acf, plot_pacf
from statsmodels.tsa.arima_process import ArmaProcess# 生成AR(1)模型的数据
np.random.seed(42)
phi 0.6
ar np.array([1, -phi]) # 注意符号
ma np.array([1]) # MA部分
arma_process ArmaProcess(ar, ma)
simulated_data arma_process.generate_sample(nsample100)绘制ACF和PACF图
fig, ax plt.subplots(2, 1, figsize(12,8))# 绘制ACF图
plot_acf(simulated_data, lags20, axax[0])
ax[0].set_title(Autocorrelation Function (ACF))# 绘制PACF图
plot_pacf(simulated_data, lags20, axax[1], methodywm)
ax[1].set_title(Partial Autocorrelation Function (PACF))plt.tight_layout()
plt.show()自回归移动平均模型Autoregressive Moving Average ModelARMA
自回归移动平均模型Autoregressive Moving Average Model简称ARMA 是时间序列分析中一种经典且广泛应用的统计模型。它结合了**自回归Autoregressive, AR和移动平均Moving Average, MA**两种模型的特点用于描述和预测平稳时间序列数据。ARMA模型在经济学、金融学、气象学、工程学等多个领域都有着重要的应用。
基本概念与定义
自回归AR模型
自回归Autoregressive, AR模型 假设当前时间点的值是其前若干时间点值的线性组合加上一个白噪声误差项。AR模型用于捕捉时间序列中的自相关性。
AR§模型 的数学表达式为 x t ϕ 1 x t − 1 ϕ 2 x t − 2 ⋯ ϕ p x t − p ϵ t x_t \phi_1 x_{t-1} \phi_2 x_{t-2} \cdots \phi_p x_{t-p} \epsilon_t xtϕ1xt−1ϕ2xt−2⋯ϕpxt−pϵt
其中 x t x_t xt 是时间序列在时刻 t t t 的值。 ϕ 1 , ϕ 2 , … , ϕ p \phi_1, \phi_2, \dots, \phi_p ϕ1,ϕ2,…,ϕp 是自回归系数。 ϵ t \epsilon_t ϵt 是白噪声误差项满足 E [ ϵ t ] 0 E[\epsilon_t] 0 E[ϵt]0 和 Var ( ϵ t ) σ 2 \text{Var}(\epsilon_t) \sigma^2 Var(ϵt)σ2。
移动平均MA模型
移动平均Moving Average, MA模型 假设当前时间点的值是前若干时间点误差项的线性组合加上一个当前的白噪声误差项。MA模型用于捕捉时间序列中的随机波动。
MA(q)模型 的数学表达式为 x t ϵ t θ 1 ϵ t − 1 θ 2 ϵ t − 2 ⋯ θ q ϵ t − q x_t \epsilon_t \theta_1 \epsilon_{t-1} \theta_2 \epsilon_{t-2} \cdots \theta_q \epsilon_{t-q} xtϵtθ1ϵt−1θ2ϵt−2⋯θqϵt−q
其中 x t x_t xt 是时间序列在时刻 t t t 的值。 θ 1 , θ 2 , … , θ q \theta_1, \theta_2, \dots, \theta_q θ1,θ2,…,θq 是移动平均系数。 ϵ t \epsilon_t ϵt 是白噪声误差项满足 E [ ϵ t ] 0 E[\epsilon_t] 0 E[ϵt]0 和 Var ( ϵ t ) σ 2 \text{Var}(\epsilon_t) \sigma^2 Var(ϵt)σ2。
ARMA模型的定义
自回归移动平均Autoregressive Moving Average, ARMA模型 结合了AR和MA模型的特点用于描述具有自回归和移动平均特征的时间序列数据。
ARMA(p, q)模型 的数学表达式为 x t ϕ 1 x t − 1 ϕ 2 x t − 2 ⋯ ϕ p x t − p ϵ t θ 1 ϵ t − 1 θ 2 ϵ t − 2 ⋯ θ q ϵ t − q x_t \phi_1 x_{t-1} \phi_2 x_{t-2} \cdots \phi_p x_{t-p} \epsilon_t \theta_1 \epsilon_{t-1} \theta_2 \epsilon_{t-2} \cdots \theta_q \epsilon_{t-q} xtϕ1xt−1ϕ2xt−2⋯ϕpxt−pϵtθ1ϵt−1θ2ϵt−2⋯θqϵt−q
其中 p p p 是自回归部分的阶数。 q q q 是移动平均部分的阶数。 ϕ i \phi_i ϕi 和 θ j \theta_j θj 分别是AR和MA部分的系数。 ϵ t \epsilon_t ϵt 是白噪声误差项。
ARMA模型 适用于平稳时间序列数据能够捕捉序列中的长期依赖性通过AR部分和短期波动性通过MA部分。
ARMA(p, q)模型的数学公式
综合AR和MA模型ARMA(p, q) 模型的数学公式如下 x t ϕ 1 x t − 1 ϕ 2 x t − 2 ⋯ ϕ p x t − p ϵ t θ 1 ϵ t − 1 θ 2 ϵ t − 2 ⋯ θ q ϵ t − q x_t \phi_1 x_{t-1} \phi_2 x_{t-2} \cdots \phi_p x_{t-p} \epsilon_t \theta_1 \epsilon_{t-1} \theta_2 \epsilon_{t-2} \cdots \theta_q \epsilon_{t-q} xtϕ1xt−1ϕ2xt−2⋯ϕpxt−pϵtθ1ϵt−1θ2ϵt−2⋯θqϵt−q
可以将其表示为 ϕ ( B ) x t θ ( B ) ϵ t \phi(B) x_t \theta(B) \epsilon_t ϕ(B)xtθ(B)ϵt
其中 ϕ ( B ) 1 − ϕ 1 B − ϕ 2 B 2 − ⋯ − ϕ p B p \phi(B) 1 - \phi_1 B - \phi_2 B^2 - \cdots - \phi_p B^p ϕ(B)1−ϕ1B−ϕ2B2−⋯−ϕpBp 是AR多项式。 θ ( B ) 1 θ 1 B θ 2 B 2 ⋯ θ q B q \theta(B) 1 \theta_1 B \theta_2 B^2 \cdots \theta_q B^q θ(B)1θ1Bθ2B2⋯θqBq 是MA多项式。 B B B 是滞后算子 B x t x t − 1 B x_t x_{t-1} Bxtxt−1。
参考资料
自回归模型AR
