ACVF of ARMA(1, 1)
作者：互联网
\(ARMA(1, ~ 1)\) process is a time series \(\left\{ X_{t} \right\}\) defined as:
\[X_{t} - \phi X_{t-1} = Z_{t} + \theta Z_{t-1} \]where \(|\phi| < 1\) and \(\left\{ Z_{t} \right\} \sim WN(0, ~ \sigma^{2})\)。
它的 ACVF (autocovariance function) 可以通过改写为 linear process 的形式的方法求出，其中 linear process 定义为一个 time series \(\left\{ X_{t} \right\}\) which can be written as:
\[X_{t} = \sum\limits^{\infty}_{j = -\infty} \varphi_{j} Z_{t - j} \]其中对于\(\forall j \in \mathbb{Z}\)，系数 \(\varphi_{j}\) 为常数，并且\(\left\{ Z_{t} \right\} \sim WN(0, ~ \sigma^{2})\)。
对于上述的一个 linear process，它的 ACVF 为：
\[\gamma (h) = \sigma^2 \sum\limits^{\infty}_{j = -\infty} \varphi_{j}\varphi_{j+h} \]这是因为：
\[\begin{align*} \gamma(h) & = Cov(X_{t+h}, ~ X_{t})\\ & = Cov(\sum\limits^{\infty}_{j = -\infty} \varphi_{j} Z_{t + h - j}, ~ \sum\limits^{\infty}_{j = -\infty} \varphi_{j} Z_{t - j}) \\ & = Cov(\sum\limits^{\infty}_{i = -\infty} \varphi_{i} Z_{t + h - i}, ~ \sum\limits^{\infty}_{j = -\infty} \varphi_{j} Z_{t - j}) \end{align*} \]由于 \(Z_{t} \sim WN(0, ~ \sigma^2)\)，那么：
\[Cov(Z_{t}, ~ Z_{t}) = Var(Z_{t}) = \sigma^2 \]并且对于 \(\forall s \neq t\)：
\[Cov(Z_{s}, ~ Z_{t}) = 0 \]因此观察 \(Cov(\sum\limits^{\infty}_{i = -\infty} \varphi_{i} Z_{t + h - i}, ~ \sum\limits^{\infty}_{j = -\infty} \varphi_{j} Z_{t - j})\)，将它逐项展开后，当且仅当 \(Z_{t+h-i}\) 和 \(Z_{t-j}\) 为同一个随机变量时，有：
\[Cov(Z_{t+h-i}, ~ Z_{t-j}) = \sigma^{2} \]否则：
\[Cov(Z_{t+h-i}, ~ Z_{t-j}) = 0 \]也就是说，当且仅当下标满足 \(t + h - i = t - j \implies i = j + h\) 时，展开后的该项不为 \(0\)。那么不为零的各项前面的系数应是 \(\varphi_{j}\) 和 \(\varphi_{j+h}\)，且值为 \(\sigma^{2}\)，即：
\[\gamma (h) = \sigma^2 \sum\limits^{\infty}_{j = -\infty} \varphi_{j}\varphi_{j+h} \]推导如下：
\(ARMA(1, 1)\) 的 LHS：
\[\begin{align*} X_{t} - \phi X_{t-1} & = X_{t} - \phi B X_{t}\\ & = (1 - \phi B) X_{t} \end{align*} \]其中 \(B\) 为 backward shift operater，那么 \(ARMA(1, ~ 1)\) process 可以继续做如下变换：
\[\begin{align*} X_{t} & = \frac{1}{1 - \phi B} (Z_{t} + \theta Z_{t-1})\\ & = (1 + \phi B + \phi^{2} B^{2} + \phi^{3} B^{3} + \cdots) (Z_{t} + \theta Z_{t-1})\\ & = (Z_{t} + \phi B Z_{t} + \phi^{2} B^{2} Z_{t} + \phi^{3} B^{3} Z_{t} + \cdots) + (\theta Z_{t-1} + \theta \phi B Z_{t-1} + \theta \phi^{2} B^{2} Z_{t-1} + \theta \phi^{3} B^{3} Z_{t-1} +\cdots)\\ & = (Z_{t} + \phi Z_{t-1} + \phi^{2} Z_{t-2} + \phi^{3}Z_{t-3} + \cdots) + (\theta Z_{t-1} + \theta \phi Z_{t-2} + \theta \phi^{2} Z_{t-3} + \cdots)\\ & = Z_{t} + (\phi + \theta) Z_{t-1} + \phi (\phi + \theta) Z_{t-2} + \phi^{2} (\phi + \theta) Z_{t-3} + \cdots \end{align*} \]因此它可以写作 linear process 的形式：
\[X_{t} = \sum\limits^{\infty}_{j = 0} \varphi_{j} Z_{t - j} \]其中，\(\varphi_{0} = 1\)，\(\varphi_{j} = \phi^{j-1}(\phi + \theta)\) for \(j \geq 1\)。
因此它的 ACVF 为：
-
当 \(h \geq 1\)：
\[\begin{align*} \gamma (h) & = \sigma^2 \sum\limits^{\infty}_{j = 0} \varphi_{j}\varphi_{j+h}\\ & = \sigma^{2} \left(\sum\limits^{\infty}_{j = 1} \varphi_{j}\varphi_{j+h} + \varphi_{0}\varphi_{h} \right)\\ & = \sigma^{2} \left(\sum\limits^{\infty}_{j = 1} \phi^{j+h-1}(\phi+\theta)\phi^{j-1}(\phi+\theta) + \varphi_{h} \right)\\ & = \sigma^{2} \left( \phi^{h-1} (\phi + \theta) + (\phi + \theta)^{2} \phi^{h} \sum\limits^{\infty}_{j=1}\phi^{2j-2} \right)\\ & = \sigma^{2} \left( \phi^{h-1}(\phi+\theta) + \frac{(\phi+\theta)^{2}\phi^{h}}{1 - \phi^{2}} \right) \end{align*} \] -
当 \(h = 0\)：
\[\gamma(h) = \sigma^{2}\left( 1 + \frac{(\phi+\theta)^{2}}{1-\phi^{2}}\right) \]
标签：ACVF,infty,phi,limits,sum,varphi,theta,ARMA 来源： https://www.cnblogs.com/chetianjian/p/16436386.html