Авторегрессия – модель скользящего среднего

В статистическом анализе временных рядов, авторегрессия – скользящее среднее (ARMA ) модели предоставляют скупое описание (слабо) стационарного случайного процесса в терминах двух полиномов, один для авторегрессия (AR) и вторая для скользящей средней (MA). Общая модель ARMA была описана в тезисе Питера Уиттла 1951 года, Проверка гипотез в анализе временных рядов, и она была популяризирована в книге 1970 года Джорджем Е.П. Боксом и Гвилимом. Jenkins.

Учитывая временной ряд данных X t, модель ARMA представляет собой инструмент для понимания и, возможно, прогнозирования будущих значений в этом ряду. Часть AR включает регрессию переменной по ее собственным запаздывающим (т. Е. Прошлым) значениям. Часть MA включает моделирование члена ошибки как линейной комбинации членов ошибки, возникающих одновременно и в разное время в прошлом. Модель обычно называется моделью ARMA (p, q), где p - это порядок части AR, а q - порядок части MA (как определено ниже).

Модели ARMA можно оценить с помощью метода Бокса – Дженкинса.

• 1 Модель авторегрессии
• 2 Модель скользящего среднего
• 3 Модель ARMA
• 4 Примечание об условиях ошибки
• 5 Спецификация в терминах оператора запаздывания
  • 5.1 Альтернативная нотация
• 6 Подгонка моделей
  • 6.1 Выбор p и q
  • 6.2 Оценочные коэффициенты
  • 6.3 Реализации в статистических пакетах
• 7 Приложения
• 8 Обобщения
  • 8.1 Модель авторегрессии – скользящего среднего с моделью экзогенных входов (модель ARMAX)
• 9 См. Также
• 10 Ссылки
• 11 Дополнительная литература

Обозначение AR (p) относится к авторегрессионной модели порядка p. Модель AR (p) записывается как

$X\; t\; =\; c\; +\; \sum \; i\; =\; 1\; p\; \phi \; i\; X\; t\; -\; i\; +\; \epsilon \; t.\; \{\backslash \; displaystyle\; X\_\; \{t\}\; =\; c\; +\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{p\}\; \backslash \; varphi\; \_\; \{i\}\; X\_\; \{ti\}\; +\; \backslash \; varepsilon\; \_\; \{t\}.\; \backslash ,\}$

где $\phi \; 1,\dots ,\; \phi \; p\; \{\backslash \; displaystyle\; \backslash \; varphi\; \_\; \{1\},\; \backslash \; ldots,\; \backslash \; varphi\; \_\; \{p\}\}$- это параметры, $c\; \{\backslash \; displaystyle\; c\}$- константа, а случайная величина $\epsilon \; t\; \{\backslash \; displaystyle\; \backslash \; varepsilon\; \_\; \{t\}\}$- белый шум.

Некоторые ограничения необходимы для значения параметров, чтобы модель оставалась стационарной. Например, процессы в модели AR (1) с $|\; \phi \; 1\; |\; \ge \; 1\; \{\backslash \; displaystyle\; |\; \backslash \; varphi\; \_\; \{1\}\; |\; \backslash \; geq\; 1\}$не являются стационарными.

Обозначение MA (q) относится к модели скользящего среднего порядка q:

$X\; t\; =\; \mu \; +\; \epsilon \; t\; +\; \sum \; i\; =\; 1\; q\; \theta \; i\; \epsilon \; T\; -\; я\; \{\backslash \; displaystyle\; X\_\; \{t\}\; =\; \backslash \; mu\; +\; \backslash \; varepsilon\; \_\; \{t\}\; +\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{q\}\; \backslash \; theta\; \_\; \{i\}\; \backslash \; varepsilon\; \_\; \{ti\}\; \backslash ,\}$

где θ 1,..., θ q - это параметры модели, μ - это ожидание $X\; t\; \{\backslash \; displaystyle\; X\_\; \{t\}\}$(часто принимается равным 0) и $\epsilon \; t\; \{\backslash \; displaystyle\; \backslash \; varepsilon\; \_\; \{t\}\}$, $\epsilon \; t\; -\; 1\; \{\backslash \; displaystyle\; \backslash \; varepsilon\; \_\; \{t-1\}\}$,... снова, белый шум ошибки.

Обозначение ARMA (p, q) относится к модели с p членами авторегрессии и q членами скользящего среднего. Эта модель содержит модели AR (p) и MA (q),

$X\; t\; =\; c\; +\; \epsilon \; t\; +\; \sum \; i\; =\; 1\; p\; \phi \; i\; X\; t\; -\; i\; +\; \sum \; i\; =\; 1\; q\; \theta \; i\; \epsilon \; t\; -\; i.\; \{\backslash \; displaystyle\; X\_\; \{t\}\; =\; c\; +\; \backslash \; varepsilon\; \_\; \{t\}\; +\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{p\}\; \backslash \; varphi\; \_\; \{i\}\; X\_\; \{ti\}\; +\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{q\; \}\; \backslash \; theta\; \_\; \{i\}\; \backslash \; varepsilon\; \_\; \{ti\}.\; \backslash ,\}$

Общая модель ARMA была описана в тезисе 1951 года Питера Уиттла, который использовал математический анализ (ряд Лорана и анализ Фурье ) и статистический вывод. Модели ARMA были популяризированы в 1970 году книгой Джорджа Э. П. Бокса и Дженкинса, которые изложили итерационный (Бокс – Дженкинс ) метод их выбора и оценки. Этот метод был полезен для полиномов низкого порядка (степени три или меньше).

Модель ARMA, по сути, представляет собой фильтр бесконечной импульсной характеристики, применяемый к белому шуму, с некоторой дополнительной интерпретацией, помещенной на Это.

Условия ошибки $\epsilon \; t\; \{\backslash \; displaystyle\; \backslash \; varepsilon\; \_\; \{t\}\}$обычно считаются независимыми одинаково распределенные случайные величины (iid), выбранные из нормального распределения с нулевым средним: $\epsilon \; t\; \{\backslash \; displaystyle\; \backslash \; varepsilon\; \_\; \{t\}\}$~ N (0, σ), где σ - дисперсия. Эти предположения могут быть ослаблены, но это изменит свойства модели. В частности, изменение i.i.d. предположение будет иметь довольно фундаментальное значение.

В некоторых текстах модели будут определяться с помощью оператора запаздывания L. В этих терминах модель AR (p) задается следующим образом:

$\epsilon \; t\; =\; (1\; -\; \sum \; i\; =\; 1\; p\; \phi \; i\; L\; i)\; X\; t\; =\; \phi \; (L)\; X\; t\; \{\backslash \; displaystyle\; \backslash \; varepsilon\; \_\; \{t\}\; =\; \backslash \; left\; (1-\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{p\}\; \backslash \; varphi\; \_\; \{i\}\; L\; ^\; \{i\}\; \backslash \; right)\; X\_\; \{t\}\; =\; \backslash \; varphi\; (L)\; X\_\; \{t\}\; \backslash ,\}$

где $\phi \; \{\backslash \; displaystyle\; \backslash \; varphi\}$представляет собой многочлен

$\phi \; (L)\; =\; 1\; -\; \sum \; i\; =\; 1\; p\; \phi \; i\; L\; i.\; \{\backslash \; displaystyle\; \backslash \; varphi\; (L)\; =\; 1-\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{p\}\; \backslash \; varphi\; \_\; \{i\}\; L\; ^\; \{i\}.\; \backslash ,\}$

Модель MA (q) задается формулой

$Икс\; T\; знак\; равно\; (1\; +\; \sum \; я\; знак\; равно\; 1\; Q\; \theta \; я\; L\; я)\; \epsilon \; T\; знак\; равно\; \theta \; (L)\; \epsilon \; T,\; \{\backslash \; Displaystyle\; X\_\; \{t\}\; =\; \backslash \; left\; (1+\; \backslash \; сумма\; \_\; \{я\; =\; 1\}\; ^\; \{q\}\; \backslash \; theta\; \_\; \{i\}\; L\; ^\; \{i\}\; \backslash \; right)\; \backslash \; varepsilon\; \_\; \{t\}\; =\; \backslash \; theta\; (L)\; \backslash \; varepsilon\; \_\; \{t\},\; \backslash ,\}$

где θ представляет собой многочлен

$\theta \; (L)\; знак\; равно\; 1\; +\; \sum \; я\; знак\; равно\; 1\; q\; \theta \; я\; L\; я.\; \{\backslash \; displaystyle\; \backslash \; theta\; (L)\; =\; 1\; +\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{q\}\; \backslash \; theta\; \_\; \{i\}\; L\; ^\; \{i\}.\; \backslash ,\}$

Наконец, объединенный ARMA (p, q) модель задается формулой

$(1\; -\; \sum \; я\; знак\; равно\; 1\; п\; \phi \; я\; L\; я)\; Икс\; T\; знак\; равно\; (1\; +\; \sum \; я\; =\; 1\; q\; \theta \; я\; L\; я)\; \epsilon \; t,\; \{\backslash \; displaystyle\; \backslash \; left\; (1-\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{p\}\; \backslash \; varphi\; \_\; \{i\}\; L\; ^\; \{i\}\; \backslash \; right)\; X\_\; \{t\}\; =\; \backslash \; left\; (1+\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{q\}\; \backslash \; theta\; \_\; \{\; i\}\; L\; ^\; \{i\}\; \backslash \; right)\; \backslash \; varepsilon\; \_\; \{t\}\; \backslash ,,\}$

или более кратко,

$\phi \; (L)\; X\; t\; =\; \theta \; (L)\; \epsilon \; t\; \{\backslash \; displaystyle\; \backslash \; varphi\; (L)\; X\_\; \{t\}\; =\; \backslash \; theta\; (L)\; \backslash \; varepsilon\; \_\; \{t\}\; \backslash ,\}$

или

$\phi \; (L)\; \theta \; (L)\; X\; t\; =\; \epsilon \; t.\; \{\backslash \; displaystyle\; \{\backslash \; frac\; \{\backslash \; varphi\; (L)\}\; \{\backslash \; theta\; (L)\}\}\; X\_\; \{t\}\; =\; \backslash \; varepsilon\; \_\; \{t\}\; \backslash ,.\}$

Альтернативное обозначение

Некоторые авторы, включая Box, Jenkins и Reinsel используют другое соглашение для коэффициентов авторегрессии. Это позволяет всем многочленам, содержащим оператор запаздывания, везде появляться в одинаковой форме. Таким образом, модель ARMA будет записана как

$(1\; -\; \sum \; i\; =\; 1\; p\; \varphi \; i\; L\; i)\; X\; t\; =\; (1\; +\; \sum \; i\; =\; 1\; q\; \theta \; i\; L\; i)\; \epsilon \; t.\; \{\backslash \; displaystyle\; \backslash \; left\; (1-\; \backslash \; сумма\; \_\; \{я\; =\; 1\}\; ^\; \{p\}\; \backslash \; phi\; \_\; \{i\}\; L\; ^\; \{i\}\; \backslash \; right)\; X\_\; \{t\}\; =\; \backslash \; left\; (1+\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{q\}\; \backslash \; theta\; \_\; \{i\}\; L\; ^\; \{i\}\; \backslash \; right)\; \backslash \; varepsilon\; \_\; \{t\}\; \backslash ,.\}$

Более того, если мы установим $\varphi \; 0\; =\; -\; 1\; \{\backslash \; displaystyle\; \backslash \; phi\; \_\; \{0\}\; =\; -\; 1\}$и $\theta \; 0\; =\; 1\; \{\backslash \; displaystyle\; \backslash \; theta\; \_\; \{0\}\; =\; 1\}$, тогда мы получаем еще более элегантную формулировку : $-\; i\; =\; 0\; p\; \varphi \; i\; L\; i\; X\; t\; =\; \sum \; i\; =\; 0\; q\; \theta \; i\; L\; i\; \epsilon \; t.\; \{\backslash \; displaystyle\; -\; \backslash \; sum\; \_\; \{i\; =\; 0\}\; ^\; \{p\}\; \backslash \; phi\; \_\; \{i\}\; L\; ^\; \{i\}\; \backslash ;\; X\_\; \{t\}\; =\; \backslash \; sum\; \_\; \{i\; =\; 0\}\; ^\; \{q\}\; \backslash \; theta\; \_\; \{\; i\}\; L\; ^\; \{i\}\; \backslash ;\; \backslash \; varepsilon\; \_\; \{t\}\; \backslash ,.\}$

Выбор p и q

Поиск подходящих значений p и q в ARMA (p, q) модель может быть упрощена путем построения графика частичных автокорреляционных функций для оценки p и аналогичным образом использования автокорреляционных функций для оценки q. Дополнительную информацию можно получить, рассматривая те же функции для остатков модели, снабженной начальным выбором p и q.

Brockwell Davis рекомендуют использовать информационный критерий Акаике (AIC) для нахождения p и q.

Оценочные коэффициенты

Модели ARMA в целом могут быть, после выбора p и q, аппроксимируемая регрессией наименьших квадратов, чтобы найти значения параметров, которые минимизируют член ошибки. Обычно считается хорошей практикой находить наименьшие значения p и q, которые обеспечивают приемлемое соответствие данным. Для чистой модели AR уравнения Юла-Уокера могут использоваться для обеспечения соответствия.

Реализации в статистических пакетах

• В R функция arima (в стандартной статистике пакета) задокументирована в ARIMA Modeling of Time Series. Пакеты расширений содержат связанные и расширенные функции, например, пакет tseries включает функцию arma, описанную в «Подгонка моделей ARMA к временным рядам» ; пакет fracdiff содержит fracdiff () для частично интегрированных процессов ARMA; а пакет прогнозов включает auto.arima для выбора экономного набора p, q. Представление задач CRAN на временных рядах содержит ссылки на большинство из них.
• Mathematica имеет полную библиотеку функций временных рядов, включая ARMA.
• MATLAB включает такие функции, как arma и ar для оценки моделей AR, ARX (авторегрессионная экзогенная) и ARMAX. Для получения дополнительной информации см. System Identification Toolbox и Econometrics Toolbox.
• Julia имеет несколько пакетов, управляемых сообществом, которые реализуют совместимость с моделью ARMA, например arma.jl.
• Statsmodels Модуль Python включает множество моделей и функций для анализа временных рядов, включая ARMA. Ранее он был частью Scikit-learn, теперь он автономный и хорошо интегрируется с Pandas. Подробнее см. Здесь..
• имеет реализацию на основе Python моделей ARIMAX, включая байесовские модели ARIMAX.
• Численные библиотеки IMSL - это библиотеки функций численного анализа, включая процедуры ARMA и ARIMA, реализованные в стандартном программировании. языки, такие как C, Java, C #.NET и Fortran.
• gretl также может оценивать модель ARMA, см. здесь, где упоминается.
• GNU Octave может оценивать модели AR с использованием функций из дополнительный пакет octave-forge.
• Stata включает функцию arima, которая может оценивать модели ARMA и ARIMA. Подробнее см. Здесь.
• - это Java-библиотека численных методов, включая комплексные статистические пакеты, в которых одномерные / многомерные модели ARMA, ARIMA, ARMAX и т. Д. Реализованы в объектно-ориентированном подходе. Эти реализации задокументированы в «SuanShu, цифровая и статистическая библиотека Java»..
• SAS имеет эконометрический пакет ETS, который оценивает модели ARIMA. Подробнее см. Здесь..

ARMA подходит, когда система является функцией серии ненаблюдаемых шоков (MA или часть скользящей средней), а также ее собственного поведения. Например, цены на акции могут быть шокированы фундаментальной информацией, а также проявлением технических тенденций и эффектов возврата к среднему из-за участников рынка.

Зависимость X t для прошлых значений и членов ошибки ε t предполагается линейными, если не указано иное. Если зависимость является нелинейной, модель конкретно называется моделью нелинейного скользящего среднего (NMA), нелинейной авторегрессии (NAR) или нелинейной авторегрессионной скользящей средней (NARMA).

Модели авторегрессии со скользящим средним можно обобщить и другими способами. См. Также модели авторегрессионной условной гетероскедастичности (ARCH) и модели авторегрессии интегрированного скользящего среднего (ARIMA). Если необходимо подобрать несколько временных рядов, можно подобрать векторную модель ARIMA (или VARIMA). Если рассматриваемый временной ряд демонстрирует длинную память, тогда может быть подходящим моделирование дробного ARIMA (FARIMA, иногда называемого ARFIMA): см. Авторегрессионное дробно-интегрированное скользящее среднее. Если предполагается, что данные содержат сезонные эффекты, они могут быть смоделированы с помощью SARIMA (сезонный ARIMA) или периодической модели ARMA.

Еще одно обобщение - это модель многомасштабной авторегрессии (MAR). Модель MAR индексируется узлами дерева, тогда как стандартная (дискретная по времени) модель авторегрессии индексируется целыми числами.

Обратите внимание, что модель ARMA - это одномерная модель. Расширениями для многомерного случая являются векторная авторегрессия (VAR) и векторная авторегрессия Moving-Average (VARMA).

Модель авторегрессии – скользящего среднего с моделью экзогенных входов (модель ARMAX)

Обозначение ARMAX (p, q, b) относится к модели с p членами авторегрессии, q членами скользящего среднего и b условия экзогенных затрат. Эта модель содержит модели AR (p) и MA (q) и линейную комбинацию последних b членов известного и внешнего временных рядов $d\; t\; \{\backslash \; displaystyle\; d\_\; \{t\}\}$. Он задается следующим образом:

$X\; t\; =\; \epsilon \; t\; +\; \sum \; i\; =\; 1\; p\; \phi \; i\; X\; t\; -\; i\; +\; \sum \; i\; =\; 1\; q\; \theta \; i\; \epsilon \; t\; -\; i\; +\; \sum \; i\; =\; 1\; b\; \eta \; i\; d\; t\; -\; i.\; \{\backslash \; displaystyle\; X\_\; \{t\}\; =\; \backslash \; varepsilon\; \_\; \{t\}\; +\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{p\}\; \backslash \; varphi\; \_\; \{i\}\; X\_\; \{ti\}\; +\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{q\}\; \backslash \; theta\; \_\; \{i\}\; \backslash \; varepsilon\; \_\; \{ti\}\; +\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{b\}\; \backslash \; eta\; \_\; \{i\}\; d\_\; \{ti\}.\; \backslash ,\}$

где $\eta \; 1,\dots ,\; \eta \; b\; \{\backslash \; displaystyle\; \backslash \; eta\; \_\; \{1\},\; \backslash \; ldots,\; \backslash \; eta\; \_\; \{b\}\}$- параметры экзогенного ввода $dt\; \{\backslash \; displaystyle\; d\_\; \{t\}\}$.

Определены некоторые нелинейные варианты моделей с экзогенными переменными: см., например, Нелинейная авторегрессионная экзогенная модель.

Статистические пакеты реализуют модель ARMAX посредством использования «экзогенных» (то есть независимых,) переменные. Следует проявлять осторожность при интерпретации вывода этих пакетов, потому что оценочные параметры обычно (например, в R и gretl ) относятся к регрессии:

$X\; t\; -\; mt\; знак\; равно\; \epsilon \; t\; +\; \sum \; я\; знак\; равно\; 1\; п\; \phi \; я\; (X\; t\; -\; я\; -\; mt\; -\; я)\; +\; \sum \; я\; знак\; равно\; 1\; q\; \theta \; я\; \epsilon \; т\; -\; я.\; \{\backslash \; displaystyle\; X\_\; \{t\}\; -m\_\; \{t\}\; =\; \backslash \; varepsilon\; \_\; \{t\}\; +\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{p\}\; \backslash \; varphi\; \_\; \{i\}\; (X\_\; \{ti\}\; -m\_\; \{ti\})\; +\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{q\}\; \backslash \; theta\; \_\; \{i\}\; \backslash \; varepsilon\; \_\; \{ti\}.\; \backslash ,\}$

где m t включает все экзогенные (или независимые) переменные:

$mt\; =\; c\; +\; \sum \; i\; =\; 0\; b\; \eta \; idt\; -\; i.\; \{\backslash \; displaystyle\; m\_\; \{t\}\; =\; c\; +\; \backslash \; sum\; \_\; \{i\; =\; 0\}\; ^\; \{b\}\; \backslash \; eta\; \_\; \{i\}\; d\_\; \{ti\}.\; \backslash ,\}$

• Авторегрессионная интегрированная скользящая средняя (ARIMA)
• Экспоненциальное сглаживание
• Кодирование с линейным прогнозированием
• Прогнозирующая аналитика
• Бесконечная импульсная характеристика
• Ограниченная импульсная характеристика

• Миллс, Теренс С.. (1990). Методы временных рядов для экономистов. Издательство Кембриджского университета. ISBN 0521343399.
• Персиваль, Дональд Б.; Уолден, Эндрю Т. (1993). Спектральный анализ для физических приложений. Издательство Кембриджского университета. ISBN 052135532X.
• Francq, C.; Закоян, Ж.-М. (2005), «Недавние результаты для моделей линейных временных рядов с независимыми инновациями», в Duchesne, P.; Ремиллард Б. (ред.), Статистическое моделирование и анализ сложных проблем данных, Springer, стр. 241–265, CiteSeerX 10.1.1.721.1754.