Непараметрическая регрессия - это категория регрессионного анализа, в которой предиктор не принимает заранее заданную форму, а строится в соответствии с информацией, полученной из данных. То есть не предполагается параметрической формы для отношения между предикторами и зависимой переменной. Непараметрическая регрессия требует больших размеров выборки, чем регрессия на основе параметрических моделей, потому что данные должны предоставлять структуру модели, а также оценки модели.
В непараметрической регрессии у нас есть случайные величины и и предполагаем следующее соотношение:
где - некоторая детерминированная функция. Линейная регрессия - это ограниченный случай непараметрической регрессии, где предполагается аффиенным. Некоторые авторы используют немного более сильное предположение об аддитивном шуме:
где случайная величина - это "шумовой термин" со средним значением 0. Без предположения, что принадлежит определенному параметрическому семейству функций, невозможно получить объективную оценку для , однако большинство оценок согласованы при подходящих условиях.
Это неполный список алгоритмов, подходящих для задач непараметрической регрессии.
В гауссовской регрессии процесса, также известной как кригинг, предполагается гауссовский априор для кривой регрессии. Предполагается, что ошибки имеют многомерное нормальное распределение, а кривая регрессии оценивается по ее апостериорной моде. Гауссовский априор может зависеть от неизвестных гиперпараметров, которые обычно оцениваются с помощью эмпирического байесовского метода. Гиперпараметры обычно определяют предварительное ядро ковариации. В случае, если ядро также должно быть выведено непараметрическим образом из данных, можно использовать критический фильтр.
Сглаживающие сплайны интерпретируются как апостериорная мода регрессии гауссовского процесса.
Регрессия ядра оценивает непрерывную зависимую переменную из ограниченного набора точек данных путем свертки местоположений точек данных. с функцией ядра - грубо говоря, функция ядра указывает, как «размыть» влияние точек данных, чтобы их значения можно было использовать для прогнозирования значения для ближайших местоположений.
Алгоритмы обучения дерева решений могут применяться, чтобы научиться предсказывать зависимую переменную на основе данных. Хотя исходная формулировка дерева классификации и регрессии (CART) применялась только для прогнозирования одномерных данных, эту структуру можно использовать для прогнозирования многомерных данных, включая временные ряды.
На Викискладе есть материалы, связанные с Непараметрической регрессией. |