Перекрестная проверка (статистика)

редактировать

Диаграмма k-кратной перекрестной проверки.

Перекрестная проверка, иногда называется оценка ротации или тестирование вне выборки, это любой из различных аналогичных методов проверки модели для оценки того, как результаты статистического анализа будут обобщить на независимый набор данных. Он в основном используется в настройках, где целью является прогнозирование, и кто-то хочет оценить, насколько точно прогнозная модель будет работать на практике. В задаче прогнозирования модели обычно предоставляется набор известных данных, на которых выполняется обучение (набор обучающих данных), и набор данных из неизвестных данных (или впервые обнаруженных данных), по которым проверяется модель (так называемая проверка набор данных или набор для тестирования). Целью перекрестной проверки является проверка способности модели прогнозировать новые данные, которые не использовались при ее оценке, чтобы отметить такие проблемы, как переоснащение или смещение выбора, и дать оценку понимание того, как модель будет обобщена на независимый набор данных (т. е. неизвестный набор данных, например, из реальной проблемы).

Один раунд перекрестной проверки включает разделение выборки из данных на дополнительные подмножества, выполнение анализа одно подмножество (называемое обучающим набором) и проверка анализа на другом подмножестве (называемое набором проверки или набором тестирования). Чтобы уменьшить изменчивость , в большинстве методов выполняется несколько раундов перекрестной проверки с использованием разных разделов, и результаты валидации объединяются (например, усредняются) по циклам, чтобы дать оценку прогностической эффективности модели.

Таким образом, перекрестная проверка объединяет (усредняет) измерения пригодности в прогнозировании для получения более точной оценки эффективности прогнозирования модели.

Содержание

1 Мотивация
2 Типы
- 2.1 Исчерпывающая перекрестная проверка
  - 2.1.1 Перекрестная проверка с исключением исключения
  - 2.1.2 Перекрестная проверка с исключением по одному
- 2.2 Неполная перекрестная проверка
  - 2.2.1 k-кратная перекрестная проверка
  - 2.2.2 Метод удержания
  - 2.2.3 Повторная проверка случайной подвыборки
3 Вложенная перекрестная проверка
- 3.1 k * l-кратная перекрестная проверка
- 3,2 k-кратная перекрестная проверка с проверкой и набором тестов
4 Меры соответствия
5 Использование предшествующей информации
6 Статистические характеристики
7 Проблемы вычислений
8 Ограничения и неправильное использование
9 Перекрестная проверка для моделей временных рядов
10 Приложения
11 См. Также
12 Примечания и ссылки

Мотивация

Предположим, у нас есть модель с одним или несколько неизвестных параметров, а также набор данных, которым модель может соответствовать (th набор обучающих данных). Процесс подбора оптимизирует параметры модели, чтобы модель как можно лучше соответствовала обучающим данным. Если мы затем возьмем независимую выборку данных проверки из той же совокупности, что и тестовый набор, обычно окажется, что модель не соответствует данным проверки, а также данные обучения. Размер этой разницы, вероятно, будет большим, особенно когда размер набора обучающих данных мал или когда количество параметров в модели велико. Перекрестная проверка - это способ оценить размер этого эффекта.

В линейной регрессии у нас есть действительные значения ответа y 1,..., y n и n p-мерные вектор коварирует x1,..., xn. Компоненты вектора xiобозначаются x i1,..., x ip. Если мы используем наименьших квадратов, чтобы подогнать функцию в форме гиперплоскости ŷ= a + βxк данным (xi, y i)1 ≤ i ≤ n, мы могли бы затем оценить соответствие, используя среднеквадратичную ошибку (MSE). MSE для заданных оценочных значений параметра a и β на обучающем наборе (xi, y i)1 ≤ i ≤ n определяется как

MSE = 1 n ∑ i = 1 n (yi - y ^ i) 2 = 1 n ∑ i = 1 n (yi - a - β T xi) 2 знак равно 1 N ∑ я знак равно 1 N (yi - a - β 1 xi 1 - ⋯ - β pxip) 2 {\ displaystyle MSE = {\ frac {1} {n}} \ sum _ {i = 1} ^ {n} (y_ {i} - {\ hat {y}} _ {i}) ^ {2} = {\ frac {1} {n}} \ sum _ {i = 1} ^ {n} ( y_ {i} -a - {\ boldsymbol {\ beta}} ^ {T} \ mathbf {x} _ {i}) ^ {2} = {\ frac {1} {n}} \ sum _ {i = 1} ^ {n} (y_ {i} -a- \ beta _ {1} x_ {i1} - \ dots - \ beta _ {p} x_ {ip}) ^ {2}}

{\ displaystyle MSE = {\ frac {1} {n}} \ sum _ {i = 1} ^ {n} (y_ {i} - {\ hat {y}} _ {i}) ^ {2 } = {\ frac {1} {n}} \ sum _ {i = 1} ^ {n} (y_ {i} -a - {\ boldsymbol {\ beta}} ^ {T} \ mathbf {x} _ {i}) ^ {2} = {\ frac {1} {n}} \ sum _ {i = 1} ^ {n} (y_ {i} -a- \ beta _ {1} x_ {i1} - \ точки - \ beta _ {p} x_ {ip}) ^ {2}}

Если модель правильно задано, при умеренных предположениях можно показать, что ожидаемое значение MSE для обучающего набора (n - p - 1) / (n + p + 1) < 1 times the expected value of the MSE for the validation set (the expected value is taken over the distribution of training sets). Thus if we fit the model and compute the MSE on the training set, we will get an optimistically смещено оценка того, насколько хорошо модель будет соответствовать независимому набору данных. Эта смещенная оценка называется оценкой соответствия внутри выборки, тогда как оценка перекрестной проверки является оценкой вне выборки.

Поскольку в линейной регрессии можно напрямую вычислить коэффициент (n - p - 1) / (n + p + 1), с помощью которого обучающая MSE недооценивает проверочную MSE в предположении, что спецификация модели допустимо, перекрестная проверка может использоваться для проверки того, была ли модель переобучена, и в этом случае MSE в наборе проверки существенно превысит свое ожидаемое значение. (Перекрестная проверка в контексте линейной регрессии также полезна тем, что ее можно использовать для выбора оптимально регуляризованной функции стоимости.) В большинстве других процедур регрессии (например, логистическая регрессия ), не существует простой формулы для вычисления ожидаемого соответствия вне выборки. Таким образом, перекрестная проверка является общепринятым способом прогнозирования производительности модели на недоступных данных с использованием числовых вычислений вместо теоретического анализа.

Типы

Можно выделить два типа перекрестной проверки: исчерпывающая и неполная перекрестная проверка.

Исчерпывающая перекрестная проверка

Методы исчерпывающей перекрестной проверки - это методы перекрестной проверки, которые изучают и тестируют все возможные способы разделения исходной выборки на набор для обучения и проверки.

Перекрестная проверка без исключения

Перекрестная проверка без исключения (LpO CV ) включает использование p наблюдений в качестве набора для проверки и остальных наблюдений как обучающий набор. Это повторяется для всех способов вырезания исходной выборки на проверочном наборе из p наблюдений и на обучающем наборе.

Перекрестная проверка LpO требует обучения и проверки модели $C pn {\ displaystyle C_ {p } ^ {n}}$ ${\ displaystyle C_ {p} ^ {n }}$ раз, где n - количество наблюдений в исходной выборке, а где $C pn {\ displaystyle C_ {p} ^ {n}}$ ${\ displaystyle C_ {p} ^ {n }}$ - биномиальный коэффициент. Для p>1 и даже для умеренно большого n LpO CV может стать вычислительно невыполнимым. Например, при n = 100 и p = 30 $C 30 100 ≈ 3 × 10 25. {\ displaystyle C_ {30} ^ {100} \ приблизительно 3 \ times 10 ^ {25}.}$ ${\ displaystyle C_ {30} ^ {100} \ приблизительно 3 \ times 10 ^ {25}.}$

Рекомендован вариант перекрестной проверки LpO с p = 2, известный как перекрестная проверка с исключением пары как почти беспристрастный метод оценки площади под кривой ROC бинарных классификаторов.

Перекрестная проверка с исключением по одному

Иллюстрация перекрестной проверки с исключением по одному ( LOOCV) при n = 8 наблюдениях. Всего будет обучено и протестировано 8 моделей.

Перекрестная проверка с исключением по одному (LOOCV ) - это частный случай перекрестной проверки с исключением по одному с p = 1. процесс похож на складной нож ; однако при перекрестной проверке статистику вычисляют по оставшимся образцам, а при складывании складных ножей вычисляют статистику только по сохраненным образцам.

Перекрестная проверка LOO требует меньше времени вычислений, чем перекрестная проверка LpO, потому что существует только $C 1 n = n {\ displaystyle C_ {1} ^ {n} = n}$ ${ \ displaystyle C_ {1} ^ {n} = n}$ проходит, а не $C pn {\ displaystyle C_ {p} ^ {n}}$ ${\ displaystyle C_ {p} ^ {n }}$ . Однако $n {\ displaystyle n}$ $n$ проходов может по-прежнему требовать довольно большого времени вычислений, и в этом случае могут быть более подходящими другие подходы, такие как k-кратная перекрестная проверка.

Псевдокод -Алгоритм:

Ввод:

x, {вектор длины N со значениями x входящих точек}

y, {вектор длины N со значениями y ожидаемого результата}

interpolate (x_in, y_in, x_out), {возвращает стимуляцию для точки x_out после обучения модели парами x_in-y_in}

Вывод:

err, {оценка ошибки предсказания}

Шаги:

err ← 0 для i ← 1,..., N do // определение подмножеств перекрестной проверки x_in ← (x [1],..., x [i - 1], x [i + 1],..., x [N]) y_in ← (y [1],..., y [i - 1], y [i + 1],..., y [N]) x_out ← x [i] y_out ← интерполировать (x_in, y_in, x_out) err ← err + (y [i] - y_out) ^ 2 end for err ← err / N

Неисчерпывающая перекрестная проверка

Неполные методы перекрестной проверки не вычисляют все способы разделения исходной выборки. Эти методы являются приближениями перекрестной проверки по исключениям.

k-кратная перекрестная проверка

Иллюстрация k-кратной перекрестной проверки, когда n = 12 наблюдений и k = 3. После перемешивания данных в общей сложности будут обучены и протестированы 3 модели.

При k-кратной перекрестной проверке исходная выборка случайным образом разбивается на k подвыборок равного размера. Из k подвыборок одна подвыборка сохраняется в качестве данных проверки для тестирования модели, а оставшиеся k - 1 подвыборки используются в качестве обучающих данных. Затем процесс перекрестной проверки повторяется k раз, причем каждая из k подвыборок используется ровно один раз в качестве данных проверки. Затем k результатов можно усреднить для получения единой оценки. Преимущество этого метода перед повторной случайной подвыборкой (см. Ниже) состоит в том, что все наблюдения используются как для обучения, так и для проверки, и каждое наблюдение используется для проверки только один раз. Обычно используется 10-кратная перекрестная проверка, но в целом k остается нефиксированным параметром.

Например, установка k = 2 приводит к двукратной перекрестной проверке. При двукратной перекрестной проверке мы случайным образом перемешиваем набор данных на два набора d 0 и d 1, так что оба набора имеют одинаковый размер (обычно это реализуется путем перемешивания данных array, а затем разделить его на две части). Затем мы тренируемся на d 0 и проверяем на d 1, затем тренируемся на d 1 и проверяем на d 0.

Когда k = n (число наблюдений), k-кратная перекрестная проверка эквивалентна перекрестной проверке с исключением одного исключения.

При стратифицированной k-кратной перекрестной проверке разделы выбираются таким образом, чтобы среднее значение ответа было приблизительно равно во всех разделах. В случае двоичной классификации это означает, что каждый раздел содержит примерно одинаковые пропорции двух типов меток классов.

При повторной перекрестной проверке данные случайным образом разбиваются на k разделов несколько раз. Таким образом, производительность модели может быть усреднена по нескольким прогонам, но на практике это редко бывает желательно.

Метод удержания

В методе удержания мы случайным образом назначаем точки данных двум наборам d 0 и d 1, обычно называемые обучающим набором и тестовым набором соответственно. Размер каждого из наборов произвольный, хотя обычно набор тестов меньше, чем обучающий набор. Затем мы обучаем (строим модель) на d 0 и тестируем (оцениваем его производительность) на d 1.

. При типичной перекрестной проверке результаты нескольких прогонов тестирования модели усредняются вместе; Напротив, метод удержания изолированно включает в себя один проход. Его следует использовать с осторожностью, потому что без такого усреднения нескольких прогонов можно получить очень вводящие в заблуждение результаты. Индикатор точности прогноза (F) будет иметь тенденцию быть нестабильным, так как он не будет сглаживаться несколькими итерациями (см. Ниже). Точно так же индикаторы конкретной роли, которую играют различные переменные-предикторы (например, значения коэффициентов регрессии), будут иметь тенденцию быть нестабильными.

В то время как метод удержания можно сформулировать как «простейший вид перекрестной проверки», многие источники вместо этого классифицируют задержку как тип простой проверки, а не как простую или вырожденную форму перекрестной проверки.

Повторная проверка случайной подвыборки

Этот метод, также известный как перекрестная проверка Монте-Карло, создает несколько случайных разделений набора данных на данные обучения и проверки. Для каждого такого разделения модель соответствует обучающим данным, и точность прогнозов оценивается с использованием данных проверки. Затем результаты усредняются по разбиениям. Преимущество этого метода (по сравнению с k-кратной перекрестной проверкой) заключается в том, что пропорция разделения на обучение / проверку не зависит от количества итераций (то есть количества разделов). Недостатком этого метода является то, что некоторые наблюдения могут никогда не быть выбраны в подвыборке проверки, тогда как другие могут быть выбраны более одного раза. Другими словами, подмножества проверки могут перекрываться. Этот метод также демонстрирует вариацию Монте-Карло, что означает, что результаты будут отличаться, если анализ повторяется с разными случайными разбиениями.

По мере того, как количество случайных разделений приближается к бесконечности, результат повторной проверки случайной подвыборки стремится к результату перекрестной проверки исключения-p-out.

В стратифицированном варианте этого подхода случайные выборки генерируются таким образом, чтобы среднее значение ответа (т.е. зависимая переменная в регрессии) было равным в обучающей и тестовой выборках. Это особенно полезно, если ответы являются дихотомическими с несбалансированным представлением двух значений ответа в данных.

Вложенная перекрестная проверка

Когда перекрестная проверка используется одновременно для выбора наилучшего набора гиперпараметров и для оценки ошибок (и оценки способности обобщения) требуется вложенная перекрестная проверка. Есть много вариантов. Можно выделить как минимум два варианта:

k * l-кратная перекрестная проверка

Это действительно вложенный вариант (например, используемый), который содержит внешний цикл из k складок и внутренняя петля из l складок. Общий набор данных разделен на k наборов. Один за другим набор выбирается как (внешний) тестовый набор, и k - 1 других наборов объединяются в соответствующий внешний обучающий набор. Это повторяется для каждого из k наборов. Каждый внешний обучающий набор далее подразделяется на l наборов. Один за другим набор выбирается как набор внутренних тестов (валидации), и l - 1 других наборов объединяются в соответствующий внутренний обучающий набор. Это повторяется для каждого из l наборов. Внутренние обучающие наборы используются для соответствия параметрам модели, в то время как внешний набор тестов используется в качестве набора для проверки, чтобы обеспечить беспристрастную оценку соответствия модели. Обычно это повторяется для множества разных гиперпараметров (или даже для разных типов моделей), и набор проверки используется для определения наилучшего набора гиперпараметров (и типа модели) для этого внутреннего обучающего набора. После этого новая модель соответствует всему внешнему обучающему набору, используя лучший набор гиперпараметров из внутренней перекрестной проверки. Затем производительность этой модели оценивается с помощью внешнего набора для испытаний.

k-кратная перекрестная проверка с проверкой и набором тестов

Это тип k * l-кратной перекрестной проверки, когда l = k - 1. Одиночная k-кратная перекрестная проверка проверка используется как с проверкой , так и с набором тестов. Общий набор данных разделен на k наборов. Один за другим набор выбирается в качестве тестового набора. Затем один за другим один из оставшихся наборов используется в качестве набора для проверки, а другие k - 2 набора используются в качестве обучающих наборов до тех пор, пока не будут оценены все возможные комбинации. Подобно k * l-кратной перекрестной проверке, обучающий набор используется для подгонки модели, а набор проверки используется для оценки модели для каждого из наборов гиперпараметров. Наконец, для выбранного набора параметров тестовый набор используется для оценки модели с лучшим набором параметров. Здесь возможны два варианта: либо оценка модели, которая была обучена на обучающем наборе, либо оценка новой модели, подходящей для комбинации поезда и проверочного набора.

Меры соответствия

Целью перекрестной проверки является оценка ожидаемого уровня соответствия модели набору данных, который не зависит от данных, которые использовались для обучения модели. Его можно использовать для оценки любой количественной меры соответствия, которая подходит для данных и модели. Например, для задач двоичной классификации каждый случай в наборе проверки либо предсказан правильно, либо неверно. В этой ситуации коэффициент ошибочной классификации можно использовать для резюмирования соответствия, хотя можно также использовать другие меры, такие как положительное прогнозируемое значение. Когда прогнозируемое значение непрерывно распределяется, для суммирования ошибок можно использовать среднеквадратичную ошибку, среднеквадратичную ошибку или среднее абсолютное отклонение.

Использование предыдущей информации

Когда пользователи применяют перекрестную проверку для выбора хорошей конфигурации $λ {\ displaystyle \ lambda}$ $\ lambda$ , они могут захотеть сбалансировать перекрестно проверенный выбор с их собственной оценкой конфигурации. Таким образом, они могут попытаться противостоять волатильности перекрестной проверки при небольшом размере выборки и включить соответствующую информацию из предыдущих исследований. Например, при комбинированном прогнозировании перекрестная проверка может применяться для оценки весов, присваиваемых каждому прогнозу. Поскольку простой равновзвешенный прогноз сложно превзойти, может быть добавлен штраф за отклонение от равных весов. Или, если для присвоения индивидуальных весов наблюдениям применяется перекрестная проверка, то можно штрафовать отклонения от равных весов, чтобы избежать потери потенциально релевантной информации. Hoornweg (2018) показывает, как можно определить параметр настройки $γ {\ displaystyle \ gamma}$ $\ gamma$ , чтобы пользователь мог интуитивно балансировать между точностью перекрестной проверки и простотой привязки к ссылке. параметр $λ R {\ displaystyle \ lambda _ {R}}$ ${\ displaystyle \ lambda _ {R}}$ , определяемый пользователем.

Если $λ i {\ displaystyle \ lambda _ {i}}$ $\ lambda _ {i}$ обозначает $iith {\ displaystyle i ^ {th}}$ $i ^ {th}$ кандидата конфигурации, которая может быть выбрана, то функция потерь , которая должна быть минимизирована, может быть определена как

L λ i = (1 - γ) Относительная точность i + γ Относительная простота i. {\ displaystyle L _ {\ lambda _ {i}} = (1- \ gamma) {\ t_dv {Relative Accuracy}} _ {i} + \ gamma {\ t_dv {Relative Simplicity}} _ {i}.}

{\ displaystyle L _ {\ lambda _ {i}} = (1- \ gamma) {\ t_dv { Относительная точность}} _ {i} + \ gamma {\ t_dv {Относительная простота}} _ {i}.}

Относительную точность можно количественно выразить как $MSE (λ i) / MSE (λ R) {\ displaystyle {\ t_dv {MSE}} (\ lambda _ {i}) / {\ t_dv {MSE}} (\ lambda _ {R})}$ ${ \ Displaystyle {\ t_dv {MSE}} (\ lambda _ {i}) / {\ t_dv {MSE}} (\ lambda _ {R})}$ , так что среднеквадратичная ошибка кандидата $λ i {\ displaystyle \ lambda _ {i}}$ $\ lambda _ {i}$ рассчитывается относительно ошибки заданный пользователем $λ R {\ displaystyle \ lambda _ {R}}$ ${\ displaystyle \ lambda _ {R}}$ . Термин относительной простоты измеряет величину, на которую $λ i {\ displaystyle \ lambda _ {i}}$ $\ lambda _ {i}$ отклоняется от $λ R {\ displaystyle \ lambda _ {R}}$ ${\ displaystyle \ lambda _ {R}}$ относительно максимальной величины отклонения от $λ R {\ displaystyle \ lambda _ {R}}$ ${\ displaystyle \ lambda _ {R}}$ . Соответственно, относительная простота может быть определена как $(λ i - λ R) 2 (λ max - λ R) 2 {\ displaystyle {\ frac {(\ lambda _ {i} - \ lambda _ {R}) ^ {2}} {(\ lambda _ {\ max} - \ lambda _ {R}) ^ {2}}}}$ ${\ displaystyle { \ frac {(\ lambda _ {i} - \ lambda _ {R}) ^ {2}} {(\ lambda _ {\ max} - \ lambda _ {R}) ^ {2}}}}$ , где $λ max {\ displaystyle \ lambda _ {\ max }}$ $\ lambda _ {\ max}$ соответствует значению $λ {\ displaystyle \ lambda}$ $\ lambda$ с максимально допустимым отклонением от $λ R {\ displaystyle \ lambda _ {R}}$ ${\ displaystyle \ lambda _ {R}}$ . С помощью $γ ∈ [0, 1] {\ displaystyle \ gamma \ in [0,1]}$ ${\ displaystyle \ gamma \ in [0,1]}$ пользователь определяет, насколько велико влияние эталонного параметра относительно перекрестной проверки.

Можно добавить условия относительной простоты для нескольких конфигураций $c = 1, 2,..., C {\ displaystyle c = 1,2,..., C}$ ${\ displaystyle c = 1,2,..., C}$ , задав функцию потерь как

L λ i = относительная точность i + ∑ c = 1 C γ c 1 - γ c Относительная простота i, c. {\ displaystyle L _ {\ lambda _ {i}} = {\ t_dv {относительная точность}} _ {i} + \ sum _ {c = 1} ^ {C} {\ frac {\ gamma _ {c}} { 1- \ gamma _ {c}}} {\ t_dv {Relative Simplicity}} _ {i, c}.}

{\ displaystyle L _ {\ lambda _ {i}} = {\ t_dv {относительная точность}} _ {i} + \ sum _ {c = 1 } ^ {C} {\ frac {\ gamma _ {c}} {1- \ gamma _ {c}}} {\ t_dv {Относительная простота}} _ {i, c}.}

Hoornweg (2018) показывает, что функция потерь с таким компромиссом между точностью и простотой также может использоваться для интуитивно определите оценки усадки, такие как (адаптивная) лассо и байесовская / регрессия гребня. Щелкните лассо, чтобы увидеть пример.

Статистические свойства

Предположим, мы выбираем меру соответствия F и используем перекрестную проверку для получения оценки F ожидаемого соответствия EF модели независимому набору данных, полученному из того же население в качестве обучающих данных. Если мы представим себе выборку нескольких независимых обучающих наборов, следующих за одним и тем же распределением, результирующие значения F будут отличаться. Статистические свойства F являются результатом этого изменения.

Оценщик перекрестной проверки F почти несмещен для EF. Причина, по которой он немного смещен, заключается в том, что обучающий набор при перекрестной проверке немного меньше фактического набора данных (например, для LOOCV размер обучающего набора равен n - 1, когда имеется n наблюдаемых случаев). Практически во всех ситуациях влияние этого смещения будет консервативным, так как предполагаемое соответствие будет слегка смещено в направлении, предполагающем более плохое соответствие. На практике это предубеждение редко вызывает беспокойство.

Дисперсия F может быть большой. По этой причине, если две статистические процедуры сравниваются на основе результатов перекрестной проверки, процедура с лучшей оцененной производительностью может на самом деле не быть лучшей из двух процедур (т.е. она может не иметь лучшего значения EF). Некоторый прогресс был достигнут в построении доверительных интервалов вокруг оценок перекрестной проверки, но это считается сложной проблемой.

Вычислительные проблемы

Большинство форм перекрестной проверки легко реализовать, пока доступна реализация изучаемого метода прогнозирования. В частности, метод прогнозирования может быть «черным ящиком» - нет необходимости иметь доступ к внутренностям его реализации. Если обучение методу прогнозирования является дорогостоящим, перекрестная проверка может быть очень медленной, поскольку обучение необходимо проводить повторно. В некоторых случаях, таких как метод наименьших квадратов и регрессия ядра, перекрестную проверку можно значительно ускорить, предварительно вычислив определенные значения, которые повторно требуются в процессе обучения, или с помощью быстрого " правила обновления », такие как формула Шермана – Моррисона. Однако нужно быть осторожным, чтобы сохранить «полное ослепление» набора проверки из процедуры обучения, иначе может возникнуть смещение. Ярким примером ускорения перекрестной проверки является линейная регрессия, где результаты перекрестной проверки имеют выражение в закрытой форме, известное как сумма квадратов остаточных ошибок прогнозирования (НАЖАТЬ ).

Ограничения и неправильное использование

Перекрестная проверка дает значимые результаты только в том случае, если набор для проверки и обучающий набор взяты из одной и той же популяции и только если человеческие предубеждения контролируются.

Во многих приложениях прогнозного моделирования структура изучаемой системы со временем эволюционирует (т. Е. Является «нестационарной»). Оба они могут привести к систематическим различиям между наборами для обучения и проверки. Например, если модель для прогнозирования стоимости запасов обучена на данных за определенный пятилетний период, нереально рассматривать последующий пятилетний период как выборку из той же совокупности. В качестве другого примера предположим, что разработана модель для прогнозирования индивидуального риска диагностированного определенного заболевания в течение следующего года. Если модель обучается с использованием данных из исследования с участием только определенной группы населения (например, молодых людей или мужчин), но затем применяется к общей популяции, результаты перекрестной проверки из обучающей выборки могут сильно отличаться от фактических прогностических характеристик..

Во многих приложениях модели также могут быть неправильно указаны и изменяться в зависимости от предубеждений моделиста и / или произвольного выбора. Когда это происходит, может возникнуть иллюзия, что система изменяется во внешних выборках, тогда как причина в том, что модель пропустила критический предсказатель и / или включила ошибочный предсказатель. Новое свидетельство состоит в том, что перекрестная проверка сама по себе не очень хорошо предсказывает внешнюю валидность, тогда как форма экспериментальной валидации, известная как выборка подкачки, которая контролирует человеческую предвзятость, может гораздо лучше предсказывать внешнюю валидность. Как определено в этом крупном исследовании MAQC-II по 30 000 моделей, выборка подкачки включает перекрестную проверку в том смысле, что прогнозы проверяются на независимых выборках для обучения и проверки. Тем не менее, модели также разрабатываются на основе этих независимых выборок и моделистами, которые не знают друг друга. Когда есть несоответствие в этих моделях, разработанных для этих переставленных обучающих и проверочных выборок, что случается довольно часто, MAQC-II показывает, что это будет гораздо более предсказуемо для плохой внешней предсказательной валидности, чем традиционная перекрестная проверка.

Причина успеха перестановки выборки - это встроенный контроль человеческих предубеждений при построении модели. Помимо чрезмерной веры в прогнозы, которые могут различаться у разных разработчиков и приводить к плохой внешней достоверности из-за этих сбивающих с толку эффектов разработчиков моделей, есть еще несколько способов неправильного использования перекрестной проверки:

Проведение первоначального анализа для идентификации наиболее информативные признаки с использованием всего набора данных - если процедура моделирования требует выбора признаков или настройки модели, это необходимо повторить для каждого обучающего набора. В противном случае прогнозы обязательно будут смещены в сторону повышения. Если для определения того, какие функции использовать, используется перекрестная проверка, должна выполняться внутренняя перекрестная проверка для выполнения выбора функций в каждом обучающем наборе.
Путем разрешения некоторых обучающих данных также быть включены в тестовый набор - это может произойти из-за «двойникования» в наборе данных, когда в наборе данных присутствуют несколько точно идентичных или почти идентичных образцов. В некоторой степени твиннинг всегда имеет место даже в совершенно независимых выборках для обучения и проверки. Это связано с тем, что некоторые из наблюдений обучающей выборки будут иметь почти идентичные значения предикторов, что и наблюдения проверочной выборки. И некоторые из них будут коррелировать с целью на уровне выше вероятности в одном и том же направлении как при обучении, так и при проверке, когда они фактически управляются ошибочными предикторами с плохой внешней достоверностью. Если такая перекрестно проверенная модель выбрана из k-кратного набора, человеческое смещение подтверждения будет работать и определять, что такая модель была проверена. Вот почему традиционная перекрестная проверка должна быть дополнена средствами контроля предвзятости человека и смешанной спецификации модели, такой как выборка подстановки и проспективные исследования.

Перекрестная проверка для моделей временных рядов

Поскольку порядок данных важно, перекрестная проверка может быть проблематичной для моделей временных рядов. Более подходящим подходом может быть использование скользящей перекрестной проверки.

Однако, если производительность описывается одной сводной статистикой, вполне возможно, что подход, описанный Политис и Романо как стационарный бутстрап, будет работать. Статистика начальной загрузки должна принимать интервал временного ряда и возвращать итоговую статистику по нему. Вызов стационарного бутстрапа должен указывать соответствующую среднюю длину интервала.

Приложения

Перекрестная проверка может использоваться для сравнения производительности различных процедур прогнозного моделирования. Например, предположим, что нас интересует оптическое распознавание символов, и мы рассматриваем возможность использования либо опорных векторных машин (SVM), либо k-ближайших соседей (KNN). предсказывать истинный персонаж по изображению рукописного персонажа. Используя перекрестную проверку, мы могли бы объективно сравнить эти два метода с точки зрения их соответствующих долей ошибочно классифицированных символов. Если бы мы просто сравнили методы на основе их частоты ошибок в выборке, метод KNN, вероятно, будет работать лучше, поскольку он более гибкий и, следовательно, более склонен к переобучению по сравнению с методом SVM.

Перекрестная проверка также может использоваться в выборе переменной. Предположим, мы используем уровни экспрессии 20 белков, чтобы предсказать, ответит ли больной раком на лекарство. Практическая цель - определить, какое подмножество из 20 характеристик следует использовать для создания наилучшей модели прогнозирования. Для большинства процедур моделирования, если мы сравним подмножества признаков, используя частоту ошибок в выборке, наилучшая производительность будет достигнута при использовании всех 20 функций. Однако при перекрестной проверке модель с наилучшим соответствием обычно будет включать только подмножество функций, которые считаются действительно информативными.

Недавнее развитие медицинской статистики - ее использование в метаанализе. Он составляет основу валидационной статистики Vn, которая используется для проверки статистической достоверности сводных оценок метаанализа. Он также использовался в более традиционном смысле в метаанализе для оценки вероятной ошибки предсказания результатов метаанализа.

См. Также

Викискладе есть медиа, связанные с Cross -validation (статистика).