Индуктивное смещение

Индуктивное смещение (также известное как смещение при обучении ) алгоритма обучения - это набор допущений, которые учащийся использует для прогнозирования выходных данных заданных входных данных, с которыми он не сталкивался.

В машинном обучении каждый стремится создать алгоритмы, которые могут научиться предсказывать определенный целевой результат. Для этого в алгоритме обучения представлены некоторые обучающие примеры, демонстрирующие предполагаемое соотношение входных и выходных значений. Затем предполагается, что учащийся приблизит правильный результат, даже для примеров, которые не были показаны во время обучения. Без каких-либо дополнительных предположений эта проблема не может быть решена, поскольку невидимые ситуации могут иметь произвольное выходное значение. Необходимые предположения о природе целевой функции включены во фразу "индуктивное смещение".

Классическим примером индуктивного смещения является бритва Оккама, предполагающая, что простейшая последовательная гипотеза о целевая функция на самом деле лучшая. Здесь согласованность означает, что гипотеза обучаемого дает правильные результаты для всех примеров, которые были даны алгоритму.

Подходы к более формальному определению индуктивного смещения основаны на математической логике. Здесь индуктивное смещение - это логическая формула, которая вместе с данными обучения логически влечет за собой гипотезу, выдвинутую учащимся. Однако этот строгий формализм не работает во многих практических случаях, когда индуктивное смещение может быть дано только как грубое описание (например, в случае искусственных нейронных сетей ) или вообще не может быть дано.

• 1 Типы
• 2 Сдвиг смещения
• 3 См. Также
• 4 Ссылки

Ниже приводится список распространенных индуктивных смещений в алгоритмах машинного обучения..

• Максимальная условная независимость : если гипотеза может быть сформулирована в рамках байесовской структуры, попытайтесь максимизировать условную независимость. Это смещение, используемое в наивном байесовском классификаторе.
• Минимальная перекрестная проверка ошибка : при попытке выбрать среди гипотез выберите гипотезу с наименьшей ошибкой перекрестной проверки. Хотя перекрестная проверка может показаться свободной от предвзятости, теоремы «без бесплатного обеда» показывают, что перекрестная проверка должна быть предвзятой.
• Максимальный запас : при проведении границы между двумя классами, попытайтесь максимизировать ширину границы. Это смещение, используемое в машинах опорных векторов. Предполагается, что отдельные классы обычно разделяются широкими границами.
• Минимальная длина описания : при формировании гипотезы старайтесь минимизировать длину описания гипотезы. Предполагается, что более простые гипотезы с большей вероятностью окажутся верными. См. бритва Оккама.
• Минимальные возможности : если нет убедительных доказательств того, что функция функция полезна, ее следует удалить. Это предположение, лежащее в основе алгоритмов выбора признаков.
• Ближайшие соседи : предполагается, что большинство случаев в небольшом районе в пространстве признаков принадлежат к одному классу. В случае, когда класс неизвестен, предположите, что он принадлежит к тому же классу, что и большинство в его непосредственной близости. Это смещение, используемое в алгоритме k-ближайших соседей. Предполагается, что случаи, которые находятся рядом друг с другом, как правило, относятся к одному классу.

Хотя большинство алгоритмов обучения имеют статическое смещение, некоторые алгоритмы предназначены для смещения их смещения по мере того, как они приобретают больше данных. Это не позволяет избежать смещения, поскольку сам процесс смещения смещения должен иметь смещение.

• Алгоритмическая ошибка
• Когнитивная ошибка
• Отсутствие бесплатного обеда при поиске и оптимизации

.