Войти
В анализе данных, обнаружение аномалий (также обнаружение выбросов ) - это выявление редких предметов, событий или наблюдений, вызывающих подозрения, поскольку они значительно отличаются от большинства данных. Обычно аномальные элементы приводят к возникновению какой-либо проблемы, такой как банковское мошенничество, структурный дефект, медицинские проблемы или ошибки в тексте. Аномалии также называются выбросами, новинками, шумом, отклонениями и исключениями.
В частности, в контексте обнаружения злоупотреблений и сетевых вторжений, интересные объекты часто не являются редкими объектами, но неожиданные всплески активности. Этот шаблон не соответствует общему статистическому определению выброса как редкого объекта, и многие методы обнаружения выбросов (в частности, неконтролируемые методы) не работают с такими данными, если они не были агрегированы надлежащим образом. Вместо этого алгоритм кластерного анализа может обнаруживать микрокластеры, образованные этими шаблонами.
Существуют три широкие категории методов обнаружения аномалий. Методы неконтролируемого обнаружения аномалий обнаруживать аномалии в немаркированном наборе тестовых данных при предположении, что большинство экземпляров в наборе данных являются нормальными, путем поиска экземпляров, которые кажутся наименее подходящими для остальной части набора данных. Для методов контролируемого обнаружения аномалий требуется набор данных, помеченных как «нормальный» и «ненормальный», и включает обучение классификатора (ключевое отличие от многих других задач статистической классификации заключается в том, что несбалансированный характер обнаружения выбросов). Полуконтролируемое обнаружение аномалий. Методы построения модели, представляющей нормальное поведение из заданного нормального набора данных обучения, а затем проверки вероятности того, что тестовый экземпляр будет сгенерирован обученной моделью.
Обнаружение аномалий применимо в различных областях, таких как обнаружение вторжений, обнаружение мошенничества, обнаружение сбоев, мониторинг состояния системы, обнаружение событий в сенсорных сетях и обнаружение экосистемы. беспорядки. Он часто используется при предварительной обработке для удаления аномальных данных из набора данных. В контролируемом обучении удаление аномальных данных из набора данных часто приводит к статистически значимому повышению точности.
В литературе было предложено несколько методов обнаружения аномалий. Вот некоторые из популярных методов:
Производительность различных методов во многом зависит от набора данных и параметров, а методы имеют небольшие систематические преимущества перед другими при сравнении по множеству наборов данных и параметров.
Обнаружение аномалий было предложено для систем обнаружения вторжений (IDS) Дороти Деннинг в 1986 году. Обнаружение аномалий для IDS обычно выполняется с помощью пороговых значений. и статистика, но также может быть выполнено и индуктивное обучение. Типы статистики, предложенные к 1999 г., включали профили пользователей, рабочих станций, сетей, удаленных хостов, групп пользователей и программ, основанные на частотах, средних значениях, дисперсиях, ковариациях и стандартных отклонениях. Аналогом обнаружения аномалий в обнаружении вторжений является обнаружение неправильного использования.
