Войти
Объясняемый ИИ (XAI ) относится к методам и техникам в применение технологии искусственного интеллекта (AI), чтобы люди могли понять результаты решения. Это контрастирует с концепцией «черного ящика » в машинном обучении, где даже их дизайнеры не могут объяснить, почему ИИ пришел к определенному решению. XAI может быть реализацией социального права на объяснение. XAI актуален даже при отсутствии юридических прав или нормативных требований - например, XAI может улучшить пользовательский интерфейс продукта или услуги, помогая конечным пользователям поверить в то, что ИИ принимает правильные решения.
Техническая проблема объяснения решений ИИ иногда известна как проблема интерпретируемости . Еще одним соображением является информационное ожирение (перегрузка информации), поэтому полная прозрачность не всегда возможна или даже требуется. Однако следует избегать упрощения за счет введения пользователей в заблуждение, чтобы повысить доверие или скрыть нежелательные атрибуты системы, допуская компромисс между интерпретируемостью и полнотой объяснения.
Системы искусственного интеллекта оптимизируют поведение, чтобы удовлетворить математически заданную систему целей, выбранную разработчиками системы, например команду «максимизировать точность оценки положительных обзоров фильмов в тестовом наборе данных». ИИ может узнать полезные общие правила из набора тестов, такие как «отзывы, содержащие слово« ужасно », скорее всего, будут отрицательными». Однако он также может узнать о неприемлемых правилах, например, «отзывы, содержащие« Дэниел Дэй-Льюис », обычно положительны»; такие правила могут быть нежелательными, если считается, что они не могут быть обобщены за пределами набора тестов, или если люди считают правило «обманом» или «несправедливым». Человек может проверять правила в XAI, чтобы понять, насколько вероятно, что система будет обобщать будущие реальные данные за пределами набора тестов.
Сотрудничество между агентами, в данном случае алгоритмами и людьми, зависит от доверия. Если люди принимают алгоритмические предписания, им нужно доверять им. Неполнота формализации критериев доверия является препятствием для простых подходов к оптимизации. По этой причине интерпретируемость и объяснимость позиционируются как промежуточные цели для проверки других критериев.
Системы искусственного интеллекта иногда изучают нежелательные уловки, которые оптимально выполняют работу по достижению явных заранее запрограммированных целей в отношении данных обучения, но это не так. отражают сложные неявные желания разработчиков человеческих систем. Например, система 2017 года, которой было поручено распознавание изображений, научилась «жульничать», ища метку авторского права, которая была связана с изображениями лошадей, вместо того, чтобы узнавать, как определить, была ли лошадь на самом деле изображена. В другой системе 2017 года контролируемое обучение ИИ, которому было поручено захватывать предметы в виртуальном мире, научился жульничать, помещая свой манипулятор между объектом и наблюдателем таким образом, чтобы он ложно казался захватывающим объект.
Один из проектов прозрачности, программа DARPA XAI, направлен на создание моделей «стеклянных коробок», которые можно объяснить «человеку в цикле», без значительного ущерба для производительности ИИ. Пользователи-люди должны быть в состоянии понять познание ИИ (как в режиме реального времени, так и постфактум) и уметь определять, когда следует доверять ИИ, а когда - не доверять. Другими приложениями XAI являются извлечение знаний из моделей черного ящика и сравнения моделей. Термин «стеклянный ящик» также используется для систем, которые контролируют входы и выходы системы с целью проверки приверженность системы этическим и социально-правовым ценностям и, следовательно, выработка ценностных объяснений. Кроме того, тот же термин использовался для названия голосового помощника, который производит контрфактические утверждения в качестве объяснений.
В период с 1970-х по 1990-е годы использовались системы символических рассуждений, такие как Были исследованы MYCIN, GUIDON, SOPHIE и PROTOS, которые могут представлять, рассуждать и объяснять свои рассуждения в диагностических, учебных целях или в целях машинного обучения (обучения на основе объяснений). MYCIN, разработанный в начале 1970-х годов в качестве исследовательского прототипа для диагностики бактериемии инфекций кровотока, может объяснить, какие из его вручную закодированных правил способствовали постановке диагноза в конкретном случае. В ходе исследований интеллектуальных обучающих систем были разработаны такие системы, как SOPHIE, которые могли действовать как «эксперт по формулировке», объясняя стратегию решения проблем на уровне, понятном учащемуся, чтобы он знал, что делать дальше. Например, SOPHIE смогла объяснить качественные соображения, лежащие в основе устранения неисправностей электроники, даже несмотря на то, что в конечном итоге она полагалась на симулятор схем SPICE. Точно так же GUIDON добавил правила обучения, чтобы дополнить правила уровня домена MYCIN, чтобы он мог объяснить стратегию медицинской диагностики. Символические подходы к машинному обучению, особенно те, которые основаны на обучении на основе объяснений, такие как PROTOS, явно полагались на представления объяснений, как для объяснения своих действий, так и для получения новых знаний.
В 1980-х - начале 1990-х годов были разработаны системы поддержания истины (TMS), чтобы расширить возможности причинно-следственных, основанных на правилах и логических систем вывода. TMS действует для явного отслеживания альтернативных линий рассуждений, обоснований выводов и линий рассуждений, которые приводят к противоречиям, позволяя будущим рассуждениям избегать этих тупиков. Чтобы предоставить объяснение, они прослеживают рассуждения от выводов до предположений с помощью операций с правилами или логических выводов, позволяя генерировать объяснения из следов рассуждений. В качестве примера рассмотрим основанного на правилах решателя проблем с несколькими правилами о Сократе, из которых следует вывод, что он умер от яда:
Просто проследив структуру зависимостей, решатель проблем может построить следующее объяснение: «Сократ умер, потому что он был смертным и пил яд, и все смертные умирают, когда пьют яд.Сократ был смертным, потому что он был человеком, а все люди смертны. Сократ пил яд, потому что он придерживался диссидентских убеждений, правительство было консервативным, а те, кто придерживался консервативных диссидентских убеждений, подчинялись консервативные правительства должны пить яд ».
К 1990-м годам исследователи также начали изучать возможность значимого извлечения правил, не кодируемых вручную, которые генерируются непрозрачными обученными нейронными сетями. Исследователи клинических экспертных систем, создающих поддержку принятия решений на основе нейронных сетей для врачей, стремились разработать динамические объяснения, которые позволят этим технологиям стать более надежными и заслуживающими доверия на практике. В 2010-е годы общественные опасения по поводу расовой и иной предвзятости при использовании ИИ для вынесения решений по уголовным наказаниям и выяснения кредитоспособности могли привести к увеличению спроса на прозрачный искусственный интеллект. В результате многие ученые и организации разрабатывают инструменты, помогающие обнаруживать предвзятость в своих системах.
Марвин Мински и др. поднял вопрос о том, что ИИ может функционировать как форма наблюдения, с предвзятостью, присущей слежке, предлагая HI (гуманистический интеллект) как способ создания более справедливого и сбалансированного ИИ, работающего по принципу «человек в контуре».
Современные сложные методы искусственного интеллекта, такие как глубокое обучение и генетические алгоритмы, по своей природе непрозрачны. Для решения этой проблемы было разработано множество новых методов, позволяющих сделать новые модели более объяснимыми и интерпретируемыми. Это включает в себя множество методов, таких как послойное распространение релевантности (LRP), метод определения того, какие функции в конкретном входном векторе наиболее сильно влияют на выход нейронной сети. Для объяснения одного конкретного прогноза, сделанного с помощью (нелинейной) модели черного ящика, были разработаны другие методы, цель которых называется «локальной интерпретируемостью». Кроме того, была проведена работа над деревьями решений и байесовскими сетями, которые более прозрачны для проверки. В 2018 году была учреждена междисциплинарная конференция под названием FAT * (Справедливость, подотчетность и прозрачность) для изучения прозрачности и объяснимости в контексте социотехнических систем, многие из которых включают искусственный интеллект.
Поскольку регулирующие органы, официальные органы и обычные пользователи становятся зависимыми от динамических систем на основе ИИ, для процессов принятия решений потребуется более четкая подотчетность для обеспечения доверия и прозрачности. Свидетельство того, что это требование набирает обороты, можно увидеть с запуском первой глобальной конференции, посвященной исключительно этой развивающейся дисциплине, Международной совместной конференции по искусственному интеллекту: семинар по объяснимому искусственному интеллекту (XAI).
The European Union представила право на объяснение в Общем праве на защиту данных (GDPR) как попытку справиться с потенциальными проблемами, вытекающими из растущей важности алгоритмов. Внедрение постановления началось в 2018 году. Однако право на объяснение в GDPR распространяется только на локальный аспект интерпретируемости. В Соединенных Штатах страховые компании должны быть в состоянии объяснить свои решения по тарифам и страховому покрытию.
XAI исследовались во многих секторах, в том числе:
