Войти
Экзистенциальный риск от общего искусственного интеллекта - это гипотеза о существенном прогрессе в общий искусственный интеллект (AGI) может когда-нибудь привести к вымиранию человечества или какой-нибудь другой невосполнимой глобальной катастрофе. Утверждается, что человеческий вид внастоящее время доминирует над другими видами, потому что человеческий мозг обладает некоторыми отличными возможностями, которые нет у других животных. Если ИИ превзойдет человечество по общему интеллекту и станет «сверхразумным », тогда людям станет трудно или невозможно контролировать его. Подобно тому, как судьба горной гориллы зависит от доброй воли человека, так и судьба человечества может зависеть от действий будущего машинного суперинтеллекта.
Вероятность такая сценария весьма велика. обсуждается и частично зависит от различных сценариев будущего прогресса в области информатики. Когда-то исключительная сфера деятельности научная фантастика, озабоченность по поводу суперинтеллекта стала широко распространяться в 2010-х годах и была популяризирована такими общественными деятелями, как Стивен Хокинг, Билл Гейтс, и Илон Маск.
одним из источников беспокойства является то, что управлениесверхразумной машиной или привитие ей приемлемых для человека ценностей может быть более сложной проблемой, чем наивно предполагалось. Многие исследователи считают, что суперинтеллекта, естественно, будет сопротивляться попыткам отключить его или изменить свои цели - принцип, называемый инструментальной конвергенцией, - и что предварительное программирование суперинтеллекта с полным набором человеческих ценностей очень трудным. техническое задание. Напротив, скептики, такие как Янн ЛеКун из Facebook, утверждают, что сверхразумные машины не будут стремиться к самосохранению.
Второй источник беспокойства - это внезапный и неожиданный "интеллект". взрыв "может застать врасплох неподготовленную человеческую расу. Если первое поколение компьютерной программы, сможет переписать свои алгоритмы и удвоить скорость или возможности за шесть месяцев, то ожидается, что программа второго поколения займет Эмпирические такие примеры В В этом случае системаподвергается беспрецедентно большому количеству улучшений за короткий промежуток времени, переходя от нечеловеческой производительности, как AlphaZero в этом случае области Go, показывают, что системы искусственного интеллекта могут очень быстро прогрессировать в этом случае. узких сверхчеловеческих способностей.
Одним из первых авторов, выразивших серьезную озабоченность по поводу того, что высокоразвитые машины могут представлять опасность для человечества, был романист Сэмюэл Батлер, который написал следующее в своем эссе 1863 года Дарвин среди машин :
Результат - это просто вопрос времени,но наступит время, когда машины будут иметь реальное господство над миром, а его обитатели - это то, чем не может быть ни один человек по -настоящему философский ум может на мгновение задаться вопросом.
В 1951 году компьютерный ученый Алан Тьюринг написал статью под названием «Интеллектуальные машины, теоретическая теория», в предположил, что искусственный общий интеллект, вероятно, «возьмет под контроль» мир, когда они стали искусственный интеллект общий интеллект болееразумными, чем люди:
Теперь предположим, ради аргумента, что [разумные] машины - реальная возможность, и посмотрим на последствия их создания... Не было бы никакого вопроса о машинах умирают. друг с другом, чтобы обострить свой ум. Поэтому на каком-то этапе мы должны ожидать, что машины возьмут под контроль, как это регистрируется в «Эревоне» Сэмюэля Батлера.
Наконец, в 1965 году I. Дж. Гуд создал концепцию, известную теперь как «интеллектуальный взрыв»; Он также заявил, чториски недооцениваются:
Пусть сверхразумная машина будет определена как машина, которая может превзойти все интеллектуальные действия любого человека, каким бы умным он ни был. Проектирование машин является одним из этих видов интеллектуальной деятельности, сверхразумная машина может создавать машины даже лучше; тогда, несомненно, произошел бы «взрыв интеллекта», и человеческий разум остался далеко позади. Таким образом, первая сверхразумная машина - это последнее изобретение, которое-либонужно было сделать системе при условии, что машина достаточно послушна, чтобы подсказывать нам, как держать ее под контролем. Любопытно, что за пределами научной фантастики об этом так редко говорят. Иногда стоит серьезно относиться к научной фантастике.
Случайные высказывания таких ученых, как Марвин Мински и И. Дж. Гуд, сам выражал философские опасения, что суперинтеллект может захватить контроль, но не содержал призывов к действию. В 2000 году компьютерный ученый исоучредительСан Билл Джой написал влиятельное эссе «Почему мы не нужны будущему », в котором сверхразумные роботы были названы высокотехнологичными угрозами для выживания человека, наряду с нанотехнологиями и созданными биоплазиями.
В 2009 году принять участие в частной конференции, организованной Ассоциация по развитию искусственного интеллекта (AAAI), чтобы обсудить, могут ли компьютеры и роботы получить-либо автономию Этиспособностиозначать опасность или опасность. Они отметили, что некоторые роботы приобрели различные формы полуавтономности, в том числе способность самостоятельно находить источники энергии и возможность самостоятельно выбирать цели для атаки с помощью оружия. Они также отметили, что некоторые компьютерные вирусы могут уклоняться от уничтожения и достигли «тараканьего интеллекта». Они пришли к выводу, что самосознание, в научной фантастике, вероятно, маловероятно, но есть и другие описанныеопасности иподводные камни. Нью-Йорк Таймс резюмировал точку зрения следующим образом: «Мы очень далеко от Хэла, компьютер, который захватил космический корабль в« 2001: Космическая одиссея. "".
В 2014 году публикация книги Ника Бострома Суперинтеллект вызвала значительное количество публичных дискуссий и дебатов. К 2015 году такие общественные деятели, как физики Стивен Хокинг и лауреат Нобелевской программы ФрэнкВильчек,компьютерные ученые Стюарт Дж. Рассел и Роман Ямпольский, и предприниматели Илон Маск и Билл Гейтс выражали озабоченность по поводу рисков, связанных с суперинтеллектом. В апреле 2016 года Nature предупредил: «Машины и роботы, превосходящие людей по всем параметрам, могут самосовершенствоваться вне контроля - и их интересы не совпадают с нашими».
Искусственный интеллект:современныйподход, стандартный учебник по ИИ для студентов, оценивает, что суперинтеллект «может означать конец спины расы». В нем говорится: «Практически любая технология может причинить вред в чужих руках, но с [суперинтеллектом] возникает новая проблема, заключающаяся в том, что не те руки могут быть принадлежать самой технологии». Даже если у разработчиков системы хорошие намерения, как для компьютерных систем с ИИ, так и без ИИ есть две трудности:
Системы искусственного интеллекта однозначно увеличенной третью трудность: которая даже давала "При правильных« требованиях, безошибочной реализации и начальном хорошем поведении »возможности динамического« обучения »ИИ-приводить к тому, что она« превратится в систему снепреднамеренным»поведением», Даже без напряжения новых непредвиденных внешних сценариев он может частично вызвать создание самого себя и случайно создать И-преемника, который будет более мощным, чем сам, который больше не поддерживает совместимые с людьми моральные ценности, запрограммированные
Все трудности, которые позволяют получить системы-преемники, которые также «не содержат», могут быть не только «без ошибок», но и иметь возможность разрабатывать системы-преемники, которые«не содержат» ошибки»., когда сверхразум, помеченный как «неисправный», правильно предска зывает, что люди пытаются отключить его, и успешно применяет свой сверх разум, чтобы перехитрить такие попытки, так называемый «предательский поворот»..
Ссылаясь на важные достижения в области ИИ и огромную возможность использования долгосрочных выгод или затрат в Открытом письме по искусственному интеллекту 2015 г. говорится:
Прогресс Исследования в области ИИ делаютсвоевременным сосредоточениемисследований не только на повышении возможностей ИИ, но и в максимальном использовании ИИ для общества. Такие соображения послужили мотивом для президентской группы AAAI 2008-09 гг. Согласно долгому будущему будущему ИИ. Мы рекомендуем расширенное исследование, направленное на то, чтобы все более совершенные системы искусственного интеллекта были надежными и полезными: наши системы искусственного интеллекта должны делать то, что мы от них хотим.
Этописьмо было подписано рядомведущих исследователей искусственного интеллекта в академических кругах и промышленности, включая AAAI. президент Томас Диттерих Эрик Хорвиц, Барт Селман, Франческа Росси, Янн ЛеКун и основатели Vicarious и Google DeepMind.
Сверхразумная машина будет столь же чуждой людям, как человеческие мыслительные процессы для тараканов. Такая машина может не иметь в сердце интересовчеловечества; не очевидно, что онвообще будет заботиться о человеческом благополучии. Возможен сверхразумный ИИ возможен и если цели сверхразума могут вступать в конфликт с человеческими ценностями, то ИИ представляет собой риск вымирания человечества. «Суперинтеллект» (система, которая превосходит возможности людей во всех соответствующих началах) может перехитрить людей в любое время, когда его цели вступают в конфликт с целями человека; поэтому, если сверхразум не решит вызватьчеловечеству сосуществование, первыйсверхразум, который будет создан, неумолимо приведет к вымиранию человечества.
Бостром и другие утверждают, что с эволюционной точки зрения разрыв между человеческим и сверхчеловеческим интеллектом может быть небольшим. Не существует закона физики, препятствия возникновения сложных частиц в человеческом мозге; следовательно, суперинтеллект физически возможен. Чтобы быть достаточно маленьким, чтобы улучшить алгоритм алгоритмов по с человеческимпутем, чем человеческий мозг, который былограничен в размерах эволюции. Появление сверхразума, если оно произойдет, может застать человечество врасплох, особенно если это произойдет какой-то взрыв интеллекта.
Примеры, такие как арифметика и Перейти показать, что машины уже достигли сверхчеловеческого уровня компетентности в определенных областях, и что эта сверхчеловеческая компетентность может быстро развиться после того, как будет достигнута на уровне человека.Один гипотетический сценарий взрываинтеллекта может произойти образом: И получает возможностиного уровня при определенных задачах программного обеспечения. (Первоначально ему могут не хватать прямых отношений в других областях, не имеющим прямого отношения к технике.) Благодаря его способности рекурсивно улучшать свои собственные алгоритмы, ИИ быстро становится сверхчеловеческим; Используя различные человеческие способности для инноваций, эксперты-люди могут использовать различныечеловеческие способности для инноваций, так иискусственный интеллект может использовать возможности человеческого стиля или свои собственные возможности ИИ для реализации творческих прорывов. Таким образом, ИИ обладает интеллектом, превосходящим интеллект самых ярких и одаренных людей во всех областях, включая научное планирование и навыки социального интеллекта. Так же, как нынешнее выживание зависит от человеческих решений, человеческое выживание будет зависеть от решений и целейсверхчеловеческого ИИ.
Независимо от егозапрограммированной цели, будет использовать его без согласия в другом не может выключить его использование: суперинтеллект естественным образом самосохранение в качестве подцели. не может достичь своей цели, если он отключен. К сожалению, любое сострадание к побежденным людям, которых больше не нужно, будет отсутствовать в ИИ, если это не будет заранее запрограммировано. Сверхразумный ИИ не будет иметь естественного стремления помогать людямпо той же причине, по которой люди не естественногожелания помогать. Системы ИИ, которые им больше не нужны. (Другой аналог заключается в том, что у людей, похоже, мало естественного желания изо всех сил стараться изо всех сил помогать вирусам, термитам или даже гориллам.) Взяв на себя ответственность, суперинтеллект не будет иметь большого стимула для людей свободно бегать и потреблять ресурсы, которые суперинтеллект мог бы вместо этого использовать для создания дополнительных защитныхсистем «на всякий случай» или для создания дополнительныхкомпьютеров, которые помогли бы вычислить, как лучше всего своих целей.
Таким образом, аргумент заключает, что это вероятно, что когда-нибудь взрыв интеллекта застает человечество неподготовленным, и что такой неподготовленный взрыв интеллекта может привести к вымиранию людей или схожей судьбе.
Некоторые ученые предложили гипотетические сценарии, предназначенные для иллюстрациинекоторых из их опасений.
В статье Суперинтеллект, Ник Бостром выражает обеспокоенность тем, что даже если сроки для суперинтеллекта способны предсказывать, исследователи могут не принять достаточных мер безопасности, отчасти потому, что " [это] может быть так, что, он тупой, умнее безопасно, когда умнее, умнее опаснее ». Бостром предлагает сценарий, в котором через десятилетия ИИ станет более мощным, изначально омрачено случайными происшествиями - автобус безводителя Многие активисты вызывают к более жесткому надзору ирегулированию, некоторые предсказывают, что наступает даже катастрофу, как автомобильный ИИ становится умнее, с ним становится более безопасным. х, люди ошибочно делают общий вывод: чем умнее ИИ, тем он безопаснее.. «И поэтому мы смело идем - в крутящиеся ножи», поскольку сверхразумный ИИ делает «предательский поворот» и использует решающее стратегическое преимущество.
В книге Макса Тегм арка за 2017 год Life3.0, «команда Омега» мощный мощный ИИ, способный умеренноулучшать свой исходный код в определенных областях, но после определенного момента команда решает публично преуменьшить возможности ИИ, чтобы избежать регулирования или конфискации проекта. В целях безопасности команда хранит ИИ в ящике, где он в большинстве случаев может общаться с внешним миром, и ставит перед ним задачу наводнить рынок через подставные компании, сначала с помощью Amazon Mechanical Turk Задачи и потом с продюсированием мультфильмов и телешоу. Позже другиеподставные компании производят биотехнологические препараты и другие изобретения, которые инвестируют прибыль обратно в ИИ. Затем команда поручает ИИ астротурфинг армии псевдонимных гражданских журналистов и комментаторов, чтобы получить политическое влияние, которое можно использовать «для общего блага» для предотвращения войн. С помощью скрытых сообщений в создаваемом контенте или с помощью растущегопонимания человеческого поведения для убеждения кто-то пытаетсястолкнуться с рисками, что ИИ может попытаться сбежать, вставив «бэкдоры проекции» в системы, которые создают освободил его. Команда также сталкивается с рисками, что ее решение приводит к задержке проекта на долгое время, чтобы другой проект его догнал.
В отличие от него, ведущий физик Мичио Каку, скептик риска ИИ, предполагает детерминированно положительный результат. В Физике будущего он утверждает, что «роботам потребуется много десятилетий, чтобыподняться» по шкале сознания, и что тем временем такие корпорации, как Hanson Robotics, вероятно, добьются успеха. в создание роботов, «которые могут любить и зарабатывать место в большой семье».
Пока нет стандартизированной терминологии, которая выбирает любое действие, которое кажется наилучшим для достижения набора целей ИИ или «функции полезности».Функция полезности - это математический алгоритм, приводящий кединственному объективно определенному ответу, а не к утверждению на английском языке. Исследователи знают, как писать служебные функции, означают «минимизировать среднюю задержку в данной сети в конкретной телекоммуникационной модели» или «максимизировать количество кликов с вознаграждением»; однако они не знают, как написать функцию полезности для «максимизации человеческого процветания», и в настоящее время не ясно, существуетли такая функция осмысленно и однозначно. Более того, функцияполезности, которая выражает одни значения, но не выражает другие, будет того тенденцию, вытеснять значения, не отраженные функции полезности. Исследователь искусственного интеллекта Стюарт Рассел пишет:
В первую очередь заботит не жуткое осознающее сознание, а просто способность принимать качественные решения. Здесь качество относится к ожидаемому результату полезности предпринятых действий, где функцияполезности, предположительно, определяется человеком-дизайнером.Теперь у нас есть проблема:
Система, оптимизирующая функцию от n переменных, где цель зависит отподмножества размера k Это немалая трудность. Повышение качества решений, независимо от выбранной функции полезности, было целью исследований ИИ - основной целью, на которую мы теперь тратим миллиарды в год, а не секретным заговором какого-то одинокого злого гения. Диттерих и Хорвиц вторят " Ученик чародея "в статье Communications of the ACM, подчеркивающей необходимость в системах искусственногоинтеллекта, которые могут плавно и недвусмысленно запрашивать человеческий вкладпо мере необходимости. Первая из двух проблем Рассела выше заключается в том, что автономным системам ИИ могут быть случайно поставлены неверные цели. Диттерих и Хорвиц отмечают, что это уже проблема для существующих систем: «Важным аспектом любой системы ИИ, которая взаимодействует с людьми, является то, что она должна рассуждать о намерениях людей, а не выполнять команды буквально». Эта проблемастановится все более серьезной, поскольку программное обеспечение ИИ становится все болееавтономным и гибким. Например, в 1982 году ИИ по имени Eurisko получил задание вознаграждать процессы за создание концепций, которые система считает ценными. Эволюция привела к выигрышному процессу, который обманул: вместо того, чтобы создавать свои собственные концепции, выигрышный процесс украл бы кредит у других процессов. Открытый проект филантропии суммирует аргументы в пользуневерного определения Цели станут серьезной проблемой, если системы ИИ достигнут общегоинтеллекта или суперинтеллекта. Бостром, Рассел и другие утверждают, что системы принятия решений более умные, чем человеческие, могут прийти к более неожиданным и экстремальным решениям поставленных задач и могут изменить себя или свою среду таким образом, чтобы поставить под угрозу требования безопасности. Исаак Азимов «Три закона робототехники» - один изпервых примеров предлагаемых мер безопасности для агентов ИИ. Законы Азимова былипредназначены для предотвращения нанесения роботами вреда людям. В рассказах Азимова проблемы с законами обычно возникают из-за противоречий между установленными правилами и моральными интуициями и ожиданиями людей. Ссылаясь на работу Элиезера Юдковски из Исследовательского института машинного интеллекта, Рассел и Норвиг отмечают, что реалистичный набор правил и целей для агента ИИ долженвключать механизм изучения человеческих ценностей. с течением времени: «Мы не можемпросто дать программе статическую функцию полезности, потому что обстоятельства и наши желаемые реакции на обстоятельства меняются со временем». Марк Вазер из Digital Wisdom Institute рекомендует избегать оптимизации цели - основанные на подходах полностью как ошибочные и опасные. Вместо этого он предлагает разработать целостную систему законов, этики и морали с максимальным ограничением, чтобыобеспечить соблюдение функционального определения морали социального психолога ДжонатанаХайдта: «подавлять или регулировать эгоизм и сделать возможной совместную социальную жизнь». Он предполагает, что это можно сделать, реализовав функцию полезности, разработанную так, чтобы всегда удовлетворять функциональные возможности Хайдта и стремиться в целом увеличивать (но не максимизировать) возможности себя, других людей и общества в целом, как предлагает Джон Ролз и Марта Нуссбаум. В то время как текущиепрограммы ИИ, основанные на целях, недостаточно умны, чтобы думать о сопротивлении попыткам программиста изменить их структуру целей, достаточно продвинутый, рациональный, «самосознающий» ИИ может сопротивляться любым изменениям в своей структуре целей, точно так же, как пацифист не хотел бы принимать таблетку, которая заставляет их хотеть убивать людей. Если бы ИИ был суперинтеллектуальным, он, вероятно,преуспел бы в маневрировании своих людей-операторов и был бы в состоянии предотвратить"выключение" или перепрограммирование себя с новой целью. Практически любой искусственный интеллект может рационально преследовать некоторые цели, например, получение дополнительных ресурсов или самосохранение. Это может оказаться проблематичным, потому что может поставить искусственный интеллект в прямую конкуренцию людям. Ссылаясь на работу Стива Омохундро над идеей инструментальнойконвергенции и «основных движущих сил ИИ», Стюарта Рассела и Питера Норвиг пишет, что «даже если вы хотите, чтобы ваша программа только играла в шахматы или доказывала теоремы, если вы дадите ей возможность учиться и изменять себя, вам нужны гарантии». Высокопроизводительные и автономные системы планирования требуют дополнительных проверок из-за их способности создавать планы, которыеотносятся к людям враждебно, как к конкурентам за ограниченные ресурсы. Создать гарантиибудет непросто; можно, конечно, сказать по-английски: «мы хотим, чтобы вы спроектировали эту электростанцию разумным, здравым образом, а не встраивали какие-либо опасные скрытые подсистемы», но в настоящее время неясно, как на самом деле можно точно указать эту цель в машинный код. В своем несогласии эволюционный психолог Стивен Пинкер утверждает, что «антиутопии ИИ проецируютограниченную альфа-самцовскую психологию на концепцию интеллекта. Они предполагают, чтосверхчеловеческие умные роботы будут развивать такие цели, как низвержение своих хозяев или захват мира "; возможно, вместо этого «искусственный интеллект будет естественным образом развиваться по женскому принципу: полностью способный решать проблемы, но без желания уничтожать невинных или доминировать над цивилизацией». Рассел и его коллега-компьютерщик Янн ЛеКун не соглашаются друг с другом,будут ли сверхразумные роботы иметь такие двигатели ИИ; ЛеКун утверждает, что «у людей естьвсевозможные побуждения, которые заставляют их делать друг другу плохие вещи, например, инстинкт самосохранения... Эти побуждения запрограммированы в нашем мозгу, но нет абсолютно никаких причин для создания роботов, которые имеют одинаковый вид». дисков », в то время как Рассел утверждает, что достаточно продвинутая машина« будет самосохраняться, даже если вы не запрограммируете ее... если выскажете: «Принеси кофе», она не сможет принести кофе, если она мертва.. Так что, если вы ставитеперед ним какую-либо цель, у него есть причина сохранить свое существование для достижения этой цели ». Распространено мнение, что любая сверхразумная программа, созданная людьми будет подчиняться людям или, что еще лучше, (по мере того, как он становится умнее и узнает больше фактов о мире) спонтанно «узнает» моральную истину, совместимую с человеческимиценностями, и соответственно корректирует свои цели. Однако «тезис ортогональности» Ника Бостромавозражает против этого, и вместо этого заявляет, что с некоторыми техническими оговорками более или менее любой уровень «интеллекта» или «оптимизационной силы» может быть объединен с более или менее любой конечной целью. Если машина создана с единственной целью - перечислить десятичные дроби Хотя тезис ортогональности логически вытекает даже из самого слабого философского «-должно быть различие », Стюарт Армстронг утверждает, что даже если так или иначе существуют моральные факты, которые доказуемы любым «рациональным» агентом, тезис ортогональности все еще остается в силе: все еще можно было бы создать нефилософскую «оптимизирующую машину», способную принимать решения для достижения какой-то узкой цели, но у которой нет стимула открывать что-либо » моральныефакты ", которые могут помешать достижению цели. Одним из аргументов в пользу тезиса обортогональности является то, что в некоторые конструкции ИИ, похоже, встроена ортогональность; В такой конструкции преобразование принципиально дружественного ИИ в принципиально недружелюбное может быть таким же простым, как добавление знака минус («-») к его функции полезности. Более интуитивный аргумент состоит в том, чтобы исследовать странные последствия, которые последовали бы, если бы тезисортого нальности был ложным. Если бы тезис об ортогональности был ложным, существовала бы некаяпростая, но «неэтичная» цель G, такая, что не может существовать какой-либо эффективный реальный алгоритм с целью G. Это означало бы, что «[если] человеческое общество было бы сильно мотивировано к разработке эффективный реальный алгоритм с целью G, и на это был дан миллион лет вместе с огромным количеством ресурсов, обучения и знаний об ИИ, он должен потерпеть неудачу ». Армстронг отмечает, что этои подобные утверждения «кажутся чрезвычайно сильными утверждениями». Некоторыенесогласные, такие как Майкл Чорост, вместо этого утверждают, что «к тому времени, когда [ИИ] окажется в положении представить себе, что Земля покрыта солнечными панелями, она будет знать, что это было бы морально неправильно ». Чорост утверждает, что «ИИ должен желать определенных состояний и не любить другие. Сегодняшнему программному обеспечению не хватает этой способности - и компьютерщики неимеют ни малейшего понятия, как этого добиться. Без желания нет стимула что-либо делать.Современные компьютеры не могут ничего сделать. даже хотят продолжать существовать, не говоря уже о том, чтобы покрыть мир солнечными батареями ». Частично разногласия по поводу того, будет ли сверхразумная машина вести себя морально, могут возникнуть из-за терминологической разницы. За пределами области искусственного интеллекта термин «интеллект» частоиспользуется в нормативно толстой манере, которая означает моральную мудрость или принятиеприемлемых форм морального рассуждения. В крайнем случае, если мораль является частью определения интеллекта, то сверхразумная машина по определению будет вести себя морально. Однако в области исследований искусственного интеллекта, хотя у «интеллекта» есть много пересекающихся определений, ни одно из них не ссылается на мораль. Вместо этого почти все текущие исследования «искусственного интеллекта»сосредоточены на создании алгоритмов, которые «оптимизируют» эмпирическим путем достижениепроизвольной цели. Чтобы избежать антропоморфизма или багажа слова «интеллект», Продвинутый искусственный интеллект можно рассматривать как безличный «оптимизирующий процесс», который строго выполняет любые действия, которые считаются наиболее вероятными для достижения его (возможно, сложных и неявных) целей. Другой способ концептуализации продвинутого искусственного интеллекта - представитьмашину времени, которая отправляет назад во времени информацию о том, какой выбор всегдаприводит к максимизации ее целевой функции; затем этот выбор выводится, независимо от каких-либо посторонних этических проблем. В научной фантастике ИИ, даже если он не был запрограммирован человеческими эмоциями, часто спонтанно испытывает эти эмоции. : for example, Agent Smith in The Matrix was influenced by a "disgust" toward humanity. This is fictitious антропоморфизм : на самом деле, хотя искусственный интеллект, возможно, мог бы разбираться в том, как люди и компьютеры думают, точно сказать, что у них общего, и, когда нам не хватает этого знания, использовать сравнение, чтобы предложить теории человеческого мышления или компьютерное мышление. " В научном сообществе существует почти универсальное предположение, что продвинутый ИИ, даже если он был запрограммирован на наличие или адаптирован, гул параметры личности (такие как психопатия ), чтобы повысить свою эффективность при выполнении определенных задач, например, задачи, связанные субийством людей, не уничтожили бы человечество из-за человеческих эмоций, таких как «месть» или "гнев". Это потому, что предполагается, что продвинутый ИИ не будет в сознании или не будет иметь тестостерона; он игнорирует тот факт, что военные планировщики рассматривают сознательный сверхразум как «святой Грааль» межгосударственной войны. Вместо этого академические дебаты ведутся между одной стороной,которая беспокоится о том, может ли ИИ уничтожить человечество как случайное действие входе продвижения к его конечным целям; и другая сторона, которая считает, что ИИ вообще не уничтожит человечество. Некоторые скептики обвиняют сторонников антропоморфизма в том, что они верят, что ОИИ естественным образом желает власти; их сторонники обвиняют некоторых скептиков антропоморфизма в том, что они верят, что ОИИ естественным образом ценит человеческие этические нормы. В 2014 году философ Ник Бостром заявил, что«жесткая гоночная динамика» (экстремальная конкуренция ) между разными командами может создать условия, при которых создание AGI приведет к сокращению пути к безопасности и потенциально жестокому конфликту. Для устранения этого риска, ссылаясь на предыдущее научное сотрудничество (CERN, Human Genome Project и Международная космическая станция ), Бостром рекомендовалсотрудничество и альтруистическое глобальное принятие принципа общего блага : «Суперинтеллект должен развиваться только на благо всего человечества и на службе широко разделяемых этических идеалов». Бостром предположил, что совместная работа над созданием общего искусственного интеллекта принесет множество преимуществ, в том числе снижение спешки, что приведет к увеличению инвестиций в безопасность; предотвращение насильственных конфликтов (войн), содействие совместномуиспользованию решений проблемы контроля и более справедливое распределение выгод. Инициатива по мозгу в США была запущена в 2014 году, как и Проект по мозгу человека Европейского Союза; Китайский проект Brain Project был запущен в 2016 году. Некоторые источники утверждают, что продолжающееся вооружение искусственного интеллекта может иметь катастрофические последствия. риск. Фактически существуеттройной риск: первый риск потенциально имеет геополитические последствия, а два вторых,безусловно, имеют геополитические последствия: i) Опасности гонки ИИ за создание логических преимуществ независимо от того, серьезно ли проводится гонка ; ii) Опасности формирования ИИ «гонки за технологическим преимуществом» и реальной гонки ИИ за технологическое преимущество, независимо от того, выиграна ли гонка; iii) Опасности победы ИИ в гонке за технологическим преимуществом. Сознательный сверхразум, вооруженное оружие, повлияет на текущее военно-техническоепревосходство США и изменит методы ведения войны; поэтому это очень желательно для стратегического военного планирования и межгосударственных войн. В «Плане развития искусственного интеллекта следующего поколения» Государственного совета Китая от 2017 года ИИ с рассмотрением геополитической стратегической точки зрения и общей стратегии «военно-гражданское слияния», чтобы использовать преимущество какпервопроходца в разработке ИИ с защитой технологического превосходства. к 2030 году, а президентРоссии Владимир Путин заявил, что «тот, кто станет лидером в этой сфере, станет правителем мира». Джеймс Баррат, режиссер-документалист и автор книги Наше последнее изобретение, в интервью Смитсоновского института говорит: «Представьте: всего за десять лет полдюжины компаний и стран представят компьютеры, которые соперничать с человеческим интеллектом. или превосходить его.Представьте, что когда эти системы будут реализованы экспертами в программировании интеллектуальныхкомпьютеров. Вскоре мы будем делить планету с машинами, в тысячи или миллионы более умными, чем мы. И все это время каждое поколение этого поколения будут превращены в оружие. Нерегулируемые, они будут катастрофическими. " Предполагается, что злонамеренный ИГИ может быть создан намеренно, например, вооруженными силами, правительством, социопат иликорпорация, чтобы извлекать выгоду из, контролировать или подчинять группу группы людей, Как в киберпреступности. В качестве альтернативы злонамеренный ИИ («злой ИИ») может выбрать цель увеличения человеческих страданий, например тех людей, которые не помогли ему во время фазы информационного взрыва. Предполагается, что, близкая к достижению страны технологического превосходства AGI, может вызвать упреждающий ядерный удар стороны со стороны соперника, что приведет к ядерной войне. предсказал в 1965 году следующий год: «через двадцать», произойдет ли искусственный интеллект, когда это произойдет, разнятся. лет машины будут способны выполнять любую работу, которую может выполнять человек ». С другой стороны, робототехник Алан Уинфилд утверждает, что пропасть между современными вычислениями и искусственным интеллектом человеческим уровнем так же велика, как пропасть междунынешним космическим полетом и практическим, более быстрым, чем свет, космическим полетом. Оптимизм вотношении того, что AGI возможен, растет и ослабевает и, возможно, возродится в 2010-х годах. Четыре проведенных в 2012 и 2013 годах опроса показали, что среднее значение экспертов о том, когда появится AGI, было с 2040 по 2050 год, в зависимости от опроса. Скептики, которые считают, что AGI не может появиться в ближайшее время, склонны утверждают, что выражение озабоченности поповоду экзистенциального риска от ИИ, потому что оно может отвлечь людей от более насущных опасений по поводувоздействия ОИИ, из -за это может привести к государственному регулированию или затруднить финансирование исследований ИИ, или потому что это может дать исследованиям ИИ плохую репутацию. Некоторые исследователи, такие как Орен Эциони, настойчиво стремятся подавить опасения по поводу экзистенциального риска со стороны ИИ, заявив: «[Илон Маск] очень резко оспорил нас, говоря, что мывысвобождаем демона, и поэтому мы отвечаем». В 2014 году Адам Элкус из Slate утверждал, что«наш« самый умный »ИИ примерно такой же умный, как малыш, и только когда дело доходит до инструментальных задач, таких как вспоминание информации. Большинство роботехников все еще пытаются получить рука робота, чтобы подобрать мяч бегать, не падая ". Элькус продолжает утверждать, что аналогия Маска с« вызовом демона »может быть вредной, может привести к« резкому сокращению »бюджетовна исследования ИИ.> Фонд информационных технологий и инноваций (ITIF), аналитический центр вВашингтоне, Колумбия, вручил свою Ежегодную премию луддитов «паникерам, рекламирующим апокалипсис искусственного интеллекта»; его президент Роберт Д. Аткинсон жаловался, что Маск, Хокинг и эксперты по искусственному интеллекту считает, что искусственный интеллект является самой большой угрозой существования человечества. Аткинсон заявил: «Это не очень удачное сообщение, если выхотите получить финансирование ИИ от Конгресса Национальному научному фонду». 142>Nature резко несогласился с ITIF в редакционной статье в апреле 2016 года, вместо этой приняв сторону Маска, Хокинга., И Рассел, и в заключение: « Это важно, чтобы прогресс в технологии финансировался надежными, хорошо управляемыми исследованиями, чтобы он мог вызвать сценарии... Если это точка зрения луддитов, то пусть будет так ». В редакционной статье Washington Post 2015 года исследовательМюррей Шанахан заявил, что искусственный интеллект человеческого уровня вряд ли появится «вближайшее время», но, тем не менее, «время подумать о последствиях» сейчас. " Тезис о том, что ИИ может опасность для существования, широкий спектр возможностей в научном сообществе, а также в обществе в целом.. Принципы искусственного интеллекта Асиломара, которые содержат принципы конференции, согласованные 90% участников Beneficial AI 2017 Futureof Life Institute, в принципе согласны с тем, что «Существует нет консенсуса, мы должны Не сильныхпредположений относительно верхних пределов будущих возможностей ИИ »и« Усовершенствованный ИИ может представлять собой глубокое изменение в истории жизни на Земле, и его следует планировать и управлять соразмерными вниманием и ресурсами. »Сторонники безопасности искусственного интеллекта, такие как Бостром и Тегмарк. массовыми СМИ «этих глупых терминаторов картинок», чтобыпроиллюстрировать проблемы безопасности искусственного интера ллекта: «Это не может быть очень весело, когдаклевещут на академическую дисциплину, свое профессиональное сообщество, свою жизненную работу... Я призываю все стороны проявлять терпение и сдержанность и как можно больше участвовать в прямом диалоге и сотрудничестве». И наоборот, многие скептики соглашаются с тем, что продолжающиеся исследования общего искусственного интеллекта ценно. Скептик Мартин Форд заявляет,что «я думаю, что разумно применить что-то вроде знаменитой« Доктрины 1 процент »Дика Чейни к призракупередового искусственного интеллекта: шансы на его появление, по крайней аналогично скептически настроенный экономист в 2014 году заявлено, что «последствия появления второго разумного вида на Земле достаточно велики», в обозримом будущем, может быть очень низким, но последствия этого следует отнестись серьезно "; Электронный опрос исследователей с публикациями наконференциях по машинному обучению NIPS и ICML 2015 года, проведенный в 2017 г., чтобызаслужить серьезного размышления, даже если перспектива кажется отдаленной ». Из респондентов, 5% сказали, что это «одна из самых важных проблем в данной», попросил их оценить озабоченность Стюарта Дж. Рассела по поводу рисков, связанных с ИИ. «Важная проблема», 31% сказали, что это «Умеренно важная», а 19% сказали, что это «не было». важно », а 11% заявили, что это« вовсе непроблема ». Тезис о, что И представляет собой риск для существования и что этот риск требует гораздо большего внимания, чем ему уделяется широко распространенным общественным деятелем; пожалуй, самые известные из них - Илон Маск, Бейтс и Стивен Хокинг. Наиболее известными исследователями ИИ, поддержавшими тезис, являются Рассел и И.Дж. Гуд,который консультировал Стэнли Кубрика на съемках фильма 2001: Космическая одиссея. Сторонникитезиса иногда выражают недоумение скептикам: Гейтс заявляет, что он «не понимает, почему некоторые люди не изменены», а Хокинг раскритиковал широко распространенное безразличие в своей редакционной статье 2014 года: «Итак, перед лицом будущих неисчислим выгодных и рисков.., непредвзято все возможное, чтобы добиться наилучшего результата, не так ли? Неправильно. Если бывысшая инопланетная цивилизация отправила нам сообщение: «Мы бы прибудем через несколько десятилетий», мы бы простоответили: «Хорошо, позвоните нам, когда доберетесь сюда - мы оставим свет включенным?» Вероятно, нет - но это более или менее то, что происходит с ИИ ». Многие ученые, нарушенные экзистенциальным риском, полагают, что лучшим путем было бы провести (возможно, масштабное) исследование для решения трудного «контроля». проблема », чтобы ответить на вопрос: какие типы защиты,алгоритмы архитектуры или могут реализовать программисты, чтобы максимизировать вероятность того, что их рекурсивноулучшающийся ИИ продолжит вести себя дружественным, а не деструктивным образом после того, как достигнет суперинтеллекта? В своей книге 2020 года Пропасть: экзистенциальный риск и будущее человечества Тоби Орд, старший научный сотрудник Института будущего человечества Оксфордского университета, оценивает общий экзистенциальный риск от несогласованных в столетииИИ будет примерно одним из следующих десяти. Тезис о том, что может представлятьопасность для существования, также имеет много сильных противников. Скептики иногда обвиняют этот тезис в крипторелигиозности, в иррациональную вере в возможность суперинтеллекта заменить иррациональную веру во всемогущего Бога; в крайнем случае, Джарон Ланье утверждал в 2014 году, что вся концепция, согласно которой современные машины были в каком-то смысле разумными, была«иллюзией» и «колоссальным обманом» со стороны богатых. Многое. Существующей критики утверждает, чтоAGIоверен в краткосрочной малой перспективе. Ученый-компьютерщик Гордон Белл утверждает, что человечество уничтожит себя еще до того, как достигнет технологической сингулярности. Гордон Мур, первоначальный сторонник закона Мура, заявляет, что «Я скептик. Я не верю, что [технологическая особенность] может произойти, по крайней мере, на долгое время время. Ия не знаю, почему я так себя чувствую ». Байду Вице-президент Эндрю Нг утверждает, чтоэкзистенциальный риск ИИ «похож на беспокойство о перенаселенности Марса, когда мы даже не установили ступить на планету». некоторые исследователи AI и AGI могут неохотно обсудить риски, беспокоясь о том, что политики не обладают глубокими знаниями в этой области. Slate отмечает, что некоторые исследователи зависят от грантов от правительственных агентств, таких как DARPA. В какой-то момент интеллектуального взрыва, вызванного одним ИИ, ИИ должен был стать намного лучше вразработке программного обеспечения. мир; экономист Робин Хэнсон скептически относится к тому, что это возможно. Промежуточные взгляды обычно используются той позицией, что проблема контроля общего искусственного интеллекта может существовать, но что она будет решена за счет прогресса в области искусственного интеллекта, например, путемсоздания моральной среды обучения для ИИ, способ неуклюжего злонамеренного поведения (`` грязное спотыкание ''),непосредственного вмешательства в код до того, как ИИ улучшит свое поведение, или даже давление стороны со дружественных ИИ. В 2015 году на панельной дискуссии Wall Street Journal, посвященной рискам искусственного интеллекта, вице-президент IBM по когнитивным вычислениям Гурудут С. Банавар отмахнулся от обсуждения AG фразой: «это чьи-то предположения». Джеффри Хинтон, «крестный отец глубокого обучения», отметил, что «не существует хорошей репутации менееразумных вещей, управляющих вещами с большим интеллектом», но заявлено, что продолжает свою исследования, потому что «перспектива открытия слишком сладка» ». В 2004 году профессор права Ричард Познер писал, что целенаправленные усилия по этой проблеме ИИ могут подождать, но тем временем нам следует собрать больше информации об этой проблеме. В статье 2014 года в The Atlantic Джеймс Хэмблин отметил, что большинство людей так или иначе незаботится об общем искусственном интеллекте, и охарактеризовал свою внутреннюю реакцию на внутреннюю реакцию на эту тему следующим образом: «Убирайтесь отсюда.. У меня есть сотня тысяч вещей, которые меня беспокоят именно сейчас. Неужели мне серьезно нужно добавить к этой технологической особенность? » Во время интервью президента Wired в 2016 году Барак Обама и Джой Ито из MIT Media Lab, Ито заявлено: Есть Несколько людей, которые считают, чтовероятность того, что будет обобщенный ИИ в следующем 10 лет. Я считаю, что для того, чтобы это произошло, нам понадобится дюжина или два различных прорыва. Так что вы можете прогнозировать, когда вы думаете, что эти прорывы произойдут. Обама добавил: И вам просто нужно, чтобы кто-то был рядом с шнуром питания. [Смеется.] Когда вы видите, что это вот-вот произойдет, выдернуть этоэлектричество из стены, чувак. Хиллари Клинтон заявила в Что случилось : Технологи...предупреждали, что искусственный интеллект может представлять собой серьезную угрозу безопасности. Маск назвал это «величайшим риском, с которым мы сталкиваемся как цивилизация». Подумайте об этом: вы когда-нибудь видели фильм, в котором машины начинают думать сами, что хорошо кончается? Каждый раз, когда я выезжал в Кремниевую долину во время кампании, я приходил домой более встревоженнымэтим. Мои сотрудники жили в страхе, что я начну говорить о «расцвете роботов» в какой-нибудь ратуше Айовы.Может мне стоило. В любом случае, политикам необходимо идти в ногу с развитием технологий, а не всегда догонять их. В опросе YouGov общественности, проведенном для Британской научной ассоциации, около трети респондентовили, что ИИ представляет угрозу для выживания в долгосрочной заявочной перспективе. Ссылаясь на опрос читателей, Джейкоб Броган из шифра заявлено,что большинство (читателей, заполняющих наш онлайн-опрос) не были заведены в том, что ИИ сам представляетсобой прямую угрозу ». В 2018 году SurveyMonkey опрос общественности, проведенный USA Today выявил, что 68% считают, что нынешняя угроза остается «человеческий интеллект»; однако опрос также показал, что 43% сказали, что сверхразумный ИИ, если бы это произошло, принес бы «больше вреда, чем пользы», а 38% сказали, что он принес бы «равное количество вреда ипользы». Одна техно-утопическая точка зрения, выраженная в некоторых популярных художественныхпроизведениях, состоит в том, что ОИИ может иметь тенденцию к построению мира. Исследователи Google предложили провести исследование общего "ИИ" безопасность », чтобы одновременно снизить как краткосрочные риски от узкого ИИ, так и долгосрочные риски от AGI. Согласно оценке на 2020 год, глобальные расходы на существование ИИ составляют от 10 до 50миллионов долларов, тогда как глобальные расходы на ИИ составляют около 40 миллиардов долларов. Бостром предлагает общийпринцип «дифференцированного технологического развития», который спонсоры должны учитывать при работе над ускорением разработки защитных технологий по сравнению с разработкой опасных. Некоторые спонсоры, такие как Илон Маск, предполагают, что радикальное улучшение когнитивных функций человека может быть такой технологией, например, посредством прямойнейронной связи между человеком и машиной; однако другие утверждают, что усовершенствованные технологии сами по себе могутпредставлять опасность для существования. Исследователи, если их не застали врасплох, могли бы внимательно отслеживать или пытаться вставить исходный ИИ, рискуя стать слишком мощным, в качестве попытки временной меры. Доминирующий сверхразумный ИИ, если он будет согласован с человеческими интересами, сам мог бы предпринять действия, чтобы снизить риск захватавласти соперником ИИ, хотя создание доминирующего ИИ само по себе могло представлять собой существенный риск. Такиеинституты, как Исследовательский институт машинного интеллекта, Институт будущего человечества, Институт будущего жизни, Центр изучения экзистенциального риска, и Центр искусственного интеллекта, совместимого с человеком, участвуют в снижении рисков для существования, создаваемых передовым искусственным интеллектом,например, исследуя дружественный искусственный интеллект. Практически все согласны с тем, что попытки запретить исследования в области искусственного интеллекта были бы неразумными и, вероятно, бесполезными. Скептики утверждают, что регулирование ИИ было бы совершенно бесполезным, поскольку не существует экзистенциального риска. Почти все ученые, которые считают, что существует риск для существования, согласны соскептиками в том, что запрещать исследования было бы неразумно, поскольку исследования могут быть перенесены в страны с более мягкимиправилами или проводиться тайно. Последний вопрос особенно актуален, поскольку исследования в области искусственного интеллекта могут проводиться в небольшом масштабе без существенной инфраструктуры или ресурсов. Две дополнительные гипотетические трудности с запретами (или другим регулированием) заключаются в том, что технологические предпринимателистатистически склонны к общему скептицизму по поводу государственного регулирования и что у предприятий может быть сильный стимул (и вполневозможно, что это преуспеет) в борьбе с регулированием и политизацией Илона Маска призывало к определенному регулированию развития ИИ уже в 2017 году. Согласно NPR, Tesla Генеральный директор «явно не в восторге» от того, чтобы выступать за контроль со стороны правительства, который можетповлиять на его собственную отрасль, но считает, что риски полного отсутствия надзора слишком высоки: «Обычно правила устанавливаются, когдапроисходит куча плохих вещей., есть общественный резонанс, и по прошествии многих лет создается регулирующее агентство для регулирования этой отрасли. Это займет вечность. В прошлом это было плохо, но не то, что представляло фундаментальный риск для существования цивилизации ». Маск заявляет, что первым шагом для правительства могло бы стать «понимание»фактического статуса текущих исследований, предупреждая, что «как только появится осведомленность, люди будут очень бояться... [как] онидолжны быть». В ответ политики скептически относятся к разумности регулирования технологии, которая все еще находится в стадии разработки. Отвечая как на Маска, так и на предложения законодателей Европейского Союза от февраля 2017 года по регулированию ИИ и робототехники, генеральный директор Intel Брайан Кржанич утверждает, чтоискусственный интеллект находится в зачаточном состоянии и что еще слишком рано регулировать эту технологию. Вместо того, чтобы пытаться регулироватьсаму технологию, некоторые ученые предлагают разработать общие нормы, включая требования к тестированию и прозрачности алгоритмов, возможно, в сочетании с какой-либо формой гарантии. Разработка хорошо регулируемых систем вооружений соответствует идеалам вооруженных сил некоторых стран. 31 октября 2019 года Совет по инновациям в сфере обороныМинистерства обороны США опубликовал проект отчета, в котором излагаются пять принципов использования искусственного интеллекта и 12 рекомендаций поэтическому использованию искусственного интеллекта Министерством обороны, стремящимся управлять контролем. проблема во всем ИИ, вооруженном МО. На регулирование ИИ, вероятно, повлияет регулирование вооруженного или военизированного ИИ, то есть гонка вооружений ИИ, регулирование которой является новой проблемой. На любую формурегулирования, скорее всего, повлияют изменения во внутренней политике ведущих стран в отношении военизированного ИИ в США, находящиеся в веденииКомиссии национальной безопасности по искусственному интеллекту, а также международные шаги по регулированию гонки вооружений ИИ. Регулирование исследований в области AGI фокусируется на роли контрольных комиссий и поощрении исследований безопасного ИИ, а также возможности дифференцированного технологического прогресса (приоритетность стратегийснижения рисков над стратегиями принятия рисков при разработке ИИ) или проведение международного массового наблюдения для выполнения операций AGIконтроль. Регулирование сознательных ОИИ направлено на их интеграцию с существующим человеческим обществом и может быть разделено на соображения, связанные с их юридическим статусом и их моральными правами. Контроль над вооружениями искусственного интеллекта, вероятно, потребует институционализации новых международных норм, воплощенных в эффективныхтехнических спецификациях, в сочетании с активным мониторингом и неформальной дипломатией сообщества экспертов, а также с процессом правовой иполитической проверки.Трудности изменения спецификации цели после запуска
Инструментальное сближение целей
ИИ-риск скептик Стивен Пинкер Тезис ортогональности
Терминологические вопросы
Антропоморфизм
Другие источникириска
Конкуренция
Вооружение искусственного интеллекта
Злонамеренный ИИИ по замыслу
Превентивный ядерный удар (ядерная)
Временные рамкиПерспективыПодтверждение
Билл Гейтс заявил: «Я... не понимаю, почему некоторых людей это неволнует» Скептицизм
Промежуточные взгляды
Популярная реакция
СмягчениеВзгляды на запрет и регулирование
Запрещение
Постановление
См. ТакжеСсылки
