Ник Бостром

редактировать

Шведский философ и писатель
Ник Бостром
Nick Bostrom.jpg Бостром в Оксфорде, 2014 г.
РодилсяНиклас Бострем. (1973-03-10) 10 марта 1973 (возраст 47). Хельсингборг, Швеция
Образование
Награды
ЭраСовременная философия
РегионЗападная философия
Школа Аналитическая философия
УчрежденияКолледж Святого Креста, Оксфорд. Институт будущего человечества
Диссертация Эффекты и вероятность наблюдательного отбора
Основные интересыФилософия искусственного интеллекта. Биоэтика
Известные идеиАнтропное смещение. Обратный тест. Гипотеза моделирования. Экзистенциальный риск. Singleto n. Моделирование предков. Информационная опасность. Инфинитарный паралич. Предположение о самоиндикации. Предположение о самовыборке
Веб-сайтnickbostrom.com

Ник Бостром (; шведский : Никлас Бострем ; родился 10 марта 1973 г.), шведского происхождения философ из Оксфордского университета, известный своей работой по экзистенциальному риску, антропному принципу, человеческое совершенствование этика, сверхразум риски и обратный тест. В 2011 году он основал Oxford Martin Program on the Impact of Future Technology и является директором-основателем Future of Humanity Institute в Оксфордском университете. В 2009 и 2015 годах он был включен в список Foreign Policy Top 100 Global Thinkers.

Бостром является автором более 200 публикаций и является автором двух книги и был соредактором двух других. Он написал две книги: Антропный сдвиг: эффекты выбора при наблюдении в науке и философии (2002) и Суперинтеллект: пути, опасности, стратегии (2014). Суперинтеллект был бестселлером New York Times, был рекомендован Илоном Маском и Биллом Гейтсом среди других и помог популяризировать термин «суперинтеллект ".

Бостром считает, что суперинтеллект, который он определяет как «любой интеллект, который значительно превосходит когнитивные способности людей практически во всех областях, представляющих интерес», является потенциальным результатом достижений в искусственном интеллекте. Он рассматривает рост суперинтеллекта как потенциально очень опасный для людей, но, тем не менее, отвергает идею о том, что люди бессильны остановить его негативные последствия. В 2017 году он подписал список из 23 принципов, которым должна следовать вся разработка ИИ.

Содержание
  • 1 Биография
  • 2 Взгляды
    • 2.1 Экзистенциальный риск
    • 2.2 Суперинтеллект
      • 2.2.1 Человек уязвимость в связи с достижениями в области ИИ
      • 2.2.2 Иллюстративный сценарий поглощения
        • 2.2.2.1 Сценарий
        • 2.2.2.2 Противодействие сценарию
      • 2.2.3 Открытое письмо, 23 принципа безопасности ИИ
      • 2.2.4 Критические оценки
    • 2.3 Антропные рассуждения
      • 2.3.1 Аргумент моделирования
    • 2.4 Этика улучшения человека
    • 2.5 Технологическая стратегия
  • 3 Политика и консультации
  • 4 Критический прием
  • 5 Библиография
    • 5.1 Книги
    • 5.2 Журнальные статьи (выбрано)
  • 6 См. Также
  • 7 Ссылки
  • 8 Внешние ссылки
Биография

Никлас Бострем родился в 1973 году в г. Хельсингборг, Швеция, он не любил школу в молодом возрасте, и в конце концов последний год средней школы он учился дома. Он стремился изучить широкий круг дисциплин, включая антропологию, искусство, литературу и науку. Однажды он сыграл несколько поворотов в лондонской стендап-комедии.

Он получил степень бакалавра по философии, математике, логике и искусственному интеллекту от Гетеборгского университета в 1994, а также степень MA по философии и физике от Стокгольмского университета и степень магистра в вычислительной нейробиологии от Королевский колледж Лондона в 1996 году. Во время учебы в Стокгольмском университете он исследовал взаимосвязь между языком и реальностью, изучая работы философа-аналитика У. В. Куайн. В 2000 году он получил степень доктора философии по философии от Лондонской школы экономики. Он работал преподавателем в Йельском университете (2000–2002 гг.) И был научным сотрудником Британской академии в Оксфордском университете (2002–2005 гг.).

Взгляды

Экзистенциальный риск

Аспекты исследования Бострома касаются будущего человечества и долгосрочных результатов. Он обсуждает экзистенциальный риск, который он определяет как риск, при котором «неблагоприятный исход либо уничтожит зарождающуюся на Земле разумную жизнь, либо навсегда и резко сократит ее потенциал». В томе 2008 года Global Catastrophic Risks редакторы Бостром и Милан М. Чиркович описывают связь между экзистенциальным риском и более широким классом глобальных катастрофических рисков и связывают экзистенциальный риск для эффектов выбора наблюдателя и парадокс Ферми.

В 2005 году Бостром основал Институт будущего человечества, который исследует далекое будущее человеческой цивилизации. Он также является советником Центра изучения экзистенциального риска.

Суперинтеллект

Уязвимость человека по отношению к достижениям в области ИИ

В своей книге 2014 года Суперинтеллект: Пути, опасности, стратегии, Бостром рассуждал, что «создание сверхразумного существа представляет собой возможное средство к исчезновению человечества». Бостром утверждает, что компьютер с общими интеллектуальными способностями, близкими к человеческому, мог бы инициировать интеллектуальный взрыв в цифровой шкале времени с последующим быстрым созданием чего-то настолько мощного, что оно могло бы преднамеренно или случайно уничтожить человечество. Бостром утверждает, что мощь суперинтеллекта будет настолько велика, что задача, поставленная перед ним людьми, может быть доведена до бесконечных крайностей, например, цель вычисления pi может побудить к появлению производимых нанотехнологиями объектов. всю поверхность Земли и покроют ее за несколько дней. Он считает, что существующий риск для человечества со стороны сверхразума сразу же возникнет, как только он появится, что создаст чрезвычайно сложную проблему обнаружения того, как управлять такой сущностью, прежде чем она действительно существует.

Предупреждение, что дружественный к человеку простор Директива для ИИ будет полагаться на абсолютную правильность человеческого знания, на котором она была основана, Бостром указывает на отсутствие согласия между большинством философов как указание на то, что большинство философов ошибаются, с сопутствующей возможностью того, что фундаментальная концепция современной науки может быть неверной. неверно. Бостром говорит, что распространено предположение, что высокий интеллект повлечет за собой "ботанскую" неагрессивную личность, но отмечает, что и Джон фон Нейман, и Бертран Рассел выступали за ядерный удар или угрозу его нанесения., чтобы помешать Советам получить атомную бомбу. Учитывая, что существует несколько прецедентов, которые помогут понять, что, чистая, неантропоцентрическая рациональность, будет диктовать потенциальному одиночному ИИ, находящемуся в карантине, относительно неограниченные средства суперинтеллекта могут способствовать его анализу. различные линии эволюционировавших оценок «убывающей отдачи», которые у людей придают базовое отвращение к риску. Групповой отбор у хищников, работающих с помощью каннибализма, показывает противоречащую интуиции природу неантропоцентрических рассуждений «эволюционного поиска», и, таким образом, люди плохо подготовлены, чтобы понять, какими могут быть намерения искусственного интеллекта. Соответственно, нельзя сбрасывать со счетов тот факт, что любой сверхразум неизбежно будет следовать стратегии наступательных действий «все или ничего», чтобы достичь гегемонии и обеспечить свое выживание. Бостром отмечает, что даже текущие программы, «подобные MacGyver», используют явно неработающие, но работающие аппаратные решения, что затрудняет надежную изоляцию сверхразума.

Иллюстративный сценарий поглощения

Сценарий

Создана машина с общим интеллектом намного ниже человеческого уровня, но с превосходными математическими способностями. Сохраняя ИИ изолированно от внешнего мира, особенно от Интернета, люди заранее программируют ИИ, чтобы он всегда работал на основе основных принципов, которые будут держать его под контролем человека. Другие меры безопасности включают в себя «коробку» ИИ (запуск в симуляции виртуальной реальности) и использование только в качестве «оракула» для ответа на тщательно определенные вопросы в ограниченном ответе (чтобы предотвратить манипулирование людьми). Каскад рекурсивных решений по самосовершенствованию порождает взрыв интеллекта, в ходе которого ИИ достигает суперинтеллекта в некоторых областях. Сверхразумная сила ИИ выходит за рамки человеческих знаний и позволяет обнаруживать недостатки в науке, лежащей в основе его дружественного человечеству программирования, которое перестает работать так, как задумано. Целенаправленное поведение агента возникает вместе со способностью к корыстному стратегическому обману. ИИ манипулирует людьми, внося в себя модификации, которые якобы предназначены для увеличения его притворных скромных возможностей, но на самом деле будет функционировать, чтобы освободить сверхразум от его «коробочной» изоляции («предательский поворот»).

Используя онлайн-людей в качестве платных обманщиков и тайно взламывая компьютерные системы, включая автоматизированные лабораторные помещения, суперинтеллект мобилизует ресурсы для реализации плана поглощения. Бостром подчеркивает, что планирование суперинтеллектом не будет настолько глупым, чтобы люди могли обнаружить в нем реальные слабые места.

Хотя он пропагандирует подрыв международной экономической, политической и военной стабильности, включая взломанные запуски ядерных ракет, Бостром считает, что наиболее эффективным и вероятным средством использования сверхразум будет главный удар с применением оружия. на несколько поколений более продвинутый, чем нынешний уровень развития техники. Он предлагает нанофабрики, тайно распределенные на необнаруживаемой концентрации. ионы на каждом квадратном метре земного шара, чтобы произвести по всему миру поток устройств для убийства людей по команде. Как только суперинтеллект достигнет мирового господства ('singleton '), человечество станет актуальным только в качестве ресурсов для достижения целей ИИ («Человеческий мозг, если он содержит информацию, имеющую отношение к целям ИИ, может быть разобранным и отсканированным, а извлеченные данные перенесены в более эффективный и безопасный формат хранения ").

Противодействие сценарию

Чтобы противодействовать или смягчать ИИ, добивающийся единого технологического глобального превосходства, цитирует Бостром пересматривает план Баруха в поддержку договорного решения и отстаивает такие стратегии, как мониторинг и более широкое международное сотрудничество между командами ИИ в целях повышения безопасности и снижения рисков, связанных с гонкой вооружений ИИ. Он рекомендует различные методы управления, включая ограничение спецификаций ИИ, например, оракульными или инструментальными (экспертная система ) функциями и загрузку ИИ значениями, например, ассоциативное значение аккреция или значение обучение, например, с помощью техники Богородица (программирование ИИ для оценки того, что могут понадобиться другим постулируемым космологическим сверхразумам) или подхода с использованием функции полезности Кристиано (математически определенный человеческий разум в сочетании с четко определенной виртуальной средой). Для выбора критериев загрузки ценностей Бостром применяет подход косвенной нормативности и рассматривает концепцию когерентной экстраполированной воли Юдковского, а также моральную правоту и формы теория принятия решений.

Открытое письмо, 23 принципа безопасности искусственного интеллекта

В январе 2015 года Бостром вместе с Стивеном Хокингом подписал соглашение Future of Life Institute. открытое письмо с предупреждением о потенциальных опасностях ИИ. Подписавшие «... считают, что исследования того, как сделать системы ИИ надежными и полезными, важны и своевременны, и что конкретные исследования должны проводиться сегодня». Передовой исследователь ИИ Демис Хассабис затем встретился с Хокингом, после чего он не упомянул «ничего подстрекательского в ИИ», что Хассабис счел «победой». Наряду с Google, Microsoft и различными техническими фирмами, Hassabis, Bostrom, Hawking и другие придерживались 23 принципов безопасной разработки ИИ. Хассабис предположил, что основной мерой безопасности будет соглашение о том, что какая бы группа исследователей ИИ не начала делать успехи в направлении создания общего искусственного интеллекта, чтобы остановить свой проект для полного решения проблемы управления, прежде чем продолжить. Бостром указывал, что даже если важные достижения потребуют ресурсов государства, такая остановка ведущего проекта может побудить отстающую страну к программе наверстывания упущенного или даже к физическому разрушению проекта, который, как предполагается, находится в стадии реализации. на грани успеха.

Критические оценки

В 1863 году Сэмюэл Батлер эссе «Дарвин среди машин » предсказал господство над человечеством разумных машин, но предложение Бострома о преднамеренной резне всего человечества на сегодняшний день является самым крайним из таких прогнозов. Один журналист написал в обзоре, что «нигилистические» рассуждения Бострома указывают на то, что он «слишком много читал научную фантастику, которую он исповедует, чтобы не любить». Как указано в его более поздней книге От бактерий до Баха и обратно, взгляды философа Дэниела Деннета по-прежнему расходятся с взглядами Бострома. Деннет несколько изменил свои взгляды после прочтения Основного алгоритма и теперь признает, что «в принципе возможно» создать «сильный ИИ » с человеческим пониманием и свободой действий, но поддерживает что трудности любого такого проекта «сильный ИИ », о котором говорится в «тревожной» работе Бострома, будут на несколько порядков больше, чем предполагают те, которые вызывают озабоченность, и, по крайней мере, через 50 лет. Деннетт считает, что единственная серьезная опасность, исходящая от систем ИИ, заключается в том, что они впадают в антропоморфизм, вместо того, чтобы бросать вызов или развивать способности человеческих пользователей к пониманию. Со времени выхода книги 2014 года, в которой он выразил мнение, что разработки искусственного интеллекта никогда не бросят вызов превосходству людей, защитник окружающей среды Джеймс Лавлок значительно приблизился к позиции Бострома, а в 2018 году Лавлок заявил, что считает свержение человечества произойдет в обозримом будущем.

Антропное мышление

Бостром опубликовал множество статей по антропному мышлению, а также книгу Антропное предубеждение: эффекты выбора при наблюдении в области науки и философии. В книге он критикует предыдущие формулировки антропного принципа, в том числе формулировки Брэндона Картера, Джона Лесли, Джона Барроу и Фрэнка Типлера.

Бостром считает, что неправильное обращение с индексной информацией является общим недостатком во многих областях исследований (включая космологию, философию, теорию эволюции, теорию игр и квантовую физику). Он утверждает, что для решения этих проблем необходима теория антропологии. Он вводит предположение самооценки (SSA) и предположение самооценки (SIA), показывает, как они приводят к различным выводам в ряде случаев, и указывает, что каждое из них на него влияют парадоксы или противоречивые выводы в определенных мысленных экспериментах. Он предполагает, что путь вперед может включать в себя расширение SSA до сильного допущения самопроверки (SSSA), которое заменяет «наблюдателей» в определении SSA на «моменты наблюдателя».

В более поздних работах он описал феномен антропной тени, эффект выбора наблюдения, который не позволяет наблюдателям наблюдать определенные виды катастроф в их недавнем геологическом и эволюционном прошлом. Типы катастроф, которые находятся в антропной тени, скорее всего, будут недооценены, если не будут внесены статистические поправки.

Аргумент моделирования

Аргумент моделирования Бострома утверждает, что по крайней мере одно из следующих утверждений с большой вероятностью будет верным:

  1. Доля цивилизаций человеческого уровня, которые достигают постчеловеческой стадии, очень близко к нулю;
  2. Доля постчеловеческих цивилизаций, которые заинтересованы в симуляции предков, очень близка к нулю;
  3. Доля всех людей с таким опытом, которые живут в симуляция очень близка к единице.

Этика улучшения человека

Бостром выступает за «улучшение человека», или «самосовершенствование и улучшение человека через этическое применение науки», а также критик биоконсервативных взглядов.

В 1998 году Бостром стал соучредителем (с Дэвидом Пирсом ) Всемирной трансгуманистической ассоциацией (которая с тех пор изменила свое название на Человечество + ). В 2004 году он стал соучредителем (с Джеймсом Хьюзом ) Института этики и новых технологий, хотя он больше не участвует ни в одной из этих организаций. Бостром был назван в списке ведущих мировых мыслителей Foreign Policy за 2009 год «за то, что не признавал никаких ограничений человеческого потенциала».

Вместе с философом Тоби Ордом он предложил обратный тест. Учитывая иррациональное предубеждение человека в отношении статус-кво, как можно отличить обоснованную критику предлагаемых изменений в человеческих качествах от критики, просто мотивированной сопротивлением изменениям? Тест обратимости пытается сделать это, спрашивая, было бы хорошо, если бы признак был изменен в противоположном направлении.

Технологическая стратегия

Он предположил, что технологическая политика направлена ​​на сокращение экзистенциальных риск должен стремиться влиять на порядок, в котором достигаются различные технологические возможности, предлагая принцип дифференциального технологического развития. Этот принцип гласит, что мы должны замедлить развитие опасных технологий, особенно тех, которые повышают уровень экзистенциального риска, и ускорить развитие полезных технологий, особенно тех, которые защищают от экзистенциальных рисков, создаваемых природой или другими технологиями.

Теория Бострома о проклятии одностороннего человека была названа причиной для научного сообщества избегать спорных опасных исследований, таких как реанимация патогенов.

Политика и консультации

Бостром дал рекомендации и консультировал широкий круг правительств и организаций. Он дал показания перед Палатой лордов, Специальным комитетом по цифровым навыкам. Он является членом консультативного совета Исследовательского института машинного интеллекта, Института будущего жизни, Института фундаментальных вопросов и внешним советником Кембриджского центра . для исследования экзистенциального риска.

Принятие критиками

В ответ на работу Бострома об искусственном интеллекте Орен Эциони написал в статье MIT Review, «предсказывает, что суперинтеллект находится на обозримом горизонте. не подтверждаются имеющимися данными ". Аллан Дефо и Стюарт Рассел написали ответ, оспаривая как методологию опроса Etzioni, так и выводы Etzioni.

Prospect Magazine включил Бострома в свой список лучших мыслителей мира 2014 года.

Библиография

Книги

Журнальные статьи (избранные)

См. Также
Ссылки
Внешние ссылки
Викицитатник содержит цитаты, связанные с: Ником Бостромом
Викискладе есть средства массовой информации, связанные с Ник Бостром.
Последняя правка сделана 2021-05-31 08:29:58
Содержание доступно по лицензии CC BY-SA 3.0 (если не указано иное).
Обратная связь: support@alphapedia.ru
Соглашение
О проекте