OpenAI

редактировать
Исследовательская лаборатория искусственного интеллекта

Координаты : 37 ° 45′44 ″ N 122 ° 24′53 ″ W / 37,7623 ° N 122,4148 ° W / 37,7623; -122.4148

OpenAI
ПромышленностьИскусственный интеллект
Основана11 декабря 2015 г.; 4 года назад (11.12.2015)
Основатели
Главный офисPioneer Building, Сан-Франциско, Калифорния, США
Ключевые люди
ПродуктыOpenAI Gym
Номер сотрудниковболее 120 (по состоянию на 2020 год)
Веб-сайтopenai.com Отредактируйте это в Wikidata

OpenAI - лаборатория исследований искусственного интеллекта, состоящая из некоммерческой корпорации OpenAI LP и его материнская компания, некоммерческая OpenAI Inc. Компания, которая считается конкурентом DeepMind, проводит исследования в области искусственный интеллект (AI) с заявленной целью продвижения и развития дружественного AI таким образом, чтобы приносить пользу человечеству в целом. Организация была основана в Сан-Франциско в конце 2015 года Илоном Маском, Сэмом Альтманом и другими, которые совместно взяли на себя обязательство в размере 1 миллиарда долларов США. Маск ушел из правления в феврале 2018 года, но остался донором. В 2019 году OpenAI LP получила инвестиции в размере 1 миллиарда долларов США от Microsoft.

Содержание

  • 1 История
    • 1.1 Участники
  • 2 Мотивы
  • 3 Стратегия
  • 4 Продукты и приложения
    • 4.1 Gym
    • 4.2 RoboSumo
    • 4.3 Дебаты
    • 4.4 Dactyl
    • 4.5 Генеративные модели
      • 4.5.1 GPT
      • 4.5.2 GPT-2
      • 4.5.3 GPT-3
      • 4.5.4 Музыка
      • 4.5.5 API
    • 4.6 Боты для видеоигр и тесты производительности
      • 4.6.1 OpenAI Five
      • 4.6.2 GYM Retro
  • 5 См. Также
  • 6 Примечания
  • 7 Ссылки
  • 8 Внешние ссылки

История

Pioneer Building в Сан-Франциско, в котором размещаются офисы OpenAI и Neuralink

В октябре 2015 года Илон Маск, Сэм Альтман и другие инвесторы объявили о создании OpenAI и пообещали вложить в это предприятие более 1 миллиарда долларов. Организация заявила, что будет «свободно сотрудничать» с другими учреждениями и исследователями, сделав свои патенты и исследования открытыми для общественности.

27 апреля 2016 года OpenAI выпустила публичную бета-версию своей платформы OpenAI Gym. для обучения с подкреплением исследования.

5 декабря 2016 года OpenAI выпустила Universe, программную платформу для измерения и тренировки общего интеллекта ИИ во всем мире игр, веб-сайтов и других приложений.

21 февраля 2018 года Маск покинул свое место в совете директоров, сославшись на «потенциальный будущий конфликт (интересов)» с разработкой ИИ Tesla для беспилотных автомобилей, но остался донором. 47>

По состоянию на 2020 год, OpenAI имеет штаб-квартиру в районе миссий Сан-Франциско и делит бывшее здание Pioneer Trunk Factory с Neuralink, другой компанией -основан Маском.

После перехода OpenAI от некоммерческой деятельности к коммерческой, компания распределила капитал на i ts и сотрудничал с Microsoft Corporation, которая объявила о вложении в компанию 1 миллиарда долларов США. Затем OpenAI объявила о своем намерении коммерчески лицензировать свои технологии с Microsoft в качестве предпочтительного партнера.

В июне 2020 года OpenAI анонсировала GPT-3, языковую модель, обученную на триллионах слов из Интернета. Он также объявил, что связанный API, называемый просто «API», станет сердцем его первого коммерческого продукта. GPT-3 предназначен для ответов на вопросы на естественном языке, но также может переводить с одного языка на другой и может связно генерировать импровизированный текст.

Участники

  • Генеральный директор: Сэм Альтман, бывший президент ускоритель стартапов Y Combinator
  • Илья Суцкевер, директор по исследованиям, бывший эксперт Google по машинному обучению
  • технический директор: Грег Брокман, бывший технический директор Stripe

Другие спонсоры в проект входят:

Компании:

Группа начала свою деятельность в начале января 2016 года с девяти исследователей. Согласно Wired, Брокман встретился с Йошуа Бенджио, одним из «отцов-основателей» движения глубокого обучения, и составил список «лучших исследователи в этой области ». Питер Ли из Microsoft заявил, что стоимость ведущего исследователя ИИ превышает стоимость перспективного защитника НФЛ. Хотя OpenAI выплачивает зарплату на корпоративном уровне (а не на уровне некоммерческих организаций), в настоящее время он не выплачивает зарплату исследователям ИИ, сопоставимую с зарплатой Facebook или Google. Тем не менее, Суцкевер заявил, что он готов покинуть Google ради OpenAI «отчасти из-за очень сильной группы людей и, в очень большой степени, из-за ее миссии». Брокман заявил, что «лучшее, что я мог вообразить, - это приблизить человечество к созданию настоящего ИИ безопасным способом». Исследователь OpenAI Войцех Заремба заявил, что вместо этого он отклонил «пограничные безумные» предложения в два-три раза превышающие его рыночную стоимость.

Мотивы

Некоторые ученые, такие как как Стивен Хокинг и Стюарт Рассел, считали, что если продвинутый ИИ когда-нибудь получит способность перестраивать себя со все возрастающей скоростью, это непреодолимый "взрыв интеллекта "может привести к вымиранию человечества. Маск характеризует ИИ как «самую большую угрозу существованию человечества». Основатели OpenAI структурировали его как некоммерческую организацию, чтобы сосредоточить свои исследования на создании положительного долгосрочного воздействия на человека.

Маск и Альтман заявили, что они частично мотивированы озабоченностью по поводу экзистенциального риск от общего искусственного интеллекта. OpenAI заявляет, что «трудно представить себе, насколько ИИ человеческого уровня может принести пользу обществу», и что столь же трудно понять, «насколько он может повредить обществу, если он будет построен или используется неправильно». Нельзя безопасно откладывать исследования по безопасности: «из-за удивительной истории ИИ трудно предсказать, когда ИИ человеческого уровня окажется в пределах досягаемости». OpenAI заявляет, что ИИ «должен быть продолжением индивидуальной человеческой воли и, в духе свободы, быть как можно более широко и равномерно распределенным...», и это мнение было выражено в другом месте в отношении потенциально огромного класса ИИ. поддерживаемые продукты: «Действительно ли мы готовы позволить проникнуть в наше общество автономным программным и аппаратным агентам, детали работы которых известны лишь немногим избранным? Конечно, нет». Сопредседатель Сэм Альтман ожидает, что проект, рассчитанный на десятилетия, превзойдет человеческий интеллект.

Вишал Сикка, бывший генеральный директор Infosys, заявил, что «открытость» там, где это начинание, «даст результаты в целом. в интересах человечества "было фундаментальным требованием для его поддержки, и что OpenAI" очень хорошо согласуется с нашими давними ценностями "и их" стремлением выполнять целенаправленную работу ". Кейд Метц из Wired предполагает, что такие корпорации, как Amazon, могут быть мотивированы желанием использовать программное обеспечение и данные с открытым исходным кодом, чтобы уравнять правила игры с такими корпорациями, как Google и Facebook, которые владеют огромным количеством конфиденциальных данных. Альтман заявляет, что компании Y Combinator будут делиться своими данными с OpenAI.

В 2019 году OpenAI стала коммерческой компанией под названием OpenAI LP, чтобы обеспечить дополнительное финансирование, оставаясь под контролем некоммерческой организации под названием OpenAI Inc в структуре, которую OpenAI называет «ограниченная прибыль», ранее была 501(c)(3) некоммерческой организацией.

Стратегия

Маск задал вопрос : «Что лучше всего мы можем сделать, чтобы обеспечить хорошее будущее? Мы могли бы сидеть в стороне, или мы можем поощрять регулирующий надзор, или мы могли бы участвовать в правильной структуре с людьми, которые глубоко заботятся о развитии ИИ таким образом, чтобы безопасно и полезно для человечества ». Маск признал, что «всегда существует некоторый риск того, что, на самом деле пытаясь продвинуть (дружественный) ИИ, мы можем создать то, что нас беспокоит»; Тем не менее, лучшая защита - «дать возможность как можно большему количеству людей обладать ИИ. Если у каждого есть способности ИИ, то нет ни одного человека или небольшой группы людей, которые могут обладать сверхспособностями ИИ».

Маск и противоречащая интуиции стратегия Альтмана, направленная на снижение риска того, что ИИ нанесет общий вред, путем предоставления ИИ каждому, вызывает споры среди тех, кто обеспокоен экзистенциальным риском, связанным с искусственным интеллектом. Философ Ник Бостром скептически относится к подходу Маска: «Если у вас есть кнопка, которая может причинить вред миру, вы не захотите раздавать ее всем». Во время разговора о технологической сингулярности в 2016 году Альтман сказал, что «мы не планируем выпускать весь наш исходный код», и упомянул план «позволить широкому кругу людей выбирать представителей в новый совет управления». Грег Брокман заявил, что «Наша цель прямо сейчас... сделать лучшее, что можно сделать. Это немного расплывчато».

И наоборот, первоначальное решение OpenAI удержать GPT-2 из-за желания «ошибаться в сторону осторожности» в присутствии потенциального злоупотребления подвергается критике со стороны сторонников открытости. Делип Рао, эксперт по генерации текста, заявил: «Я не думаю, что [OpenAI] потратил достаточно времени, чтобы доказать, что [GPT-2] действительно опасен». Другие критики утверждали, что открытая публикация необходима для тиражирования исследования и для того, чтобы иметь возможность придумать контрмеры.

В 2017 налоговом году OpenAI потратила 7,9 млн долларов США, или четверть своих функциональных расходов, на облако. только вычисления. Для сравнения, общие расходы DeepMind в 2017 году были намного больше и составили 442 миллиона долларов США. Летом 2018 года для простого обучения ботов OpenAI Dota 2 потребовалось арендовать у Google 128000 процессоров и 256 графических процессоров на несколько недель. Согласно OpenAI, модель максимальной прибыли, принятая в марте 2019 года, позволяет OpenAI LP на законных основаниях привлекать инвестиции из венчурных фондов и, кроме того, предоставлять сотрудникам доли в компании, цель которых состоит в том, чтобы они могли сказать: «Я собираюсь открыть AI, но в долгосрочной перспективе это не будет невыгодно для нас как семьи ». Многие ведущие исследователи работают в Google Brain, DeepMind или Facebook, Inc., которые предлагают опционы на акции, недоступные для некоммерческих организаций. В июне 2019 года OpenAI LP привлекла миллиард долларов от Microsoft, сумму, которую OpenAI планирует потратить «в течение пяти лет и, возможно, намного быстрее». Альтман заявил, что даже миллиарда долларов может оказаться недостаточно, и что лаборатории в конечном итоге может потребоваться «больше капитала, чем когда-либо привлекала какая-либо некоммерческая организация», чтобы достичь AGI.

Переход от некоммерческой организации к Орен Эциони из некоммерческой Институт ИИ Аллена отнесся к компании с ограниченной прибылью со скепсисом, который согласился с тем, что привлечь ведущих исследователей в некоммерческую организацию сложно, но заявил представление о том, что некоммерческая организация не может конкурировать », и указал на успешные малобюджетные проекты OpenAI и других. «Если бы больше и лучше финансировалось всегда было лучше, тогда IBM по-прежнему была бы номером один». После перехода публичное раскрытие информации о вознаграждении высших сотрудников OpenAI LP больше не требуется по закону. Некоммерческая организация OpenAI Inc. является единственным держателем контрольного пакета OpenAI LP. OpenAI LP, несмотря на то, что является коммерческой компанией, сохраняет формальную фидуциарную ответственность перед уставом некоммерческой организации OpenAI's Inc. Большинству членов правления OpenAI Inc. запрещено иметь финансовые доли в OpenAI LP. Кроме того, миноритарные участники, имеющие долю в OpenAI LP, лишены права голоса из-за конфликта интересов. Некоторые исследователи утверждали, что переход OpenAI LP к коммерческому статусу несовместим с заявлениями OpenAI о «демократизации» ИИ. Журналист в Vice News написал, что «в целом, мы никогда не могли полагаться на венчурных капиталистов для улучшения положения человечества».

Продукты и приложения

Исследования OpenAI имеют тенденцию сосредоточиться на обучении с подкреплением. OpenAI рассматривается как важный конкурент DeepMind.

Gym

Gym, цель которого - предоставить простой в настройке, общий тест с широким спектром различных сред - в некоторой степени сродни, но шире, чем ImageNet Large Scale Visual Recognition Challenge, использованный в контролируемом обучении исследованиях, и который надеется стандартизировать способ определения среды в исследовательских публикациях ИИ. так что опубликованные исследования становятся более воспроизводимыми. Проект утверждает, что предоставляет пользователю простой интерфейс. По состоянию на июнь 2017 года Gym можно использовать только с Python. По состоянию на сентябрь 2017 года сайт документации тренажерного зала не поддерживался, и активная работа была сосредоточена на его GitHub странице.

RoboSumo

В «РобоСумо», виртуальный гуманоид » метаобучение "роботам изначально не хватало знаний о том, как даже ходить, и поставленных перед ними целей - научиться двигаться и вытолкнуть противника за пределы кольца. Посредством этого состязательного процесса обучения агенты учатся адаптироваться к меняющимся условиям; когда агент затем удаляется из этой виртуальной среды и помещается в новую виртуальную среду с сильным ветром, агент пытается оставаться в вертикальном положении, предполагая, что он научился балансировать в обобщенном виде. Игорь Мордатч из OpenAI утверждает, что конкуренция между агентами может создать интеллектуальную «гонку вооружений», которая может повысить способность агента функционировать, даже вне контекста соревнования.

Игра в дебаты

В 2018 году OpenAI запустила игру в дебаты, которая учит машины обсуждать игрушечные проблемы перед судьей-человеком. Цель состоит в том, чтобы исследовать, может ли такой подход помочь в проверке решений ИИ и в разработке объяснимого ИИ.

Дактиль

Дактил использует машинное обучение для обучения робота Теневой Руки из нуля, используя тот же код алгоритма обучения с подкреплением, который использует OpenAI Five. Рука робота полностью обучена физически неточному моделированию.

Генеративные модели

GPT

Исходная статья о генеративном предварительном обучении (GPT) языковой модели была написана Alec Radford и его коллеги, и опубликовано в препринте на веб-сайте OpenAI 11 июня 2018 г. Оно показало, как генеративная модель языка может приобретать мировые знания и обрабатывать долгосрочные зависимости путем предварительного обучения на разнообразный корпус с длинными последовательностями текста.

GPT-2

Экземпляр GPT-2, записывающий абзац на основе подсказки из этой статьи.

Генеративный предварительно обученный преобразователь 2, широко известный под сокращенной формой GPT-2, является неконтролируемый преобразователь языковая модель и преемник GPT. Впервые GPT-2 был анонсирован в феврале 2019 года, и только ограниченные демонстрационные версии были первоначально выпущены для общественности. Полная версия GPT-2 была выпущена не сразу из-за опасений по поводу возможного неправильного использования, включая приложения для написания фейковых новостей. Некоторые эксперты скептически относятся к тому, что GPT-2 представляет серьезную угрозу. Институт искусственного интеллекта Аллена ответил на GPT-2 инструментом для обнаружения «нейронных фейковых новостей». Другие исследователи, такие как Джереми Ховард, предупредили о «технологии, позволяющей полностью заполнить Твиттер, электронную почту и Интернет разумно звучащей, соответствующей контексту прозой, которая заглушила бы всю остальную речь и была бы невозможной для фильтрации». В ноябре 2019 года OpenAI выпустила полную версию языковой модели GPT-2. На нескольких веб-сайтах проводятся интерактивные демонстрации различных экземпляров GPT-2 и других моделей преобразователей.

Авторы GPT-2 утверждают, что языковые модели без учителя являются универсальными учащимися, что проиллюстрировано GPT-2, достигающим современного состояния. художественная точность и недоумение на 7 из 8 нулевых задач (т.е. модель не была дополнительно обучена на каких-либо конкретных примерах ввода-вывода). Корпус, на котором он был обучен, называемый WebText, содержит чуть более 8 миллионов документов, в общей сложности 40 ГБ текста из URL-адресов, опубликованных в Reddit, с как минимум 3 голосами за. Это позволяет избежать некоторых проблем с кодированием словаря токенами слов за счет использования парного кодирования. Это позволяет представлять любую строку символов путем кодирования как отдельных символов, так и многосимвольных токенов.

GPT-3

Генеративный предварительно обученный преобразователь 3, широко известный под сокращенной формой GPT-3, является неконтролируемой Transformer языковой моделью и преемницей GPT-2. Впервые он был описан в мае 2020 года. OpenAI заявил, что полная версия GPT-3 содержит 175 миллиардов параметров, что на два порядка больше, чем 1,5 миллиарда параметров в полной версии GPT. -2 (хотя были обучены модели GPT-3 всего с 125 миллионами параметров).

OpenAI заявил, что GPT-3 успешно справляется с некоторыми задачами «метаобучения ». Он может обобщать назначение одной пары ввода-вывода. В статье приводится пример обучения переводу и кросс-языковой передаче между английским и румынским, а также между английским и немецким языками.

GPT-3 значительно улучшил результаты тестов по сравнению с GPT-2. OpenAI предупредил, что такое масштабирование языковых моделей может приближаться или сталкиваться с фундаментальными ограничениями возможностей предсказательных языковых моделей. Предварительное обучение GPT-3 требовало вычислений в несколько тысяч петафлоп / с-дней по сравнению с десятками петафлоп / с-дней для полной модели GPT-2. Как и модель своего предшественника, полностью обученная модель GPT-3 не была немедленно опубликована на основании возможных злоупотреблений, хотя OpenAI планировал разрешить доступ через платное облако API после двухмесячного бесплатного частного доступа. бета-версия началась в июне 2020 года.

23 сентября 2020 года GPT-3 была лицензирована исключительно для Microsoft.

Музыка

OpenAI MuseNet (2019) - это глубокая нейронная сеть. net обучен предсказанию последующих музыкальных нот в музыкальных файлах MIDI. Он может создавать песни с помощью десяти различных инструментов в пятнадцати различных стилях. Согласно The Verge, песня, созданная MuseNet, имеет тенденцию начинаться разумно, но затем впадает в хаос, чем дольше она воспроизводится.

Музыкальный автомат OpenAI (2020) - это алгоритм с открытым исходным кодом для создания музыка с вокалом. После обучения на 1,2 миллиона образцов система принимает жанр, исполнителя и фрагмент текста и выводит образцы песен. OpenAI заявил, что песни «демонстрируют местную музыкальную согласованность, следуют традиционным образцам аккордов», но признал, что в песнях отсутствуют «знакомые более крупные музыкальные структуры, такие как повторяющиеся припевы», и что «существует значительный разрыв» между музыкальным автоматом и музыкой, созданной человеком. The Verge заявил: «Технологически это впечатляет, даже если результаты звучат как мягкие версии песен, которые могут показаться знакомыми», в то время как Business Insider заявил, что «удивительно, но некоторые из полученных в результате песен цепляющие и звучат законно». 47>

API

В июне 2020 года OpenAI анонсировала многоцелевой API, который, по его словам, предназначен «для доступа к новым моделям AI, разработанным OpenAI», чтобы разработчики могли обращаться к нему для «любая задача AI на английском языке».

Боты для видеоигр и тесты производительности

OpenAI Five

OpenAI Five - это название команды из пяти ботов, курируемых OpenAI., которые используются в соревновательной видеоигре «пять на пять» Dota 2, которые учатся играть против людей на высоком уровне мастерства исключительно с помощью алгоритмов проб и ошибок. Прежде чем стать командой из пяти человек, первая публичная демонстрация произошла на The International 2017, ежегодном премьерном чемпионате по игре, где Dendi, профессиональный украинский игрок, проиграл боту. в живом матче 1v1. После матча технический директор Грег Брокман объяснил, что бот научился, играя против самого себя в течение двух недель реального времени, и что обучающее программное обеспечение было шагом в направлении создания программного обеспечения, которое может справляться со сложными задачами, такими как хирург. В системе используется форма обучения с подкреплением, так как боты учатся со временем, играя против себя сотни раз в день в течение месяцев, и получают вознаграждение за такие действия, как убийство врага и захват целей на карте.

К июню 2018 года возможности ботов расширились: теперь они могут играть в команде из пяти человек, и они смогли побеждать команды любительских и полупрофессиональных игроков. На The International 2018 OpenAI Five провела два показательных матча против профессиональных игроков, но в итоге проиграла обе игры. В апреле 2019 года OpenAI Five победила OG, действовавших на то время чемпионов мира, со счетом 2: 0 в живом показательном матче в Сан-Франциско. Последнее публичное появление ботов состоялось позже в том же месяце, где они сыграли в 42 729 играх в четырехдневном открытом онлайн-соревновании, выиграв 99,4% этих игр.

GYM Retro

Gym Retro - это платформа для исследования игр с подкреплением. Gym Retro используется для исследования алгоритмов RL и изучения обобщений. Предыдущие исследования RL в основном были сосредоточены на оптимизации агентов для решения отдельных задач. Gym Retro дает возможность делать обобщения между играми с похожими концепциями, но разным внешним видом.

См. Также

Примечания

Ссылки

Внешние ссылки

.

Последняя правка сделана 2021-06-01 12:36:14
Содержание доступно по лицензии CC BY-SA 3.0 (если не указано иное).
Обратная связь: support@alphapedia.ru
Соглашение
О проекте