В этой системе
анимации морфинга четыре «выражения» были определены как деформации геометрии модели. Любую комбинацию этих четырех выражений можно использовать для анимации формы рта. Подобные элементы управления могут применяться для анимации всей модели, похожей на человека.
Синтез человеческого изображения - это технология, которая может применяться для создания правдоподобных и даже фотореалистичных изображений человеческих образов, движущихся или неподвижных. Фактически он существует с начала 2000-х годов. Во многих фильмах, использующих компьютерные образы, были представлены синтетические изображения человекоподобных персонажей, в цифровой форме наложенные на реальный или другой смоделированный киноматериал. К концу 2010-х годов искусственный интеллект с глубоким обучением был применен для синтеза изображений и видео, похожих на людей, без помощи человека, после завершения фазы обучения, тогда как старый школьный 7D-маршрут требовал огромного количества человеческой работы..
СОДЕРЖАНИЕ
- 1 Хронология синтеза человеческих изображений
- 2 Ключевой прорыв в фотореализме: захват отражения
- 3 Захват
- 4 Синтез
- 5 подход к машинному обучению
- 6 приложений
- 7 Связанные вопросы
- 8 См. Также
- 9 ссылки
Хронология синтеза человеческих изображений
Основные статьи:
История компьютерной анимации и
Хронология компьютерной анимации в кино и на телевидении - В 1971 году Анри Гуро сделал первый захват геометрической компьютерной графики и изображение человеческого лица. Моделером была его жена Сильви Гуро. Трехмерная модель была простой каркасной моделью, и он применил шейдер Гуро, которым он наиболее известен, для создания первого известного представления человеческого подобия на компьютере (просмотр изображений).
- 1972 короткометражки Компьютер Animated Hand по Кэтмеллам и Фред Parke была первый раз, генерируемый компьютер изображение было использовано в фильме для имитации перемещения внешнего вида человека. В фильме были изображены рука и лицо, смоделированные на компьютере (см. Фильм здесь).
- В фильме 1976 года « Мир будущего» на большом экране повторно использовались части « Компьютерной анимированной руки».
- 1983 музыкальное видео для песни Musique Non-Stop от немецкой группы Kraftwerk вышла в эфир в 1986 году, созданный художником Ребекка Аллен, это показывает, не реалистично, но четко узнаваемые компьютерное моделирование членов группы.
- Фильм 1994 года «Ворона» был первым фильмом, в котором использовалось цифровое наложение компьютерно смоделированного изображения лица на сцены, снятые с использованием дублера. Необходимость была музой, поскольку актер Брэндон Ли, изображавший главного героя, трагически погиб, случайно на сцене.
- В 1999 г. Пол Дебевек и др. из USC запечатлели поле отражения человеческого лица с помощью своей первой версии световой сцены. Они представили свой метод на выставке SIGGRAPH 2000.
BRDF в сравнении с подповерхностным рассеянием, включая BSSRDF, т.е.
функция распределения двунаправленного
рассеяния-поверхностного отражения - В 2003 году зрители дебютировали в фотореалистичных образах людей в фильмах 2003 года «Матрица: перезагрузка» в эпизоде бурной драки, где до 100 агентов Смита сражаются с Нео, и в «Матричных революциях», где в начале финального поединка ударили по скуле Агента Смита. in by Neo, оставив цифровой двойник неестественно невредимым. Бонусный DVD-диск Matrix Revolutions подробно описывает процесс и используемые методы, включая захват движений лица и лимбальных движений, а также проекцию на модели.
- В 2003 году The Animatrix: Final Flight of the Osiris представляет собой ультрасовременное человеческое подобие, не совсем обманывающее наблюдателя, созданное Square Pictures.
- В 2003 году компания Sony Pictures Imageworks сделала цифровое подобие Тоби Магуайра для фильмов « Человек-паук 2» и « Человек-паук 3 ».
- В 2005 году был основан проект « Лицо будущего ». в университете Сент - Эндрюс и Perception Lab, финансируемого EPSRC. Веб-сайт содержит «Трансформатор лица», который позволяет пользователям преобразовывать свое лицо в лицо любой национальности и возраста, а также возможность превращать свое лицо в картину (в стиле Сандро Боттичелли или Амедео Модильяни ). Этот процесс достигается за счет совмещения фотографии пользователя со средним лицом.
- В 2009 году Debevec et al. представила новые цифровые образы, сделанные Image Metrics, на этот раз актрисы Эмили О'Брайен, отражательная способность которой была зафиксирована с помощью светового потока USC 5. Движение выглядит довольно убедительно по сравнению с неуклюжим ходом в Animatrix: Final Flight of the Osiris, который был государственным передовой в 2003 году, если фотореализм был намерением аниматоров.
- В 2009 году был создан цифровой двойник молодого Арнольда Шварценеггера для фильма « Спасение Терминатора», хотя конечный результат был раскритикован как неубедительный. Геометрия лица была взята из слепка Шварценеггера 1984 года.
- В 2010 году компания Walt Disney Pictures выпустила научно-фантастическое продолжение под названием « Трон: Наследие» с обновленным цифровым аналогом актера Джеффа Бриджеса, играющего антагониста CLU.
- В SIGGGRAPH 2013 Activision и USC представили «Цифровую Ира» в реальном времени - цифровое лицо, похожее на Ари Шапиро, ученого-исследователя в области ИКТ USC, использующее световую стадию X USC от Ghosh et al. как для поля отражения, так и для захвата движения. Конечный результат как предварительно вычисленного, так и рендеринга в реальном времени с использованием самого современного игрового графического процессора, показанного здесь, выглядит довольно реалистично.
- В 2014 году «Президентский портрет», созданный USC ICT совместно со Смитсоновским институтом, был сделан с использованием новейшей мобильной световой сцены USC, на которой президент Барак Обама запечатлел свою геометрию, текстуры и отражательную способность.
- В 2014 году Ян Гудфеллоу и др. представил принципы генеративной состязательной сети. GAN попали в заголовки газет в начале 2018 года из-за споров о дипфейках.
- Для фильма 2015 года « Форсаж 7» цифровой двойник актера Пола Уокера, погибшего в результате несчастного случая во время съемок, был сделан Weta Digital, чтобы обеспечить возможность завершения фильма.
- В 2016 году методы, которые позволяют практически в реальном времени с подделками из мимики в существующих 2D видео было правдоподобно продемонстрировано.
- В 2016 году для фильма « Изгой-один» был создан цифровой двойник Питера Кушинга, в котором он выглядел того же возраста, что и актер во время съемок оригинального фильма « Звездные войны» 1977 года.
- На выставке SIGGRAPH 2017 исследователи из Вашингтонского университета представили цифровую копию верхней части туловища Барака Обамы, управляемую звуком. (просмотр) Он управлялся только голосовой дорожкой в качестве исходных данных для анимации после завершения фазы обучения, чтобы получить синхронизацию губ и более широкую информацию о лице из учебного материала, состоящего из 2D-видео со звуком.
- В конце 2017 - начале 2018 года всплыли споры о дипфейках, когда порно-видео были подделаны с использованием глубокого машинного обучения, так что лицо актрисы было заменено мнением программного обеспечения о том, как будет выглядеть лицо другого человека в той же позе и освещении.
- В 2018 году GDC Epic Games и Tencent Games продемонстрировали «Сирену», цифровую копию актрисы Бинджи Цзян. Это стало возможным с помощью следующих технологий: CubicMotion «s компьютерное зрение системы, 3Lateral » такелаж лицевой системы s и Vicon система захвата движения «s. Демонстрация проходила практически в реальном времени со скоростью 60 кадров в секунду в Unreal Engine 4.
- В 2018 году на Всемирной конференции Интернет в Wuzhen Агентство Синьхуа представила два цифровых двойники, сделанные в сходстве его реальные новости якорей Цю Хао (китайский язык) и Чжан Чжао (английский язык). Цифровые двойники были созданы совместно с Sogou. Ни синтез речи, ни жесты цифровых якорей-двойников не были достаточно хороши, чтобы обмануть наблюдателя и принять их за реальных людей, изображенных телекамерой.
- В сентябре 2018 года Google добавил «непроизвольные синтетические порнографические изображения» в свой список запретов, позволяя любому запрашивать результаты блокировки поисковой системы, которые ложно изображают их как «обнаженные или в откровенно сексуальной ситуации».
- В феврале 2019 года Nvidia открыла исходный код StyleGAN, новой генеративной состязательной сети. Сразу после этого Филипп Ван создал сайт ThisPersonDoesNotExist.com со StyleGAN, чтобы продемонстрировать, что неограниченное количество часто фотореалистичных портретов лиц людей может быть создано автоматически с помощью GAN. StyleGAN от Nvidia был представлен в еще не рецензируемой статье в конце 2018 года.
- На июньской конференции CVPR 2019 года Массачусетский технологический институт CSAIL представил систему под названием «Speecdiv class="ht"Face: изучение лица за голосом», которая синтезирует вероятные лица на основе простой записи голоса. Он был обучен огромным количеством видео говорящих людей.
- С 1 июля 2019 года Вирджиния ввела уголовную ответственность за продажу и распространение неразрешенной синтетической порнографии, но не за ее изготовление, в соответствии с § 18.2–386.2, озаглавленным «Незаконное распространение или продажа изображений другого лица; штраф ». стал частью Кодекса Вирджинии. В законе текст гласит: " Любое лицо, которое с намерением, чтобы принуждать, харас или запугивать, злонамеренно распространяет или продает любые Видеографические или неподвижные изображения, созданные с помощью любых средств, что изображает другой человек, который полностью обнаженный, или в состоянии раздеться так, чтобы обнажить половые органы, лобок, ягодицы или женская грудь, где такой человек знает или имеет основания знать, что он не лицензирован или уполномочен распространять или продавать такие Видеографический или неподвижное изображение виновным класса 1 проступка. ". Одинаковые счета были дома Билл 2678, представленный делегатом Marcus Симона в Вирджинии Палаты делегатов от 14 января 2019 года и три дня спустя идентичная Сенат законопроект 1736 был внесен в Сенат Вирджинии сенатор Адам Эббин.
- С 1 сентября 2019 года вступил в силу законопроект сената Техаса SB 751 о поправках к избирательному кодексу, согласно которым кандидатам на выборах предоставляется 30-дневный период защиты от выборов, в течение которого создание и распространение цифровых двойников или синтетических подделок кандидатов является правонарушением. В тексте закона субъект закона определяется как « видеоролик, созданный с целью обмана, на котором изображено реальное лицо, выполняющее действие, которого не было на самом деле ».
- В сентябре 2019 года финская государственная телерадиокомпания Yle представила результаты экспериментальной журналистики - дипфейк действующего президента Саули Ниинистё в своей основной новостной передаче с целью освещения передовых технологий дезинформации и связанных с ними проблем.
- 1 января 2020 года в Калифорнии вступил в силу закон штата AB-602, запрещающий производство и распространение синтетической порнографии без согласия изображенных людей. AB-602 предоставляет жертвам синтетической порнографии судебный запрет и представляет собой юридическую угрозу в виде законодательной и штрафной компенсации преступникам, создающим или распространяющим синтетическую порнографию без согласия. Законопроект AB-602 был подписан губернатором Калифорнии Гэвином Ньюсомом 3 октября 2019 года и был автором члена Ассамблеи штата Калифорния Марка Бермана.
- 1 января 2020 года вступил в силу китайский закон, требующий, чтобы на синтетически фальшивых кадрах было четко указано, что это фальшивка. Невыполнение требований может рассматриваться как преступление, о котором Администрация киберпространства Китая сообщила на своем веб-сайте. Китай объявил об этом новом законе в ноябре 2019 года. Китайское правительство, похоже, оставляет за собой право преследовать как пользователей, так и онлайн-видеоплатформы, не соблюдающие правила.
Ключевой прорыв в фотореализме: захват отражения
ESPER LightCage - это пример
сферической световой сцены с
многокамерной установкой вокруг сферы, пригодной для захвата в 7D-модель отражательной способности.
В 1999 г. Пол Дебевек и др. из USC сделали первый известный снимок отражательной способности человеческого лица с их чрезвычайно простой световой сценой. Они представили свой метод и результаты в SIGGRAPH 2000.
Функция распределения двунаправленного
рассеяния (BSDF) для подобия кожи человека требует как
BRDF, так и специального случая BTDF, когда
свет входит в кожу, передается и выходит из кожи.
Научный прорыв потребовал обнаружения подповерхностного светового компонента (имитационные модели слегка светятся изнутри), который можно найти, зная, что свет, отраженный от слоя нефти и воздуха, сохраняет свою поляризацию, а подповерхностный свет теряет поляризацию. Таким образом, он оснащен только подвижным источником света, подвижной видеокамерой, двумя поляризаторами и компьютерной программой, выполняющей чрезвычайно простую математику, и последняя деталь, необходимая для достижения фотореализма, была получена.
Для получения правдоподобного результата и свет, отраженный от кожи ( BRDF ) и внутри кожи (частный случай BTDF ), которые вместе составляют BSDF, должны быть захвачены и смоделированы.
Захватывать
Ручной
трехмерный сканер.
- Трехмерная геометрия и текстуры переносятся на трехмерную модель с помощью метода трехмерной реконструкции, такого как выборка цели с помощью трехмерного сканирования с помощью сканера RGB XYZ, такого как Arius3d или Cyberware (текстуры с фотографий, а не только сканера RGB XYZ), стереофотограмметрически. из синхронизированных фотографий или даже из достаточно повторяющихся неодновременных фотографий. Цифровое моделирование можно использовать для создания моделей частей тела, для которых невозможно получить данные, например, частей тела, покрытых одеждой.
- Для получения достоверных результатов также необходимо захватить поле отражательной способности или выбрать приближение из библиотек, чтобы сформировать 7D модель отражательной способности цели.
Синтез
Весь процесс создания цифровых двойников т.е. символы настолько реалистично и реалистично, что они могут быть переданы от как картины человека является очень сложной задачей, поскольку это требует photorealistically моделирования, анимации, кросс-отображение и рендеринг в мягкие динамики тела из человеческий облик.
Синтез с действующим лицом и подходящими алгоритмами применяется с использованием мощных компьютеров. Роль актера в синтезе состоит в том, чтобы имитировать человеческие выражения при синтезе неподвижного изображения, а также человеческое движение при синтезе кинофильма. Алгоритмы необходимы для моделирования законов физики и физиологии и для сопоставления моделей и их внешнего вида, движений и взаимодействия соответственно.
Часто в части синтеза используются моделирование и рендеринг как на основе физики / физиологии (т.е. скелетная анимация ), так и на основе изображений. Гибридные модели, использующие оба подхода, показали наилучшие результаты с точки зрения реалистичности и простоты использования. Целевая анимация морфинга снижает рабочую нагрузку, предоставляя более высокий уровень управления, где различные выражения лица определяются как деформации модели, а выражение лица позволяет интуитивно настраивать выражения. Затем анимация цели морфинга может преобразовывать модель между различными определенными выражениями лица или позами тела без особого вмешательства человека.
Использование карты смещения играет важную роль в получении реалистичного результата с мелкими деталями кожи, такими как поры и морщины размером до 100 мкм.
Подход машинного обучения
В конце 2010-х годов NVIDIA использовала машинное обучение, а точнее генеративные состязательные сети (GAN), для создания случайных, но фотореалистичных портретов, похожих на людей. Система под названием StyleGAN была обучена на базе данных из 70 000 изображений с веб-сайта хранилища изображений Flickr. Исходный код был опубликован на GitHub в 2019 году. Выходные данные сети генератора из случайных входных данных были общедоступны на ряде веб-сайтов.
Аналогично, так как 2018, deepfake технология позволила GANS на грани своп между субъектами; Таким образом, в сочетании с возможностью подделывать голоса GAN могут создавать поддельные видеоролики, которые кажутся убедительными.
Приложения
Основные приложения относятся к области стоковой фотографии, синтетических наборов данных, виртуальной кинематографии, компьютерных и видеоигр и скрытых дезинформационных атак.
Кроме того, некоторые исследования показывают, что это может иметь терапевтический эффект, поскольку « психологи и консультанты также начали использовать аватары для оказания терапии клиентам, имеющим фобии, травмы в анамнезе, зависимости, синдром Аспергера или социальную тревогу ». Эффект сильного отпечатка памяти и активации мозга, вызванный просмотром вашего цифрового двойного аватара, получил название эффекта Доппельгангера. Эффект двойника может лечить, когда скрытая дезинформационная атака подвергается атаке как таковая.
Связанные вопросы
Синтеза речи была доходящей быть полностью неотличимы от записи голоса реального человека со времени 2016 года внедрение голосового редактирования и программного обеспечения генерации Adobe VOCO, прототип намечен, чтобы быть частью Adobe Creative Suite и DeepMind WaveNet, прототип от Google. Возможность воровать и манипулировать голосами других людей вызывает очевидные этические проблемы.
На конференции по системам обработки нейронной информации (NeurIPS) 2018 года исследователи из Google представили работу «Перенос обучения от проверки говорящего на синтез речи с несколькими дикторами», которая переносит обучение от проверки говорящего на синтез текста в речь. можно заставить звучать почти как любой из 5-секундного фрагмента речи (слушайте).
Использование изображений для обучения ИИ поднимает вопрос о конфиденциальности, поскольку люди, которых используют для обучения, не давали на это согласия.
Цифровые звуковые технологии попали в руки преступников, поскольку в 2019 году исследователям Symantec было известно о трех случаях использования технологий в преступных целях.
Это в сочетании с тем, что (по состоянию на 2016 г.) методов, которые позволяют практически в реальном времени с подделками из мимики в существующих 2D видео было правдоподобно продемонстрированной Увеличивает нагрузку на ситуации дезинформации.
Смотрите также
использованная литература
