Компьютерная лицевая анимация - это в первую очередь область компьютерной графики, которая включает в себя методы и приемы создания и анимация изображений или моделей лица персонажа. Персонаж может быть человеком, гуманоидом, животным, легендарным существом или персонажем и т. Д. Из-за предмета и типа вывода он также является связаны со многими другими научными и художественными областями от психологии до традиционной анимации. Важность человеческих лиц в вербальном и невербальном общении и достижения аппаратного обеспечения компьютерной графики и программного обеспечения привели к значительному научному, технологическому и художественные интересы в компьютерной лицевой анимации.
Хотя разработка методов компьютерной графики для лицевой анимации началась в начале 1970-х годов, основные достижения в этой области появились позже и произошли с конца 1980-х годов.
Основная работа над компьютерной лицевой анимацией может быть разделена на две основные области: методы создания данных анимации и методы применения таких данных к персонажу. Такие методы, как захват движения и ключевые кадры, относятся к первой группе, тогда как морфинг нацелен на анимацию (более известную как анимация смешанной формы) и скелетная анимация относятся ко второму. Лицевая анимация стала широко известной и популярной благодаря анимационным фильмам и компьютерным играм, но ее приложения включают в себя гораздо больше областей, таких как общение, образование, научные моделирование и агентские системы (например, представители службы поддержки клиентов онлайн). С недавними достижениями в области вычислительной мощности в персональных и мобильных устройствах лицевая анимация перешла от отображения в предварительно визуализированном контенте к созданию во время выполнения.
Содержание
- 1 История
- 2 Методы
- 2.1 Создание данных лицевой анимации
- 2.2 Применение лицевой анимации к персонажу
- 3 Языки анимации лица
- 4 См. Также
- 5 Ссылки
- 6 Дополнительная литература
- 7 Внешние ссылки
История
Человеческое выражение лица уже более ста лет является предметом научных исследований. Изучение движений и выражений лица началось с биологической точки зрения. После некоторых более ранних исследований, например, Джона Булвера в конце 1640-х годов, книгу Чарльза Дарвина «Выражение эмоций у людей и животных» можно считать серьезным отклонением от современных исследований. в поведенческой биологии.
Компьютерное моделирование выражения лица и анимация - не новое дело. Самая ранняя работа с компьютерным изображением лица была сделана в начале 1970-х годов. Первую трехмерную лицевую анимацию создал Парк в 1972 году. В 1973 году Гилленсон разработал интерактивную систему для сборки и редактирования линейных изображений лиц. В 1974 г. Парк разработал параметризованную трехмерную модель лица.
Одной из наиболее важных попыток описания движений лица была Система кодирования движений лица (FACS). Первоначально разработанный Карлом-Херманом Хьортсйо в 1960-х годах и обновленный Экманом и Фризеном в 1978 году, FACS определяет 46 основных единиц действия на лице (AU). Основная группа этих единиц действия представляет примитивные движения лицевых мышц в таких действиях, как поднятие бровей, подмигивание и разговор. Восемь AU предназначены для жестких трехмерных движений головы (т.е.поворот и наклон влево и вправо, подъем вверх, вниз, вперед и назад). FACS успешно использовалась для описания желаемых движений синтетических лиц, а также для отслеживания лицевой активности.
В начале 1980-х годов Платт разработал первую физически основанную модель лица, управляемую мышцами, а Бреннан - технику карикатур на лице. В 1985 году короткометражный анимационный фильм Тони де Пелтри стал вехой в лицевой анимации. Это был первый раз, когда компьютерное выражение лица и речевая анимация стали фундаментальной частью рассказа.
В конце 1980-х годов Уотерс разработал новую мышечную модель, а Магненат-Талманн и его коллеги разработали абстрактную модель мышечного действия, и подходы к автоматической синхронизации речи Льюиса и Хилла. В 1990-х годах наблюдается рост активности в разработке методов лицевой анимации и использовании компьютерной лицевой анимации в качестве ключевого компонента повествования, что показано в таких анимационных фильмах, как История игрушек (1995), Antz (1998), Шрек и Monsters, Inc. (оба 2001 года), а также компьютерные игры, такие как Sims. Каспер (1995), важный этап в этом десятилетии, был первым фильмом, в котором главная роль была снята исключительно с использованием цифровой лицевой анимации.
Сложность фильмов возросла после 2000 года. В The Matrix Reloaded и The Matrix Revolutions плотный оптический поток из нескольких изображений высокой четкости камеры использовались для захвата реалистичного движения лица в каждой точке лица. Polar Express (фильм) использовал большую систему Vicon для захвата более 150 точек. Несмотря на то, что эти системы автоматизированы, для того, чтобы данные можно было использовать, все же требуется большой объем ручной очистки. Еще одна веха в лицевой анимации была достигнута с помощью «Властелина колец», где была разработана базовая система форм для конкретных персонажей. Марк Сагар был пионером в использовании FACS в развлекательной лицевой анимации, а системы на основе FACS, разработанные Сагаром, использовались в Monster House, King Kong и других фильмах.
Методы
Создание данных лицевой анимации
К генерации данных лицевой анимации можно подойти по-разному: 1.) захват движения на основе маркеров на точках или отметках на лице исполнителя, 2.) безмаркерной съемки движения с использованием различных типов камер, 3.) аудио-управляемой техники, и 4.) ключевого кадра анимации.
- При захвате движения используются камеры, расположенные вокруг объекта. Обычно объект снабжен либо отражателями (пассивный захват движения), либо источниками (активный захват движения), которые точно определяют положение объекта в пространстве. Данные, записанные камерами, затем оцифровываются и преобразуются в трехмерную компьютерную модель объекта. До недавнего времени размер детекторов / источников, используемых системами захвата движения, делал эту технологию непригодной для захвата лиц. Однако миниатюризация и другие достижения сделали захват движения жизнеспособным инструментом компьютерной лицевой анимации. Захват движения лица широко использовался в Polar Express компанией Imageworks, где были захвачены сотни точек движения. Этот фильм был очень успешным, и хотя он пытался воссоздать реализм, его критиковали за то, что он попал в «зловещую долину », область, где анимационного реализма достаточно для человеческого признания и для передачи эмоционального послания, но где персонажи не воспринимаются как реалистичные. Основные трудности захвата движения заключаются в качестве данных, которые могут включать вибрацию, а также перенацеливание геометрии точек.
- Захват движения без маркеров направлен на упрощение процесса захвата движения, избегая обременения исполнитель с маркерами. Недавно появилось несколько технологий с использованием различных датчиков, среди которых стандартные видеокамеры, Kinect и датчики глубины или другие устройства на основе структурированного света. Системы, основанные на структурированном свете, могут работать в реальном времени без использования каких-либо маркеров с использованием высокоскоростного сканера структурированного света. Система основана на надежном этапе отслеживания лица в автономном режиме, который обучает систему различным выражениям лица. Согласованные последовательности используются для построения индивидуальной линейной модели лица, которая впоследствии используется для онлайн-отслеживания лица и передачи выражения.
- Управляемые звуком методы особенно хорошо подходят для речевой анимации. Речь обычно обрабатывается иначе, чем анимация выражений лица, потому что простые подходы к анимации на основе ключевых кадров обычно плохо соответствуют реальной динамике речи. Часто виземы используются для представления ключевых поз в наблюдаемой речи (т. Е. Положение губ, челюсти и языка при воспроизведении определенной фонемы ), однако существует множество вариаций в реализации визем при производстве естественной речи. Источник этой вариации называется коартикуляция, которая представляет собой влияние окружающих визем на текущую визему (то есть эффект контекста). Для учета коартикуляции текущие системы либо явно принимают во внимание контекст при смешивании ключевых кадров висемы, либо используют более длинные единицы, такие как дифон, трифон, слог или даже слово и предложение - единицы длины. Одним из наиболее распространенных подходов к речевой анимации является использование функций доминирования, введенных Коэном и Массаро. Каждая функция доминирования представляет собой влияние висемы на речевое высказывание во времени. Обычно влияние будет наибольшим в центре виземы и будет ухудшаться по мере удаления от центра виземы. Функции доминирования объединяются вместе для создания речевой траектории во многом так же, как базовые функции сплайн объединяются вместе для создания кривой. Форма каждой функции доминирования будет разной в зависимости от того, какую визему она представляет, и от того, какой аспект лица контролируется (например, ширина губ, поворот челюсти и т. Д.). Этот подход к компьютерной анимации речи можно увидеть в говорящей голове Балди. Другие модели речи используют базовые единицы, которые включают контекст (например, дифоны, трифоны и т. Д.) Вместо визем. Поскольку базовые единицы уже включают вариации каждой виземы в соответствии с контекстом и до некоторой степени динамику каждой виземы, модель коартикуляции не требуется. Речь просто генерируется путем выбора подходящих единиц из базы данных и объединения единиц вместе. Это похоже на конкатенативные методы в аудио синтезе речи. Недостатком этих моделей является то, что для получения естественных результатов требуется большой объем собранных данных, и хотя более длинные блоки дают более естественные результаты, размер необходимой базы данных увеличивается со средней длиной каждого блока. Наконец, некоторые модели напрямую генерируют речевую анимацию из звука. Эти системы обычно используют скрытые марковские модели или нейронные сети для преобразования параметров звука в поток параметров управления для модели лица. Достоинством этого метода является возможность обработки голосового контекста, естественного ритма, темпа, эмоциональной и динамической обработки без сложных алгоритмов аппроксимации. Обучающую базу данных не нужно маркировать, так как не нужны ни фонемы, ни виземы; единственными необходимыми данными являются голос и параметры анимации.
- Ключевой кадр анимация является наименее автоматизированным из процессов создания данных анимации, хотя он обеспечивает максимальный контроль над анимацией. Его часто используют в сочетании с другими техниками для окончательной полировки анимации. Данные ключевого кадра могут состоять из скалярных значений, определяющих коэффициенты целей морфинга или значения поворота и перемещения костей в моделях с оснасткой на основе кости. Часто для ускорения процесса анимации ключевого кадра анимация использует контрольную установку. Управляющая установка представляет собой более высокий уровень абстракции, который может одновременно воздействовать на несколько целей морфинга или костей. Например, элемент управления «улыбка» может одновременно воздействовать на изгибающуюся вверх форму рта и прищуренные глаза.
Применение лицевой анимации к персонажу
Основные методы, используемые для применения лицевой анимации к персонажу: 1.) морфинг целевой анимации, 2.) анимация, управляемая костями, 3.) анимация на основе текстуры (2D или 3D), и 4.) физиологическая модели.
- Системы на основе целей морфинга (также называемые «blendshapes» ) предлагают быстрое воспроизведение, а также высокую степень точности выражений. Техника включает моделирование частей сетки лица для приблизительного выражения выражений и визем, а затем смешивание различных подсетей, известных как цели морфинга или формы наложения. Возможно, наиболее опытным персонажем, использующим эту технику, был Голлум из «Властелина колец». Недостатки этой техники в том, что они требуют интенсивного ручного труда и индивидуальны для каждого персонажа. В последнее время начали появляться новые концепции в 3D-моделировании. В последнее время начинает появляться новая технология, отходящая от традиционных методов, например, которая подчеркивает моделирование движения 3D-объекта вместо традиционного моделирования статической формы.
- Анимация, управляемая костями очень широко используется в играх. Расположение костей может варьироваться от нескольких костей до почти сотни, чтобы обеспечить все тонкие выражения лица. Основное преимущество анимации, управляемой костями, заключается в том, что одну и ту же анимацию можно использовать для разных персонажей, если морфология их лиц одинакова, и, во-вторых, они не требуют загрузки в память всех данных целей морфинга. Анимация, управляемая костями, наиболее широко поддерживается игровыми движками 3D. Анимация, управляемая костями, может использоваться как в 2D, так и в 3D. Например, можно оснастить и анимировать с помощью костей 2D-персонажа с помощью Adobe Flash.
Скриншот из короткометражного анимационного фильма «Кара» Quantic Dream
- Текстурная анимация использует цвет пикселей для создания анимация на лице персонажа. Двухмерная лицевая анимация обычно основана на преобразовании изображений, включая изображения из неподвижной фотографии и последовательности видео. Морфинг изображения - это метод, который позволяет создавать промежуточные переходные изображения между парой целевых неподвижных изображений или между кадрами из последовательностей видео. Эти методы морфинга обычно состоят из комбинации метода геометрической деформации, который выравнивает целевые изображения, и перекрестного перехода, который создает плавный переход в текстуре изображения. Ранний пример преобразования изображения можно увидеть в видео Майкла Джексона на "Black Or White". В 3D-анимации анимация на основе текстуры может быть достигнута путем анимации самой текстуры или отображения UV. В последнем случае создается карта текстуры всего выражения лица, и анимация UV-карты используется для перехода от одного выражения к другому.
- Физиологические модели, такие как системы скелетных мышц и физически обоснованные модели головы, образуют другой подход к моделированию головы и лица. Здесь имитируются физические и анатомические характеристики костей, тканей и кожи для обеспечения реалистичного внешнего вида (например, пружинного эластичность). Такие методы могут быть очень мощными для создания реализма, но сложность структур лица делает их дорогими в вычислительном отношении и трудными для создания. Принимая во внимание эффективность параметризованных моделей для коммуникативных целей (как объясняется в следующем разделе), можно утверждать, что физически обоснованные модели не являются очень эффективным выбором для многих приложений. Это не отрицает преимуществ физически основанных моделей и того факта, что их можно использовать даже в контексте параметризованных моделей для предоставления локальных деталей при необходимости.
Языки анимации лиц
Используются многие языки анимации лиц для описания содержания лицевой анимации. Их можно ввести в совместимое программное обеспечение «проигрыватель» , которое затем создает запрошенные действия. Языки анимации лиц тесно связаны с другими мультимедийными языками представления, такими как SMIL и VRML. Из-за популярности и эффективности XML как механизма представления данных большинство языков анимации лиц основаны на XML. Например, это отрывок из Virtual Human Markup Language (VHML):
Сначала я говорю сердитым голосом и выгляжу очень сердитым, , но внезапно я становлюсь более удивленным.
Более продвинутые языки позволяют принимать решения, обрабатывать события, а также выполнять параллельные и последовательные действия. Язык моделирования лиц (FML) - это язык на основе XML для описания лица анимации. FML поддерживает MPEG-4 Параметры анимации лица (FAPS), принятие решений и динамическую обработку событий, а также типичные программные конструкции, такие как петли. Это часть системы iFACE. Ниже приведен пример из FML:
См. Также
Портал анимации
Ссылки
Дополнительная литература
- Компьютерная анимация лица Фредерика И. Парка, Кейт Уотерс 2008 ISBN 1-56881-448-8
- Управляемая данными трехмерная лицевая анимация. Автор: Чжиган Дэн, Ульрих Нойман, 2007 ISBN 1-84628-906-8
- Справочник виртуальных людей, Надия Магненат-Тальманн и Даниэль Тальманн, 2004 г. ISBN 0-470-02316-3
- Осипа, Джейсон (2005). Не смотреть: моделирование лица и анимация сделаны правильно (2-е изд.). Джон Вили и сыновья. ISBN 978-0-471-78920-8.
Внешние ссылки
Скриншот из короткометражного анимационного фильма «Кара» Quantic Dream 
Портал анимации 