Войти
Объемное видео - это метод, позволяющий снимать трехмерное пространство, например расположение или производительность. Этот тип волюмографии собирает данные, которые можно просматривать на плоских экранах, а также использовать 3D-дисплеи и очки VR. Форматы, ориентированные на потребителя, многочисленны, и требуемые методы захвата движения опираются на компьютерную графику, фотограмметрию и другие методы, основанные на вычислениях. Зритель обычно видит результат в движке реального времени и имеет непосредственный вклад в исследование созданного объема.
Записывать таланты без ограничения плоский экран изображался в фантастике давно. Голограммы и трехмерное изображение реального мира на протяжении многих лет занимали видное место в Звездных войнах, Бегущий по лезвию и многих других научно-фантастических произведениях. Благодаря растущему прогрессу в области компьютерной графики, оптики и обработки данных эта фантастика постепенно превратилась в реальность. Объемное видео - это следующий логический шаг после стереоскопических фильмов и видео в формате 360 °, поскольку он сочетает в себе визуальное качество фотографии с погружением и интерактивностью пространственного контента и может оказаться наиболее важным достижением в записи видео. человеческое исполнение с момента создания современного кино. Первый отчет о рынке объемного видео вышел в мае 2018 года, а первая онлайн-публикация, посвященная объемному видео, вышла в ноябре 2019 года - «Новости объемного видео ».
Создание 3D-моделей из видео, фотография и другие способы измерения мира всегда были важной темой компьютерной графики. Конечная цель - имитировать реальность в мельчайших деталях, давая творцам возможность строить на этом фундаменте миры, соответствующие их видению. Традиционно художники создают эти миры, используя методы моделирования и рендеринга, разработанные за десятилетия с момента зарождения компьютерной графики. Визуальные эффекты в фильмах и видеоиграх проложили путь к прогрессу в фотограмметрии, сканирующих устройствах и вычислительной базе для обработки данных, полученных с помощью этих новых интенсивных методов. Как правило, эти достижения стали результатом создания более продвинутых визуальных эффектов для развлечений и СМИ, но не были целью самой области.
Leica HDS-3000 LIDAR LIDAR сканирование описывает метод съемки, который использует точки с лазерной выборкой, плотно упакованные для сканирования статических объектов в облако точек. Для этого требуются физические сканеры, и они выдают огромные объемы данных. В 2007 году группа Radiohead широко использовала его для создания музыкального видеоклипа на «Карточный домик», запечатлевая исполнение облака точек на лице певца и избранных средах в одном из первых применений этой технологии для объемного захвата. Режиссер Джеймс Фрост сотрудничал с медиа-художником Аароном Коблином, чтобы запечатлеть трехмерные облака точек, использованные для этого музыкального клипа, и хотя окончательный результат этой работы все еще был визуализированным плоским представлением данных, захват и образ мышления авторов уже опередили свое время. Облака точек, представляющие собой отдельные образцы трехмерного пространства с указанием положения и цвета, создают высокоточное представление реального мира с огромным объемом данных. Однако просмотреть эти данные в режиме реального времени еще не было возможности.
Xbox One's Kinect В 2010 году Microsoft вывела на рынок Kinect, потребительский продукт, в котором использовался структурированный свет в инфракрасном спектре. чтобы создать 3D-сетку из своей камеры. Хотя целью было облегчить и внедрить инновации в пользовательский ввод и игровой процесс, это было очень быстро адаптировано в качестве универсального устройства для захвата 3D-данных в сообществе объемного захвата. Путем проецирования известного рисунка на пространство и улавливания искажений объектами сцены полученный результат можно затем вычислить для получения различных выходных данных. Художники и любители начали создавать инструменты и проекты на основе доступного устройства, что вызвало растущий интерес к объемному захвату как к творческой среде.
Затем исследователи из Microsoft сконструировали целую сцену захвата с использованием нескольких камер, устройств Kinect и алгоритмов, которые генерировали полный объемный захват из объединенной оптической информации и информации о глубине. Теперь это Microsoft Mixed Reality Capture Studio, которая сегодня используется как часть их исследовательского подразделения, так и в некоторых избранных коммерческих проектах, таких как Blade Runner 2049 VR. В настоящее время действуют три студии: Редмонд, Вашингтон; Сан-Франциско, Калифорния, и Лондон, Англия. Несмотря на то, что это остается очень интересным вариантом для рынка высокого класса, доступная цена одного устройства Kinect побудила больше художников-экспериментаторов и независимых директоров проявить активность в области объемного захвата. Два результата этого действия: Depthkit и EF EVE ™. EF EVE ™ поддерживает один или два датчика на одном ПК, обеспечивая полный объемный захват с простой настройкой. Он также имеет автоматическую калибровку датчиков и функцию VFX. Depthkit - это программный пакет, который позволяет собирать геометрические данные с помощью одного структурированного светового датчика, включая Azure Kinect, а также получать высококачественные цветовые детали с подключенной следящей камеры.
3D-анимация Фотограмметрия описывает процесс измерения данных на основе фотографической ссылки. Будучи таким же старым, как сама фотография, только благодаря многолетнему прогрессу в исследованиях объемного захвата теперь стало возможным захватывать все больше и больше геометрических и текстурных деталей из большого количества входных изображений. Результат обычно разделяется на два составных источника: статическая геометрия и полный захват производительности. Для статической геометрии наборы, захваченные с большим количеством перекрывающихся цифровых изображений, затем выравниваются друг с другом с использованием аналогичных функций в изображениях и используются в качестве основы для триангуляции и оценки глубины. Эта информация интерпретируется как 3D геометрия, в результате чего получается почти идеальная копия набора. Однако при захвате с полной производительностью используется массив видеокамер для захвата информации в реальном времени. Эти синхронизированные камеры затем используются покадрово для создания набора точек или геометрии, которые можно воспроизводить на высокой скорости, что приводит к полному захвату объемных характеристик, который можно объединить в любую среду. В 2008 году компания 4DViews установила первую систему видеозахвата в студии DigiCast в Токио (Япония). Позже в 2015 году 8i внес свой вклад в эту область, а недавно Intel, Microsoft и Samsung присоединились к ним, создав свои собственные этапы захвата для захвата производительности и фотограмметрии.
Гарнитура виртуальной реальности Поскольку объемное видео превратилось в коммерчески применимый подход к захвату окружающей среды и производительности, возможность перемещаться по результатам с шестью степенями свободы и истинной стереоскопией потребовала нового тип устройства отображения. С ростом популярности виртуальной реальности, ориентированной на потребителей, в 2016 году благодаря таким устройствам, как Oculus Rift и HTC Vive, это стало неожиданно возможным. Стереоскопический обзор и возможность вращать и двигать головой, а также перемещаться в небольшом пространстве позволяют погрузиться в среду, намного превосходящую то, что было возможно в прошлом. Фотографический характер снимков в сочетании с этим погружением и получаемой интерактивностью - это еще один гигантский шаг к тому, чтобы стать святым Граалем настоящей виртуальной реальности. С появлением 360-градусного видеоконтента растет спрос на захват 6-DOF, и VR, в частности, стимулирует приложения для этой технологии, постепенно объединяя кино, игры и искусство с областью исследований объемного захвата..
Lytro Illum Camera, камера светового поля второго поколения. Световые поля описывают в заданной точке выборки свет, падающий со всех направлений. Затем это используется в постобработке для создания таких эффектов, как глубина резкости, а также позволяет пользователю слегка двигать головой. С 2006 года Lytro создает камеры, ориентированные на потребителя, позволяющие улавливать световые поля. Поля могут быть захвачены камерой наизнанку или снаружи при визуализации трехмерной геометрии, представляя огромный объем информации, готовой к манипулированию. В настоящее время скорость передачи данных по-прежнему остается большой проблемой, и этот метод имеет большой потенциал в будущем, поскольку он измеряет свет и отображает результат различными способами.
Еще одним побочным продуктом этой техники является достаточно точная карта глубины сцены. Это означает, что каждый пиксель имеет информацию о расстоянии от камеры. Facebook использует эту идею в своем семействе камер для захвата 360-градусного видео, которое сшивается с помощью карт расстояний. Извлечение этих необработанных данных возможно и позволяет захватывать любой этап с высоким разрешением. Опять же, скорость передачи данных в сочетании с точностью карт глубины - это огромные узкие места, которые вскоре будут преодолены с помощью более совершенных методов оценки глубины, сжатия, а также параметрических световых полей.
В настоящее время доступны различные рабочие процессы для создания объемного видео. Они не исключают друг друга и эффективно используются в комбинациях. Вот несколько примеров, которые показывают некоторые из них:
Этот подход создает более традиционную трехмерную треугольную сетку, аналогичную геометрии, используемой в компьютерных играх и визуальные эффекты. Объем данных обычно меньше, но квантование реальных данных в данные с более низким разрешением ограничивает разрешение и визуальную точность. Обычно выбираются компромиссы между плотностью сетки и конечными характеристиками.
Фотограмметрия обычно используется в качестве основы для статических сеток, а затем дополняется захватом талантов с помощью той же базовой технологии видеограмметрии. Чтобы создать последний набор треугольников, требуется тщательная очистка. Чтобы выйти за пределы физического мира, методы компьютерной графики могут быть развернуты для дальнейшего улучшения захваченных данных, используя художников для встраивания в статическую сетку по мере необходимости. Воспроизведение обычно обрабатывается движком реального времени и напоминает традиционный игровой конвейер в реализации, позволяя интерактивное изменение освещения и творческие и архивируемые способы объединения статических и анимированных сеток.
Недавно внимание переключилось на точечный объемный захват. Результирующие данные представлены в виде точек или частиц в трехмерном пространстве, несущих с собой такие атрибуты, как цвет и размер точки. Это обеспечивает большую плотность информации и более высокое разрешение контента. Требуемые скорости передачи данных велики, а текущее графическое оборудование не оптимизировано для этого, а оптимизировано для конвейера рендеринга на основе сетки.
Главное преимущество точек - это возможность более высокого пространственного разрешения. Точки могут быть разбросаны по сеткам треугольников с заранее рассчитанным освещением или использоваться непосредственно со сканера LIDAR. Производительность талантов фиксируется так же, как и при использовании подхода на основе сетки, но во время производства можно использовать больше времени и вычислительных мощностей для дальнейшего улучшения данных. При воспроизведении «уровень детализации» может использоваться для управления вычислительной нагрузкой на устройство воспроизведения, увеличивая или уменьшая количество многоугольников. Интерактивные изменения освещения труднее реализовать, поскольку основная часть данных предварительно запечена. Это означает, что, хотя информация об освещении, хранящаяся в точках, очень точна и достоверна, ей не хватает возможности легко изменить в любой данной ситуации. Еще одним преимуществом точечного захвата является то, что компьютерную графику можно визуализировать с очень высоким качеством, а также сохранять в виде точек, открывая дверь для идеального сочетания реальных и воображаемых элементов.
После сбора и генерации данных редактирование и компоновка выполняются в механизме реального времени, соединяя записанные действия, чтобы рассказать предполагаемую историю. Затем конечный продукт можно просматривать либо как плоскую визуализацию захваченных данных, либо в интерактивном режиме в гарнитуре виртуальной реальности.
. В то время как одна из целей при использовании точечного подхода к объемному захвату состоит в потоковой передаче данных точек из облака. для пользователя дома, позволяя создавать и распространять реалистичные виртуальные миры по запросу - вторая цель, которую недавно рассматривали, будет поток данных в реальном времени живых событий. Это требует очень высокой пропускной способности, поскольку информация о пикселях включает данные о глубине (т.е. становятся вокселями)
Имея в виду общее понимание технологии, в этой главе будут описаны достижения на горизонте в сфере развлечений. и другие отрасли, а также потенциал этой технологии для изменения медиа-ландшафта.
По мере того, как объемное видео превращается в глобальный захват, а аппаратное обеспечение дисплея эволюционирует, чтобы соответствовать, мы вступаем в эру настоящего погружения, когда нюансы захваченного окружения сочетаются с нюансами захваченного представления передаст эмоциональность в совершенно новой среде, стирая границы между реальным и виртуальным мирами. Этот прорыв в мире сенсорного обмана вызовет эволюцию в том, как мы потребляем медиа, и хотя технологии для других органов чувств, таких как запах, запах и проприоцепция, все еще находятся на стадии исследований и разработок, однажды в не столь отдаленном будущем мы убедительно отправимся в новые места, как реальные, так и воображаемые. Отрасли туризма и журналистики обретут новую жизнь в способности безопасно доставить зрителя или посетителя к месту, в то время как другие, такие как архитектурная визуализация и гражданское строительство, найдут способы строить целые структуры и города и исследовать их без необходимости одиночный взмах молотка.
После того, как захват создан и сохранен, его можно повторно использовать и даже, возможно, переназначить до тошноты для обстоятельств, выходящих за рамки первоначального предполагаемого объема. Создание виртуального набора позволяет объемным видеооператорам и кинематографистам создавать истории и планировать съемки без необходимости в съемочной группе или даже без присутствия на самом физическом пространстве, а правильная визуализация может помочь актеру или исполнителю с комфортом заблокировать сцену или действие. что их практика не происходит за счет остальной продукции. Старые наборы могут быть захвачены в цифровом виде, прежде чем они будут сняты, что позволяет им вечно существовать в качестве места для повторного посещения и исследования для развлечения и вдохновения, а несколько наборов могут быть собраны таким образом, чтобы сузить итерационные циклы дизайна декораций, звука дизайн, расцветка и многие другие аспекты производства.
Одной из областей, вызывающих озабоченность в связи с растущей областью объемного захвата, является сокращение спроса на традиционные наборы навыков, такие как моделирование, освещение, анимация и т. Д. Однако, хотя в будущем стек Технологии объемного захвата, ориентированные на производство, будут расти и расти, как и спрос на традиционные наборы навыков.
Объемный захват отлично подходит для захвата статических данных или предварительно визуализированных анимационных материалов. Однако он не может создать воображаемую среду или изначально допускать какой-либо уровень интерактивности. Именно здесь опытные художники и разработчики будут пользоваться наибольшим спросом, создавая бесшовные интерактивные события и ресурсы для дополнения существующих геометрических данных или используя существующие данные в качестве основы для построения, подобно тому, как цифровой художник может рисовать поверх базовых данных. 3D визуализация. Бремя ответственности будет лежать на мастере, чтобы убедиться, что они не отстают от инструментов и рабочих процессов, которые лучше всего соответствуют их навыкам, но благоразумные обнаружат, что производственный конвейер будущего будет включать множество возможностей для оптимизации создания трудоемких и допустимых для инвестиций в более крупные творческие задачи.
Что еще важнее, навыки, которые в настоящее время стали наполовину устаревшими из-за достижений компьютерной графики и автономного рендеринга, снова станут актуальными, так как точность таких вещей, как настоящие, созданные вручную наборы, качественные костюмы, созданные на высоком уровне. объемные захваты почти всегда будут гораздо более захватывающими, чем что-либо полностью компьютерное. Комбинируя эти снимки из реальной жизни с объемными снимками дополнительных элементов компьютерной графики, мы сможем объединить реальную жизнь и наше воображение так, как мы раньше могли делать только на плоском экране, создавая новые поля. в таких областях, как композитинг и VFX.
Процесс сбора и создания объемных данных полон проблем и нерешенных проблем. Это следующий шаг в кинематографии, и в нем есть проблемы, которые со временем будут устранены.
Поскольку каждая среда создает свой собственный визуальный язык, правила и творческие подходы, объемное видео все еще находится в зачаточном состоянии. Это можно сравнить с добавлением звука к движущимся изображениям. Необходимо было создать и протестировать новую философию дизайна. В настоящее время язык кино, искусство режиссуры закалено в боях за 100 лет. В интерактивном и нелинейном мире с шестью степенями свободы многие традиционные подходы не могут работать. Чем больше опыта создается и анализируется, тем быстрее сообщество сможет прийти к выводу об этом языке опыта.
Текущие конвейеры и производство видео и фильмов не готовы к тому, чтобы стать объемным. Каждый шаг в процессе создания фильма нужно переосмысливать и изобретать заново. Съемка съемок, управление талантами на съемочной площадке, монтаж, фотография, рассказывание историй и многое другое - все это области, на которые нужно потратить время, чтобы адаптироваться к объемным рабочим процессам. В настоящее время каждое производство использует различные технологии, а также проверяет правила взаимодействия.
Чтобы хранить и воспроизводить захваченные данные, потребителю необходимо передавать огромные наборы данных. В настоящее время наиболее эффективным способом является создание индивидуальных приложений, которые доставляются. Пока не существует стандарта, который генерировал объемное видео и позволял бы смотреть его дома. Сжатие этих данных становится доступным с помощью Группы экспертов по движущимся изображениям в поисках разумного способа потоковой передачи данных. Это сделает по-настоящему интерактивные иммерсивные проекты доступными для более эффективного распространения и работы, и их необходимо решить до того, как среда станет основной.
Помимо приложений в сфере развлечений, несколько других отраслей проявили интерес к захвату сцен с деталями, описанными выше. Для спортивных мероприятий было бы очень полезно детальное воспроизведение состояния игры. Это уже происходит в американском футболе и бейсболе, а также в британском футболе. Эти повторы на 360 ° позволят зрителям в будущем анализировать матч с разных точек зрения.
Документирование мест для исторических событий, снятых вживую или воссозданных, принесет большую пользу сектору образования. Виртуальные лекции, изображающие крупные исторические события с иммерсивным компонентом, помогут будущим поколениям вообразить пространства и совместно узнавать о событиях. Это можно абстрагировать и использовать для визуализации микромасштабных сценариев на клеточном уровне, а также для эпических событий, которые изменили ход человеческого эксперимента. Основным преимуществом виртуальных экскурсий является демократизация образовательных программ высокого уровня. Возможность принять участие в посещении музея без необходимости физического присутствия там позволяет более широкой аудитории, а также позволяет учреждениям показывать весь свой инвентарь, а не подраздел, который в настоящее время демонстрируется.
Недвижимость и туризм могут точно просматривать направления и сделать отрасль розничной торговли более индивидуальной для каждого человека. Для обуви уже произведен захват продуктов, и в магазинах можно использовать волшебные зеркала, чтобы это визуализировать. Торговые центры начали использовать это, чтобы повторно заселить их, привлекая клиентов с помощью VR Arcades, а также виртуально представляя товары.
