Войти
Телевидение со свободной точкой обзора ( FTV ) - это система для просмотра естественного видео, позволяющая пользователю интерактивно управлять точкой обзора и генерировать новые виды динамической сцены из любой трехмерной позиции. Эквивалентная система для компьютерно смоделированного видео известна как виртуальная реальность. С FTV фокус внимания может контролироваться зрителями, а не режиссером, а это означает, что каждый зритель может наблюдать уникальную точку зрения. Еще неизвестно, как FTV повлияет на просмотр телевидения как группового занятия.
Системы для рендеринга произвольных видов естественных сцен были хорошо известны в сообществе компьютерного зрения в течение длительного времени, но только в последние годы скорость и качество достигли уровней, которые подходят для серьезного рассмотрения в качестве системы для конечного пользователя.
Профессор Масаюки Танимото из Университета Нагоя (Япония) много сделал для продвижения использования термина «телевидение со свободными точками зрения» и опубликовал множество работ по представлению в лучевом пространстве, хотя для FTV могут использоваться и используются другие методы.
QuickTime VR можно считать предшественником FTV.
Чтобы получить виды, необходимые для качественного рендеринга сцены под любым углом, вокруг сцены размещается несколько камер; либо в студии, либо на открытом воздухе, например, на спортивной арене. Затем выходное многооконное видео (MVV) должно быть соответствующим образом упаковано, чтобы данные можно было сжать, а также для того, чтобы устройство просмотра пользователей могло легко получить доступ к соответствующим представлениям для интерполяции новых представлений.
Недостаточно просто разместить камеры вокруг сцены для съемки. Геометрия установленной камеры должна быть измерена с помощью процесса, известного в компьютерном зрении как «калибровка камеры». Ручное выравнивание было бы слишком обременительным, поэтому, как правило, выравнивание выполняется до захвата тестового шаблона, который используется для генерации параметров калибровки.
Телевизионные виды с ограниченными свободными точками обзора для больших помещений могут быть сняты с помощью единственной системы камер, установленной на движущейся платформе. Также должны быть получены данные о глубине, что необходимо для создания свободной точки обзора. Система захвата Google Street View является примером с ограниченной функциональностью. Первая полная коммерческая реализация iFlex была предоставлена в 2009 году компанией Real Time Race.
Захват видео с несколькими ракурсами варьируется от частичного (обычно около 30 градусов) до полного (360 градусов) охвата сцены. Следовательно, можно выводить стереоскопические изображения, подходящие для просмотра с помощью 3D-дисплея или других 3D-методов. Системы с большим количеством физических камер могут захватывать изображения с большим охватом видимой сцены, однако вполне вероятно, что определенные области всегда будут закрыты с любой точки обзора. Большее количество камер должно позволить получить высококачественный результат, поскольку требуется меньшая интерполяция.
Больше камер означает, что требуется эффективное кодирование видео с несколькими ракурсами. Это может быть не таким большим недостатком, поскольку есть представления, которые могут устранить избыточность в MVV; например, межракурсное кодирование с использованием MPEG-4 или Multiview Video Coding, представление в пространстве лучей, геометрические видео и т. д.
Что касается аппаратного обеспечения, пользователю требуется устройство просмотра, которое может декодировать MVV и синтезировать новые точки обзора, а также двухмерный или трехмерный дисплей.
Группа экспертов по движущемуся изображению (MPEG) нормализовала Приложение H к MPEG-4 AVC в марте 2009 года под названием Multiview Video Coding после работы группы под названием «3DAV» (3D Audio and Visual), возглавляемой Альёшей Смоличем из Института Генриха Герца..
