Синхронизация аудио-видео

Синхронизация аудио-видео (AV синхронизация, также известная как синхронизация губ, или при ее отсутствии: ошибка синхронизации губ, заслонка губ ) относится к относительному времени части аудио (звук) и видео (изображение) во время создания, пост-продакшн (микширование), передача, прием и воспроизведение- обратная обработка. AV-синхронизация может быть проблемой в телевидении, видеоконференцсвязи или фильме.

В отраслевой терминологии ошибка синхронизации губ выражается как количество времени, в течение которого звук уходит. от идеальной синхронизации с видео, где положительное значение времени указывает, что звук опережает видео, а отрицательное число указывает, что звук отстает от видео. Эта терминология и стандартизация числовой ошибки синхронизации губ используются в индустрии профессионального вещания, о чем свидетельствуют различные профессиональные документы, стандарты, такие как ITU-R BT.1359-1, и другие ссылки, приведенные ниже.

Цифровые или аналоговые аудио-видеопотоки или видеофайлы обычно содержат какой-то механизм синхронизации, либо в виде чередующихся видео- и аудиоданных, либо явных относительных отметка времени данных. Обработка данных должна учитывать относительное время передачи данных, например, растяжение или интерполяция полученных данных. Если при обработке не учитывается ошибка AV-синхронизации, она будет увеличиваться всякий раз, когда данные теряются из-за ошибок передачи или из-за отсутствия или несвоевременной обработки.

• 1 Неправильно синхронизировано
• 2 Эффект отсутствия явной синхронизации AV-синхронизации
• 3 Восприятие зрителем неправильно синхронизированной AV-синхронизации
• 4 Рекомендации
• 5 SMPTE ST2064
• 6 Временные метки
• 7 См. Также
• 8 Ссылки
• 9 Дополнительная литература

Существуют разные способы, которыми AV-синхронизация может быть неправильно синхронизирована:

• Во время создания AV- ошибки синхронизации возникают из-за
  • внутренней ошибки AV-синхронизации: разные обработки сигнала задержки между изображением и звуком в видеокамере и микрофоне. Задержка AV-синхронизации обычно фиксированная.
  • Ошибка внешней AV-синхронизации: если микрофон расположен далеко от источника звука, звук будет рассинхронизирован, потому что скорость звука намного ниже, чем скорость света. Если источник звука находится на расстоянии 340 метров от микрофона, звук приходит примерно на 1 секунду позже, чем свет. Задержка AV-синхронизации увеличивается с увеличением расстояния.
• Во время микширования видеоклипов обычно требуется задержка звука или видео для их синхронизации. Задержка AV-синхронизации статична, но может меняться в зависимости от конкретного клипа.
• эффекты.

Примеры передачи (широковещания ), приема и воспроизведения, которые могут неправильно получить AV-синхронизацию synchronized:

• Видеокамера со встроенными микрофонами или линейным входом не может задерживать звуковой и видеотракт на одинаковое количество миллисекунд. Видеокамера должна иметь какую-то явную синхронизацию AV-синхронизации, помещенную в видео- и аудиопотоки. Твердотельные видеокамеры (например, устройство с зарядовой связью (CCD) и датчики изображения CMOS ) могут задерживать видеосигнал на один или несколько кадров.
• AV -stream может быть поврежден во время передачи из-за электрических сбоев (проводной) или беспроводных прерываний - это может привести к его рассинхронизации. Задержка AV-синхронизации обычно увеличивается со временем.
• В телевизионных системах широко используются схемы обработки аудио и видеосигналов со значительными (и часто непостоянными) задержками. Конкретные схемы обработки видеосигнала, которые широко используются и вносят существенные задержки видео, включают в себя синхронизаторы кадров, процессоры цифровых видеоэффектов, уменьшение видеошума, преобразователи формата и системы сжатия.
• Схема обработки видеомонитора может задерживать видеопоток. Пиксельные дисплеи требуют преобразования формата видео и обработки деинтерлейсинга, которая может добавить один или несколько кадров задержки видео.
• Видеомонитор со встроенными динамиками или линейным выходом может не задерживать звук и видео пути на одинаковое количество миллисекунд. Некоторые видеомониторы содержат внутренние настраиваемые пользователем задержки звука для помощи в исправлении ошибок.
• Некоторые протоколы передачи, такие как RTP, требуют внеполосного метода синхронизации медиапотоков. В случае RTP каждый медиапоток имеет собственную метку времени с использованием независимой тактовой частоты и рандомизированного начального значения для каждого потока. RTCP Отчет отправителя (SR) необходим для каждого потока для синхронизации потоков. Необходимые пакеты RTCP могут быть потеряны (поскольку RTP / RTCP не гарантирует доставку ) или отправлены не ранее, чем через несколько секунд после начала потока. Многие программные клиенты вообще не отправляют RTCP или отправляют несовместимые данные.

Когда цифровой или аналоговый аудио-видео поток не имеет какого-либо явного AV-потока -sync синхронизация эти эффекты приведут к рассинхронизации потока:

• В фильмах эти ошибки синхронизации чаще всего вызваны изношенной пленкой, пропускающей звездочки кинопроектора из-за того, что пленка имеет порванные отверстия звездочки.
• Ошибки также могут быть вызваны тем, что киномеханик неправильно интерпретирует пленку в проекторе, хотя это редко бывает у компетентных киномехаников.
• AV-синхронизация обычно исправляется и поддерживается с аудиосинхронизатором . Организации по стандартизации телевизионной индустрии установили допустимое количество ошибок синхронизации аудио и видео и предложили методы, связанные с поддержанием приемлемой синхронизации.
• Ошибки AV-синхронизации становятся значительной проблемой в отрасли цифрового телевидения, потому что использования больших объемов обработки видеосигнала в телевизионном производстве, телевещании и пиксельных телевизионных дисплеях, таких как LCD, DLP и плазменные дисплеи.
• В поле телевидение проблемы с синхронизацией аудио-видео обычно возникают, когда значительные объемы обработки видео выполняются в видеочасти телевизионной программы.
• Типичные источники значительных задержек видео в телевизионной сфере включают в себя синхронизаторы видео, кодеры и декодеры сжатия видео. Особенно проблемные кодеры и декодеры используются в системах сжатия MPEG, используемых для вещания цифрового телевидения и хранения телевизионных программ на бытовых и профессиональных устройствах записи и воспроизведения.
• Источник значительная задержка видео обнаруживается в пиксельных телевизионных дисплеях (ЖКД, DLP и плазменных), которые используют сложную обработку видеосигнала для преобразования разрешения входящего видеосигнала в собственное разрешение пиксельного дисплея, например преобразование стандарта видео высокой четкости для отображения на дисплее высокой четкости. Время от времени "заслонка губ" может превышать 200 мс.
• В вещательном телевидении ошибка синхронизации губ нередко изменяется время от времени более чем на 100 мс (несколько видеокадров).
• Рекомендация EBU R37 «Относительная синхронизация звуковых и визуальных компонентов телевизионного сигнала» гласит, что сквозная синхронизация аудио / видео должна быть в пределах +40 мс и -60 мс (звук до / после видео, соответственно). и что каждый этап должен быть в пределах от +5 до -15 мс.

В результате обычно персонаж на видео или по телевидению двигает своим ртом, когда нет разговорного диалога чтобы сопровождать это, отсюда и термин «лоскут губ» или «ошибка синхронизации губ». Возникающая в результате ошибка синхронизации аудио-видео может раздражать зрителя и даже может привести к тому, что зритель не получит удовольствие от программы, снизит эффективность программы или приведет к негативному восприятию говорящего со стороны зрителя. Потенциальная потеря эффективности вызывает особое беспокойство у рекламных продуктов и политических кандидатов. Организации по стандартизации телевизионной индустрии, такие как Комитет по передовым телевизионным системам, стали участвовать в установлении стандартов для ошибок синхронизации аудио и видео.

Из-за этих неприятностей ошибка синхронизации AV вызывает беспокойство. индустрии телевизионных программ, включая телевизионные станции, сети, рекламодателей и компании по производству программ. К сожалению, с появлением технологий плоских дисплеев высокой четкости (LCD, DLP и плазменных), которые могут задерживать больше видео, чем аудио, проблема перенеслась в дом зрителя и вышла из-под контроля только индустрии телевизионных программ. Компании-производители потребительских товаров теперь предлагают регулировку задержки звука, чтобы компенсировать изменения задержки видео в телевизорах и A / V-ресиверах, а несколько компаний производят специальные задержки цифрового звука, предназначенные исключительно для исправления ошибок синхронизации губ.

Для телевизионных приложений Комитет передовых телевизионных систем рекомендует, чтобы звук опережал видео не более чем на 15 миллисекунд, а звук отставал от видео не более чем на 45 миллисекунды. Тем не менее, ITU провел строго контролируемые тесты с экспертными наблюдателями и обнаружил, что порог обнаруживаемости составляет от -125 до +45 мс. Для фильмов приемлемой синхронизацией губ считается не более 22 миллисекунд в любом направлении.

Ассоциация потребительской электроники опубликовала набор рекомендаций по тому, как цифровые телевизионные приемники должны реализовывать A / V sync.

SMPTE Стандарт ST2064, опубликованный в 2015 году, предоставляет технологию для уменьшения или устранения ошибок синхронизации губ в цифровом телевидении. Стандарт использует аудио и видео отпечатки пальцев, взятые из телевизионной программы. Отпечатки пальцев можно восстановить и использовать для исправления накопленной ошибки синхронизации губ. После создания отпечатков пальцев для телепрограммы и включения необходимой технологии устройство отображения зрителя имеет возможность непрерывно измерять и исправлять ошибки синхронизации губ.

Метки времени презентации (PTS) встроены в транспортные потоки MPEG, чтобы точно сигнализировать, когда должен быть представлен каждый аудио- и видеосегмент, чтобы избежать ошибок AV-синхронизации. Однако эти временные метки часто добавляются после того, как видео проходит кадровую синхронизацию, преобразование формата и предварительную обработку, и, таким образом, ошибки синхронизации губ, созданные этими операциями, не будут исправлены путем добавления и использования временных меток.

Транспортный протокол реального времени синхронизирует носитель с использованием временных меток происхождения на произвольной временной шкале. Часы реального времени, такие как часы, доставляемые сетевым протоколом времени и описанные в протоколе описания сеанса, связанном с медиа, могут использоваться для синхронизации медиа. Затем можно использовать сервер для окончательной синхронизации, чтобы удалить любое остаточное смещение.

• Аудиосинхронизатор
• Хлопушка
• Дубляж (кинопроизводство)
• Входная задержка
• Синхронизация губ

• Куньини, Альдо (1 сентября 2007 г.). «Управление синхронизацией губ». TV Technology, первоначально от Broadcast Engineering. Архивировано из оригинала 8 октября 2015 года. Дата обращения 19.10.2008.
• R.A. Лосось; Эндрю Мейсон (январь 2009 г.). «Факторы, влияющие на восприятие синхронизации аудио-видео на телевидении». Исследования и разработки BBC. Проверено 2 июня 2013 г. Cite journal требуется | journal =()
• Sieranoja, S.; Sahidullah, Md; Kinnunen, T.; Komulainen, J.; Hadid, A. (июль 2018 г.). «Обнаружение аудиовизуальной синхронизации с оптимизированными звуковыми функциями» (PDF). Третья международная конференция IEEE по обработке сигналов и изображений (ICSIP 2018): 377–381. doi : 10.1109 / SIPROCESS.2018.8600424. ISBN 978-1-5386-6396-7.