Интерфейс сетевого устройства

Интерфейс сетевого устройства (NDI ) - это бесплатный стандарт программного обеспечения, разработанный NewTek для обеспечения возможности передачи, доставки и приема видео-совместимых продуктов видео высокой четкости по компьютерной сети с высоким качеством и малой задержкой, с точностью до кадра и подходящей для переключения в живой производственной среде.

• 1 Технология
• 2 Сравнение распространенных протоколов IP-видео
• 3 История
• 4 Использование в Wi-Fi и глобальных сетях
• 5 Поддержка архитектуры ЦП
• 6 Метаданные и расширения к спецификации NDI
• 7 Ссылки

NDI разработан для работы через гигабитный Ethernet, при этом ожидается, что кодек NDI будет доставлять видео 1080i HD со скоростью передачи данных VBR, как правило около 100 Мбит / с.

По умолчанию NDI использует механизм обнаружения mDNS (Bonjour / Zeroconf ) для объявления источников на локальном сети, так что принимающие устройства NDI могут автоматически обнаруживать и предлагать эти источники, хотя 2 других режима обнаружения (NDI Access, NDI Discovery Server) позволяют выполнять операции в подсетях и без mDNS. Источники создаются с использованием произвольно выбранного TCP-порта из диапазона портов на хосте отправки NDI. Когда источник запрашивается, TCP-соединение устанавливается на соответствующем порту с получателем NDI, подключающимся к отправителю NDI. NDI 3.x позволяет использовать многоадресную или одноадресную рассылку UDP с прямым исправлением ошибок (FEC) вместо TCP, а также может балансировать потоки между несколькими контроллерами сетевого интерфейса Сетевые адаптеры без использования агрегации каналов. NDI 4.0 вводит соединения с несколькими TCP.

NDI переносит видео, многоканальное несжатое аудио и метаданные. Сообщения с метаданными могут быть отправлены в обоих направлениях, что позволяет отправителю и получателю сообщать друг другу через соединение с произвольными метаданными в форме XML. Эта направленная система метаданных позволяет использовать такие функции, как активная подсчетная информация, передаваемая обратно источникам, чтобы понять, что они передаются в эфир (программа / предварительный просмотр). NDI также позволяет отправителям определять количество подключенных получателей, чтобы они могли пропустить ненужную обработку и использование полосы пропускания сети, когда нет подключенных клиентов-получателей NDI. Приемники NDI могут выбрать подключение к различным комбинациям потоков для поддержки таких вещей, как подключения только для аудио или только для метаданных, где видео не требуется.

Пакет разработки программного обеспечения NDI (SDK) доступен для Windows, Linux и macOS, а также был перенесен на iOS, tvOS, Android, Raspberry Pi и FPGA. SDK доступен по бесплатной частной лицензии.

Другие IP-видеопротоколы, появляющиеся для использования в профессиональном видеопроизводстве (а не IP-видео, используемое для распространения среди конечных пользователей ), включает SMPTE 2022, SMPTE 2110, ASPEN (в значительной степени вытесненный SMPTE 2110) и Sony NMI. Существуют явные различия в технологии, используемой этими протоколами.

NDI был публично представлен NewTek 8 сентября 2015 года и продемонстрирован на той неделе на выставке вещания IBC в Амстердаме. Первым устройством, показанным с использованием NDI, был NewTek TriCaster, который передавал сигнал NDI с каждого из своих входов SDI, а также четыре выходных сигнала со своего видеомикшера. TriCaster также может получать до двух источников NDI от других устройств (увеличено до 12 в более поздних версиях и до 44 в IP Series от NewTek).

В течение 2016 года последовали устройства NDI от других поставщиков. продукты были получены от Gallery Sienna и включали генератор сигналов NDI для macOS, преобразователь развертки рабочего стола для macOS и приложение камеры NDICam для iPhone, которое доставляет собственный поток NDI с устройств iOS.

NewTek ранее создавал предшественника NDI вызвала AirSend, чтобы передавать видео с внешних устройств на свои продукты TriCaster. AirSend был реализован рядом поставщиков генераторов символов (CG), включая VizRT и Chyron. Чтобы быстро внедрить эти продукты в пространство NDI, NewTek создал новый драйвер для замены существующего драйвера AirSend, который можно было установить на эти существующие устройства, совместимые с AirSend, мгновенно преобразовав их в устройства, совместимые с NDI, без каких-либо изменений, требуемых исходной CG. поставщиков.

Еще одним ранним последователем NDI был VMix, микшер машинного зрения на базе Windows, который предлагает входы и выходы NDI. Значительное увеличение установленной базы NDI произошло, когда приложение потоковой передачи XSplit добавило поддержку NDI.

Позже, в 2016 году, NewTek предоставил NDI 2.0, в котором были добавлены функции, включая поддержку обнаружения сервисов в подсетях. В первой половине 2017 года BirdDog начал демонстрировать и поставлять BirdDog Studio NDI - портативный кодировщик NDI на базе FPGA с питанием от PoE с входами HDMI и SDI с Tally, поддерживающий разрешение видео до 1080p60.

12 июля 2017 года NewTek анонсировала NDI 3.0, в который добавлены многоадресная передача, NDI | HX и другие новые функции, а также представлена ​​поддержка конкретных PTZ-камер с чипсетами H.264 и обновленным микропрограммным обеспечением.

В апреле 2018 года на выставке NAB Show, Microsoft объявила, что добавила поддержку NDI в Skype for Content Creators. Другие объявления на NAB2018 включали NDI 3.5 и новую поддержку NDI от поставщиков, включая EVS и Avid.

Версия 3.4 из FFmpeg добавила поддержку ввода и вывода для NDI при необязательной компиляции конечным пользователем в библиотеку NewTek без открытого исходного кода. Однако позже выяснилось, что NewTek распространяет предварительно скомпилированные двоичные файлы FFmpeg, в которые включена их библиотека без открытого исходного кода, в нарушение Стандартной общественной лицензии GNU, в результате чего проект FFmpeg в марте удалил поддержку NDI из своей кодовой базы. 2019.

В апреле 2019 года, в преддверии NAB, NewTek объявила о добавлении режима Multi-TCP в NDI 4.0, который, как сообщается, использует аппаратное ускорение TCP, присутствующее в кремнии, помогая процессорам с более низкими характеристиками с транспортом NDI. Отгрузка NDI 4.0 состоялась в сентябре 2019 года, приуроченная к выставке IBC.

NDI был разработан для работы в гигабитных локальных сетях хорошего качества с использованием технологий TCP и Bonjour (mDNS ). Для работы в подсетях, которые не передают mDNS, NDI поддерживает механизм, известный как NDI Access, который позволяет вручную вводить IP-адреса машин в других подсетях, на которых могут быть запущены источники NDI.

Некоторые сторонники NDI запускают протокол через оптоволоконные соединения на расстоянии до 15 км, хотя использование протокола TCP в NDI делает его менее подходящим для соединений на больших расстояниях с высокой задержкой из-за таких факторов, как пропускная способность . -delay product и восстановление после потери TCP-пакетов. Библиотеки NDI 3.5 теперь по умолчанию используют метод передачи UDP с прямым исправлением ошибок. Это устраняет требования к задержке, присущие TCP-соединениям. NDI | HX использует более низкую скорость передачи данных, что упрощает использование соединений с ограниченной полосой пропускания.

Для расширения NDI на глобальные сети были разработаны инструменты, включая протокол Sienna Cloud для NDI, который использует узел шлюзы в каждой локальной сети для подключения источников NDI через континенты. В июле 2017 года Ассоциация специальных видов спорта США (USSSA) успешно создала первое по-настоящему глобальное сетевое освещение спортивных событий NDI с использованием NDI с 5 камерами, переданными через общедоступный Интернет со стадиона в 200 милях от стадиона, в производство на базе NDI. галерея.

NDI также используется в облачных производственных системах, с его сжатым видео и одноадресной передачей, что делает его пригодным для облачных сервисов, таких как AWS и Azure. в 2019 году Сиенна продемонстрировала полный рабочий процесс в облачной среде с использованием NDI, включая удаленное внесение и окончательную публикацию через сети доставки контента, такие как YouTube Live.

NDI, при работе на архитектуре x86 требует наличия ЦП с набором инструкций SSSE3. Большинство процессоров Intel, начиная с 2006 года, имеют этот набор инструкций, AMD добавила поддержку с 2011 года. Хотя это и не является обязательным требованием, NDI будет использовать инструкции Advanced Vector Extensions (AVX) и AVX2. наборы для дополнительной производительности.

NDI может работать на 32-битных или 64-битных архитектурах ЦП, хотя производительность увеличивается при использовании 64-битных.

NDI доступен с поддержкой кодирования для систем на базе ARM, но обычно не для декодирования видео. Исключениями являются Sienna NDI Monitor для iOS, которая обеспечивает декодирование NDI на ARM, и Sienna NDI Monitor TV для AppleTV 4k.

Устройства NDI | HX обычно предназначены только для передачи и основаны на проприетарных платформах с аппаратным обеспечением H. 264 чипа кодировщика. Примерами устройств NDI | HX являются камеры PTZ и конвертер NDI Connect Spark SDI to NDI | HX. Сам поток NDI формируется на стороне потребления потока с помощью специфичного для платформы драйвера NDI | HX, представляя одни и те же несжатые данные прикладному программному обеспечению, использующему источник NDI, независимо от исходного оборудования и сжатия HX. NDI | HX2 - это более чистая реализация H.264 в пакетах NDI, позволяющая программным и аппаратным системам встраивать сущность H.264 в потоки NDI с помощью NDI Embedded SDK.

NewTek, Birddog и Magewell разработали реализации кодирования NDI для ПЛИС. В апреле 2018 года NewTek анонсировала Connect Spark Pro, который станет их первым продуктом NDI на базе FPGA. Birddog и Magewell также предлагают декодирование полных потоков NDI на основе FPGA (не NDI | HX). Newtek предлагает лицензируемый эталонный дизайн FPGA для сторонних кодировщиков NDI как часть своего NDI Embedded SDK.

В NDI 4.0 NewTek объявила о добавлении транспортного режима Multi-TCP. При этом используется преимущество аппаратного ускорения TCP в кремнии, которое помогает процессорам с более низкими характеристиками справляться с большой сетевой нагрузкой, в отличие от UDP, который не получает преимуществ от аппаратного ускорения.

NDI поддерживает произвольные метаданные в виде блоков XML, встроенных в видео- и аудиокадры, а также автономные фреймы метаданных. Содержимое этих блоков метаданных образуют 3 семейства.

1. Внутренние метаданные, невидимые для использования NDI. Эти сообщения используются для подключения и некоторых других фундаментальных задач, таких как Tally. Обычно они невидимы для клиентов NDI.
2. Определенные общедоступные метаданные. Эти сообщения включают такие вещи, как протокол NDI PTZ. Они определены NewTek как часть NDI SDK.
3. Сторонние схемы метаданных. Эти сообщения реализованы таким же образом, как и определенные метаданные NDI, но содержимое основано на разработках сторонних разработчиков.

Существует 8 опубликованных примеров схем метаданных NDI сторонних производителей:

• В августе 2018 г. Gallery Sienna опубликовала предложение о передаче метаданных C708 Closed Caption через NDI. Он включает захват соответствующей строки данных SDI VANC и текстовое кодирование для обеспечения совместимости с XML. Это передается в виде прикрепленных метаданных на основе видеокадров. Его можно передать в эквивалентно совместимый декодер для преобразования в SDI вместе с неповрежденными субтитрами C708. Gallery Sienna внедрила этот стандарт в свой продукт Sienna NDI SourceMulti, и это предложение также принимается другими разработчиками продуктов NDI. С тех пор было опубликовано сопутствующее предложение по универсальному формату субтитров для NDI, обеспечивающее удобочитаемый, а не двоичный контейнер для скрытых субтитров в потоках метаданных NDI.

• В феврале 2019 года Gallery Sienna опубликовала предложение о переносе Сообщения MIDI через NDI. Он использует автономные кадры метаданных NDI в реальном времени для передачи любого типа MIDI-сообщений, включая MIDI Machine Control и данные контроллера. NDI MIDI используется в процессоре Sienna NDI в качестве общего протокола управления между модулями и внешним миром.

• В апреле 2019 года Gallery Sienna опубликовала предложение по использованию отраслевого стандарта iXML протокола метаданных в NDI. iXML позволяет однозначно описывать содержимое потока и связь между потоками.

• В апреле 2019 года Gallery Sienna опубликовала предложение по переносу времени PTPv2 и GMID в NDI. Сиенна также реализовала это как преобразователь протокола точного времени, который захватывает эти данные и передает их в виде NDI в несколько систем NDI, желающих обмениваться этой информацией, например, программное обеспечение для взаимодействия с устройствами AES67.

• В сентябре 2019 года Gallery Sienna опубликовала предложение по определению и переносу определения потока субрегиона в NDI. Это можно использовать для определения вложенных фрагментов видеостены в потоке или для таких приложений, как анализ видео с помощью ИИ, когда система следует за лицом в потоке, или за футбольным мячом - с фрагментом панорамирования потока. Это также используется для предоставления определений подпотоков для публикации в социальных сетях с нестандартными соотношениями сторон - например, портретное или квадратное видео для телефонов.

• В ноябре 2019 года Gallery Sienna опубликовала предложение по определению метаданных HDR описание профиля для HDR NDI Streams.

• В декабре 2019 года Gallery Sienna опубликовала предложение о передаче данных о состоянии GPI через соединения NDI. Этот механизм реализован в модуле интерфейса GPI Sienna в NDI Processing Engine, который взаимодействует с интерфейсом JLCooper Ebox GPI, поддерживая 24 входа и выхода GPI.

• В декабре 2019 года Gallery Sienna опубликовала предложение по передаче данных DMX через NDI. соединения. Этот механизм реализован в модуле интерфейса ArtNet-DMX от Sienna в модуле обработки NDI, который взаимодействует с интерфейсом DMX LTECH Artnet-DMX-1, поддерживая входящие и исходящие 512 каналов DMX.