Качество видео - это характеристика видео, прошедшего через систему передачи / обработки видео, формальная или неформальная мера воспринимаемого ухудшения качества видео (обычно по сравнению с исходным видео). Системы обработки видео могут вносить в видеосигнал некоторое количество искажений или артефактов, что негативно влияет на восприятие системы пользователем. Для многих заинтересованных сторон, таких как поставщики контента, поставщики услуг и операторы сетей, обеспечение качества видео является важной задачей.
Оценка качества видео выполняется для описания качества изучаемого набора видеопоследовательностей. Качество видео можно оценить объективно (с помощью математических моделей) или субъективно (спросив пользователей об их оценке). Кроме того, качество системы может быть определено в автономном режиме (то есть в лабораторных условиях для разработки новых кодеков или услуг) или в процессе эксплуатации (для мониторинга и обеспечения определенного уровня качества).
С момента записи и передачи первой в мире видеопоследовательности было разработано множество систем обработки видео. Такие системы кодируют видеопотоки и передают их по различным типам сетей или каналов. В эпоху аналоговых видеосистем стало возможным оценивать аспекты качества системы обработки видео путем вычисления частотной характеристики системы с использованием тестовых сигналов (например, набора цветных стержни и круги).
Цифровые видеосистемы практически полностью заменили аналоговые, изменились методы оценки качества. Производительность системы обработки и передачи цифрового видео может значительно различаться и зависит, среди прочего, от характеристик входного видеосигнала (например, количества движения или пространственных деталей), настроек, используемых для кодирования и передачи, а также точности канала или производительность сети.
Объективное видео качество модели - это математические модели, которые приблизительно соответствуют результатам субъективной оценки качества, в котором наблюдателей просят оценить качество видео. В этом контексте термин модель может относиться к простой статистической модели, в которой несколько независимых переменных (например, коэффициент потери пакетов в сети и параметры кодирования видео) соответствуют результатам, полученным при субъективной оценке качества. тестировать с использованием методов регрессии. Модель также может быть более сложным алгоритмом, реализованным в программном или аппаратном обеспечении.
Термины модель и метрика часто используются как синонимы в данной области. Однако показатель имеет определенные математические свойства, которые, по строгому определению, не применимы ко всем моделям качества видео.
Термин «объективный» относится к тому факту, что, как правило, модели качества основаны на критериях, которые можно измерить объективно, то есть не допускать интерпретации человеком. Они могут быть автоматически оценены компьютерной программой. В отличие от группы людей-наблюдателей, объективная модель всегда должна детерминированно выдавать один и тот же показатель качества для заданного набора входных параметров.
Объективные модели качества иногда также называют инструментальными (качественными) моделями, чтобы подчеркнуть их применение в качестве инструментов измерения. Некоторые авторы полагают, что термин «объективный» вводит в заблуждение, поскольку он «подразумевает, что инструментальные измерения обладают объективностью, что они делают только в том случае, если они могут быть обобщены».
Объективные модели можно классифицировать по количеству доступной информации об исходном сигнале, принятый сигнал, или присутствует ли сигнал вообще:
Некоторые модели, которые используются для оценки качества видео (например, PSNR или SSIM ) - это просто модели качества изображения, выходные данные которых рассчитываются для каждого кадра видеопоследовательности. Этот показатель качества каждого кадра затем может быть записан и объединен с течением времени для оценки качества всей видеопоследовательности. Хотя этот метод легко реализовать, он не учитывает определенные виды ухудшения качества, которые развиваются с течением времени, такие как движущиеся артефакты, вызванные потерей пакетов и его маскированием. Модель качества видео, которая учитывает временные аспекты ухудшения качества, например VQM или MOVIE Index, может дать более точные прогнозы качества, воспринимаемого человеком.
Обзор недавних моделей без ссылок качества был дан в журнальной статье Шахида и др.. Как упоминалось выше, их также можно использовать для видеоприложений. Однако безреференсные модели качества на основе пикселей, разработанные специально для видео, встречаются редко, например, Video-BLIINDS. Группа экспертов по качеству видео имеет специальную рабочую группу по разработке показателей без справочников (называемых НОРМА ).
Наиболее традиционные способы оценки качества системы обработки цифрового видео (например, видеокодек ) основаны на FR. Среди самых старых показателей FR - отношение сигнал / шум (SNR) и пиковое отношение сигнал / шум (PSNR), которые вычисляются между каждым кадром оригинала и ухудшенный видеосигнал. PSNR - это наиболее широко используемый объективный показатель качества изображения, а средний PSNR по всем кадрам можно рассматривать как показатель качества видео. PSNR также часто используется при разработке видеокодека для оптимизации кодировщиков. Однако значения PSNR плохо коррелируют с воспринимаемым качеством изображения из-за сложного, сильно нелинейного поведения зрительной системы человека.
С Благодаря успеху цифрового видео было разработано большое количество более точных показателей FR. Эти метрики по своей природе более сложные, чем PSNR, и требуют больших вычислительных усилий для расчета прогнозов качества видео. Среди этих показателей, специально разработанных для видео, - VQM и MOVIE Index.
. Основанный на результатах тестов, проведенных группой экспертов по качеству видео (VQEG) (некоторые в В ходе фазы тестирования мультимедиа (2007–2008 гг.) и фазы тестирования HDTV I (2009–2011 гг.)) некоторые показатели RR / FR были стандартизированы в ITU-T как:
Метрика качества изображения FR Структурное подобие (SSIM) также часто используется для оценки качества видео. Точность визуальной информации (VIF) - также показатель качества изображения - является основным элементом Netflix Video Multimethod Assessment Fusion (VMAF), инструмента, который объединяет существующие метрики для прогнозирования качества видео.
Полные или сокращенные эталонные метрики по-прежнему требуют доступа к исходному битовому потоку видео перед передачей или по крайней мере к его части. На практике исходный поток не всегда может быть доступен для сравнения, например, при измерении качества со стороны пользователя. В других ситуациях сетевой оператор может захотеть измерить качество видеопотоков, проходящих через его сеть, без их полного декодирования. более эффективная оценка качества видео при успехе h, параметрические показатели / показатели на основе битового потока также были стандартизированы:
Некоторые из этих стандартов нашли коммерческое применение, в том числе PEVQ и VQuad-HD. SSIM также является частью коммерчески доступного набора инструментов для обеспечения качества видео (SSIMWAVE). VMAF используется Netflix для настройки своих алгоритмов кодирования и потоковой передачи, а также для контроля качества всего потокового контента. Он также используется другими технологическими компаниями, такими как Bitmovin, и был интегрирован в программное обеспечение, такое как FFmpeg.
Поскольку ожидается, что объективные модели качества видео будут прогнозировать результаты, данные людьми-наблюдателями, они разрабатываются с помощью результатов субъективных тестов. Во время разработки объективной модели ее параметры должны быть обучены так, чтобы достичь наилучшей корреляции между объективно предсказанными значениями и субъективными оценками, часто доступными как средние оценки мнений (MOS).
Наиболее широко используемые материалы для субъективных тестов являются общедоступными и включают наборы данных, относящиеся к качеству изображения, неподвижному изображению, движущемуся изображению, потоковому видео, высокой четкости, трехмерному (стереоскопическому) и специальному назначению. Эти так называемые базы данных создаются различными исследовательскими лабораториями по всему миру. Некоторые из них стали стандартами де-факто, в том числе несколько общедоступных баз данных субъективного качества изображения, созданных и поддерживаемых Лабораторией инженерии изображений и видео (LIVE), а также База данных изображений Тампере 2008. Коллекцию баз данных можно найти в репозитории Базы данных QUALINET. В Потребительской цифровой видеобиблиотеке (CDVL) размещены бесплатные видеотестовые последовательности для разработки моделей.
Теоретически модель можно обучить на наборе данных таким образом, чтобы получить идеально совпадающие оценки для этого набора данных. Однако такая модель будет перетренированной и, следовательно, не будет хорошо работать с новыми наборами данных. Поэтому рекомендуется проверять модели на соответствие новым данным и использовать полученную производительность в качестве реального индикатора точности прогноза модели.
Для измерения производительности модели некоторые часто используемые метрики: коэффициент линейной корреляции, коэффициент ранговой корреляции Спирмена и среднеквадратичная ошибка. (RMSE). Другими показателями являются коэффициент каппа и коэффициент выбросов. Рек. МСЭ-Т. P.1401 дает обзор статистических процедур для оценки и сравнения объективных моделей.
Модели объективного качества видео могут использоваться в различных областях применения. При разработке видеокодека производительность кодека часто оценивается в терминах PSNR или SSIM. Поставщики услуг могут использовать объективные модели для мониторинга системы. Например, провайдер IPTV может выбрать мониторинг качества своих услуг с помощью объективных моделей, а не спрашивать мнение пользователей или ждать жалоб клиентов на плохое качество видео.
Объективная модель должна использоваться только в том контексте, для которого она была разработана. Например, модель, разработанная с использованием определенного видеокодека, не гарантирует точность для другого видеокодека. Точно так же модель, обученная на тестах, проводимых на большом экране телевизора, не должна использоваться для оценки качества видео, просматриваемого на мобильном телефоне.
При оценке качества видеокодека все упомянутые объективные методы могут потребовать повторения тестов посткодирования для определения параметров кодирования, которые удовлетворяют требуемому уровню визуального качества, что делает их трудоемкими, сложными и непрактичными для реализации в реальных коммерческих приложениях. В настоящее время ведутся исследования по разработке новых методов объективной оценки, которые позволяют прогнозировать воспринимаемый уровень качества закодированного видео до того, как будет выполнено фактическое кодирование.
Основная цель многих объективных Метрики качества видео предназначены для автоматической оценки среднего мнения пользователя (зрителя) о качестве видео, обрабатываемого системой. Процедуры для субъективных измерений качества видео описаны в рекомендации ITU-R BT.500 и рекомендации ITU-T P.910. В таких тестах видеопоследовательности демонстрируются группе зрителей. Мнение зрителей записывается и усредняется в средний балл мнения для оценки качества каждой видеопоследовательности. Однако процедура тестирования может отличаться в зависимости от типа тестируемой системы.