Сжатие с потерями

редактировать
JPEG с низким уровнем сжатия (высокое качество) JPEG с высокой степенью сжатия (низкого качества)

В области информационных технологий, сжатие с потерями, или необратимым сжатием является классом данных, кодирующих методов, которые используют неточные приближения и частичные данные отбрасывания для представления контента. Эти методы используются для уменьшения размера данных для хранения, обработки и передачи контента. Различные версии фотографии кошки на этой странице показывают, как более высокие степени приближения создают более грубые изображения по мере удаления большего количества деталей. Это противоположно сжатию данных без потерь (обратимое сжатие данных), которое не ухудшает данные. Объем сокращения данных, возможный при использовании сжатия с потерями, намного выше, чем при использовании методов без потерь.

Хорошо продуманная технология сжатия с потерями часто значительно уменьшает размер файла до того, как конечный пользователь заметит ухудшение качества. Даже если это заметно для пользователя, может быть желательно дальнейшее сокращение объема данных (например, для связи в реальном времени, для уменьшения времени передачи или для уменьшения потребности в хранении). Наиболее широко используемым алгоритмом сжатия с потерями является дискретное косинусное преобразование (DCT), впервые опубликованное Насиром Ахмедом, Т. Натараджаном и К.Р. Рао в 1974 году. В 2019 году появилось новое семейство функций синусоидально-гиперболического преобразования, которые имеют сопоставимые свойства и производительность с DCT были предложены для сжатия с потерями.

Сжатие с потерями чаще всего используется для сжатия мультимедийных данных ( аудио, видео и изображений ), особенно в таких приложениях, как потоковая передача мультимедиа и интернет-телефония. Напротив, сжатие без потерь обычно требуется для текстовых файлов и файлов данных, таких как банковские записи и текстовые статьи. Может быть полезно создать главный файл без потерь, который затем можно будет использовать для создания дополнительных копий. Это позволяет избежать создания новых сжатых копий исходного файла с потерями, что приведет к дополнительным артефактам и дальнейшей ненужной потере информации.

СОДЕРЖАНИЕ
  • 1 Типы
  • 2 Преобразование кодирования
  • 3 Потеря информации
  • 4 Сравнение
    • 4.1 Эмоциональные эффекты
    • 4.2 Прозрачность
    • 4.3 Степень сжатия
  • 5 Транскодирование и редактирование
    • 5.1 Редактирование файлов с потерями
      • 5.1.1 JPEG
      • 5.1.2 Метаданные
      • 5.1.3 Масштабируемость понижающей дискретизации / сжатого представления
  • 6 методов
    • 6.1 Графика
      • 6.1.1 Изображение
      • 6.1.2 3D компьютерная графика
      • 6.1.3 Видео
    • 6.2 Аудио
      • 6.2.1 Общие
      • 6.2.2 Речь
    • 6.3 Прочие данные
  • 7 Понижение разрешения
  • 8 См. Также
  • 9 Примечания
  • 10 Внешние ссылки
Типы

Можно сжимать многие типы цифровых данных таким образом, чтобы уменьшить размер компьютерного файла, необходимый для его хранения, или полосу пропускания, необходимую для его передачи, без потери полной информации, содержащейся в исходном файле. Например, изображение преобразуется в цифровой файл, рассматривая его как массив точек и задавая цвет и яркость каждой точки. Если изображение содержит область того же цвета, его можно сжать без потерь, сказав «200 красных точек» вместо «красная точка, красная точка,... (еще 197 раз)..., красная точка».

Исходные данные содержат определенный объем информации, и существует нижний предел размера файла, который может содержать всю информацию. Базовая теория информации гласит, что существует абсолютный предел уменьшения размера этих данных. Когда данные сжимаются, их энтропия увеличивается и не может увеличиваться бесконечно. В качестве интуитивно понятного примера большинство людей знают, что сжатый файл ZIP меньше исходного файла, но многократное сжатие одного и того же файла ни к чему не приведет. Большинство алгоритмов сжатия могут распознать, когда дальнейшее сжатие было бы бессмысленным и фактически увеличило бы размер данных.

Во многих случаях файлы или потоки данных содержат больше информации, чем необходимо для конкретной цели. Например, изображение может иметь больше деталей, чем может различить глаз при воспроизведении с максимальным заданным размером; аналогично аудиофайлу не требуется много мелких деталей во время очень громкого отрывка. Разработка методов сжатия с потерями, максимально приближенных к человеческому восприятию, является сложной задачей. Иногда идеальным является файл, который обеспечивает точно такое же восприятие, как оригинал, с удалением как можно большего количества цифровой информации; в других случаях ощутимая потеря качества считается допустимым компромиссом для уменьшения объема данных.

Термины «необратимый» и «обратимый» предпочтительнее, чем «с потерями» и «без потерь» соответственно для некоторых приложений, таких как сжатие медицинских изображений, чтобы обойти негативные последствия «потери». Тип и размер потерь могут повлиять на полезность изображений. Артефакты или нежелательные эффекты сжатия могут быть четко различимы, но результат по-прежнему полезен для предполагаемой цели. Либо изображения, сжатые с потерями, могут быть « визуально без потерь », либо в случае медицинских изображений может применяться так называемое диагностически приемлемое необратимое сжатие (DAIC).

Преобразование кодирования
Основная статья: Преобразование кодирования

Некоторые формы сжатия с потерями можно рассматривать как применение кодирования с преобразованием, который представляет собой тип сжатия данных используются для цифровых изображений, цифровых звуковых сигналов и цифрового видео. Преобразование обычно используется для обеспечения лучшего (более целенаправленного) квантования. Знание приложения используется для выбора информации, которую следует отбросить, тем самым снижая его пропускную способность. Оставшуюся информацию затем можно сжать различными способами. Когда вывод декодируется, результат может не совпадать с исходным вводом, но ожидается, что он будет достаточно близким для целей приложения.

Наиболее распространенной формой сжатия с потерями является метод кодирования с преобразованием, дискретное косинусное преобразование (DCT), которое было впервые опубликовано Насиром Ахмедом, Т. Натараджаном и К. Р. Рао в 1974 году. DCT является наиболее широко используемой формой сжатия с потерями для популярные форматы сжатия изображений (например, JPEG ), стандарты кодирования видео (например, MPEG и H.264 / AVC ) и форматы сжатия звука (например, MP3 и AAC ).

В случае аудиоданных популярной формой кодирования с преобразованием является перцепционное кодирование, которое преобразует необработанные данные в область, которая более точно отражает информационное содержание. Например, вместо того, чтобы выражать звуковой файл как уровни амплитуды во времени, можно выразить его как частотный спектр во времени, что более точно соответствует восприятию звука человеком. Хотя сокращение данных (сжатие с потерями или без потерь) является основной целью кодирования с преобразованием, оно также позволяет достичь других целей: можно более точно представить данные для исходного объема пространства - например, в принципе, если начать с аналоговый или цифровой мастер- файл с высоким разрешением и файл MP3 заданного размера должны обеспечивать лучшее представление, чем необработанный несжатый звук в файле WAV или AIFF того же размера. Это связано с тем, что несжатый звук может уменьшить размер файла только за счет снижения битрейта или глубины, тогда как сжатие аудио может уменьшить размер при сохранении битрейта и глубины. Это сжатие приводит к избирательной потере наименее значимых данных, а не к потере данных по всем направлениям. Кроме того, кодирование с преобразованием может обеспечить лучшую область для манипулирования или иного редактирования данных - например, эквализация звука наиболее естественно выражается в частотной области (например, усиление басов), а не в необработанной временной области.

С этой точки зрения перцептивное кодирование, по сути, не связано с отбрасыванием данных, а скорее с их лучшим представлением. Другое использование для обратной совместимости и изящным деградации : в цветном телевидении, кодирующий цвет с помощью яркости - цветности области преобразования (например, YUV ) означает, что черно-белые наборы отображения яркости, игнорируя при этом информацию о цвете. Другой пример - субдискретизация цветности : использование цветовых пространств, таких как YIQ, используемых в NTSC, позволяет уменьшить разрешение компонентов в соответствии с человеческим восприятием - люди имеют самое высокое разрешение для черно-белого (яркость), более низкое. разрешение для цветов среднего спектра, таких как желтый и зеленый, и самое низкое для красного и синего - таким образом, NTSC отображает примерно 350 пикселей яркости на строку сканирования, 150 пикселей желтого и зеленого и 50 пикселей синего и красного, которые пропорциональны чувствительность человека к каждому компоненту.

Потеря информации

Форматы сжатия с потерями страдают от потери поколения : многократное сжатие и распаковка файла приведет к постепенной потере качества. Это контрастирует со сжатием данных без потерь, когда данные не будут потеряны при использовании такой процедуры. Теоретико-информационные основы сжатия данных с потерями обеспечиваются теорией искажения скорости. Подобно использованию вероятности в теории оптимального кодирования, теория искажения скорости в значительной степени опирается на байесовские оценки и теорию принятия решений для моделирования искажений восприятия и даже эстетических суждений.

Существуют две основные схемы сжатия с потерями:

  • В кодеках преобразования с потерями образцы изображения или звука берутся, нарезаются на небольшие сегменты, преобразуются в новое базовое пространство и квантуются. Затем полученные квантованные значения кодируются энтропией.
  • В кодеках с предсказанием с потерями предыдущие и / или последующие декодированные данные используются для предсказания текущей звуковой выборки или кадра изображения. Ошибка между предсказанными данными и реальными данными вместе с любой дополнительной информацией, необходимой для воспроизведения предсказания, затем квантуется и кодируется.

В некоторых системах эти два метода комбинируются, при этом кодеки преобразования используются для сжатия сигналов ошибок, генерируемых на этапе прогнозирования.

Сравнение

Преимущество методов с потерями перед методами без потерь заключается в том, что в некоторых случаях метод с потерями может создавать сжатый файл гораздо меньшего размера, чем любой метод без потерь, при этом отвечая требованиям приложения. Методы с потерями чаще всего используются для сжатия звука, изображений или видео. Это связано с тем, что эти типы данных предназначены для интерпретации человеком, когда разум может легко «заполнить пробелы» или увидеть прошлые очень незначительные ошибки или несоответствия - в идеале сжатие с потерями прозрачно (незаметно), что можно проверить с помощью теста ABX.. Файлы данных, использующие сжатие с потерями, меньше по размеру и, следовательно, дешевле хранить и передавать через Интернет, что является важным соображением для сервисов потокового видео, таких как Netflix, и сервисов потокового аудио, таких как Spotify.

Эмоциональные эффекты

Исследование, проведенное Audio Engineering Library, пришло к выводу, что более низкий битрейт (112 кбит / с) форматов сжатия с потерями, таких как MP3, оказывает определенное влияние на тембральные и эмоциональные характеристики, как правило, усиливает отрицательные эмоциональные качества и ослабляет положительные. Исследование также отметило, что труба - это инструмент, наиболее подверженный компрессии, а рог - меньше всего.

Прозрачность

Дополнительная информация: Прозрачность (сжатие данных)

Когда пользователь получает файл, сжатый с потерями (например, для сокращения времени загрузки), полученный файл может сильно отличаться от оригинала на битовом уровне, при этом не различаясь для человеческого уха или глаза для большинства практических целей. Многие методы сжатия сосредоточены на особенностях физиологии человека, принимая во внимание, например, то, что человеческий глаз может видеть свет только определенных длин волн. Психоакустическая модель описывает, как звук может быть с высокой степенью сжатия без ухудшения качества воспринимаемого. Дефекты, вызванные сжатием с потерями, которые заметны человеческому глазу или уху, известны как артефакты сжатия.

Коэффициент сжатия

Степень сжатия (то есть размер сжатого файла по сравнению с размером несжатого файла) видеокодеков с потерями почти всегда намного выше, чем у эквивалентов аудио и неподвижных изображений.

  • Видео можно сильно сжать (например, 100: 1) с небольшой видимой потерей качества.
  • Аудио часто может быть сжато до 10: 1 с почти незаметной потерей качества.
  • Неподвижные изображения часто сжимаются с потерями до 10: 1, как и со звуком, но потеря качества более заметна, особенно при ближайшем рассмотрении.
Транскодирование и редактирование
Дополнительная информация: Транскодирование

Важное предостережение относительно сжатия с потерями (формально транскодирования) заключается в том, что редактирование файлов, сжатых с потерями, приводит к потере цифровой генерации из-за перекодирования. Этого можно избежать, создавая файлы с потерями только из оригиналов (без потерь) и редактируя только исходные файлы (копии), например изображения в формате необработанных изображений, а не в формате JPEG. Если данные, которые были сжаты с потерями, декодируются и сжимаются без потерь, размер результата может быть сопоставим с размером данных до сжатия с потерями, но уже потерянные данные не могут быть восстановлены. Если вы решили использовать преобразование с потерями без сохранения оригинала, преобразование формата может потребоваться в будущем для достижения совместимости с программным обеспечением или устройствами ( смещение формата ) или во избежание выплаты лицензионных отчислений за декодирование или распространение сжатых файлов.

Редактирование файлов с потерями

См. Также: Commons: Commons: Software § JPEG, и Commons: Commons: Software § Ogg Vorbis (аудио)

Изменяя сжатые данные напрямую без декодирования и перекодирования, возможно редактирование файлов, сжатых с потерями, без ухудшения качества. Иногда также возможно редактирование, которое уменьшает размер файла, как если бы он был сжат в большей степени, но без больших потерь, чем это.

JPEG

Основными программами для редактирования файлов JPEG без потерь являются jpegtran производные exiftran(которые также сохраняют информацию Exif ) и Jpegcrop (обеспечивающие интерфейс Windows).

Это позволяет изображению быть

Пока ненужная информация уничтожается, качество оставшейся части не меняется.

Некоторые другие преобразования возможны до некоторой степени, например, объединение изображений с одинаковой кодировкой (составление бок о бок, как в сетке) или вставка изображений (например, логотипов) в существующие изображения (как через Jpegjoin ), так и масштабирование.

Некоторые изменения могут быть внесены в сжатие без перекодирования:

  • оптимизация сжатия (для уменьшения размера без изменения декодированного изображения)
  • преобразование между прогрессивным и непрогрессивным кодированием.

Бесплатное программное обеспечение IrfanView, предназначенное только для Windows, имеет в своем JPG_TRANSFORM плагине несколько операций с JPEG без потерь.

Метаданные

Метаданные, такие как теги ID3, комментарии Vorbis или информация Exif, обычно могут быть изменены или удалены без изменения базовых данных.

Масштабируемость понижающей дискретизации / сжатого представления

Может потребоваться субдискретизация или иное уменьшение разрешения представленного исходного сигнала и количества данных, используемых для его сжатого представления без повторного кодирования, как при отслаивании битрейта, но эта функция поддерживается не во всех конструкциях, поскольку не все кодеки кодируют данные в форме, позволяющей просто опустить менее важные детали. Некоторые известные проекты, которые имеют эту возможность, включают JPEG 2000 для неподвижных изображений и масштабируемое кодирование видео на основе H.264 / MPEG-4 AVC. Такие схемы также были стандартизированы для более старых проектов, таких как изображения JPEG с прогрессивным кодированием и видео MPEG-2 и MPEG-4 Part 2, хотя эти предыдущие схемы имели ограниченный успех с точки зрения принятия в повседневное использование в реальном мире. Без этой способности, которая часто имеет место на практике, для создания представления с более низким разрешением или более низкой точностью, чем заданное, нужно начинать с исходного исходного сигнала и кодировать или начинать со сжатого представления, а затем распаковывать и повторно -кодировать его ( транскодирование ), хотя последнее имеет тенденцию вызывать потерю цифрового поколения.

Другой подход - закодировать исходный сигнал с несколькими разными битрейтами, а затем либо выбрать, какой из них использовать (например, при потоковой передаче через Интернет - как в « SureStream » RealNetworks - или предлагая различные загрузки, как в Apple iTunes Store ), либо транслировать несколько, где используется лучшее, что было успешно получено, например, в различных реализациях иерархической модуляции. Подобные методы используются в MIP-картах, представлениях пирамид и более сложных методах масштабного пространства. Некоторые аудиоформаты включают комбинацию формата с потерями и коррекции без потерь, которые при объединении воспроизводят исходный сигнал; исправление можно удалить, оставив файл меньшего размера, сжатый с потерями. К таким форматам относятся MPEG-4 SLS (Scalable to Lossless), WavPack, OptimFROG DualStream и DTS-HD Master Audio в режиме без потерь (XLL) ).

Методы

Графика

Изображение

Дополнительная информация: сжатие изображения

3D компьютерная графика

видео

Дополнительная информация: Формат кодирования видео и сжатия видео

Аудио

Дополнительная информация: Формат кодирования аудио и сжатие аудиоданных

Общий

Речь

Дополнительная информация: Кодирование речи

Прочие данные

Исследователи (полусерьезно) выполняли сжатие текста с потерями, используя тезаурус для замены коротких слов на длинные, или методы генеративного текста, хотя они иногда попадают в соответствующую категорию преобразования данных с потерями.

Понижение разрешения

Общий вид сжатия с потерями - это понижение разрешения изображения, например, при масштабировании изображения, особенно при децимации. Можно также удалить части изображения с меньшей «нижней информацией», например, путем нарезания швов. Многие преобразования мультимедиа, такие как размытие по Гауссу, необратимы, как и сжатие с потерями: исходный сигнал не может быть восстановлен из преобразованного сигнала. Однако, как правило, они будут иметь тот же размер, что и оригинал, и не являются формой сжатия. Понижение разрешения имеет практическое применение, поскольку аппарат NASA New Horizons передал эскизы своего столкновения с Плутоном и Хароном до того, как отправил изображения с более высоким разрешением. Другое решение для медленных подключений - использование чересстрочной развертки изображений, которая постепенно определяет изображение. Таким образом, частичной передачи достаточно для предварительного просмотра окончательного изображения в версии с более низким разрешением, без создания масштабированной и полной версии.

Смотрите также
Примечания
  1. ^ Abedi, M.; Вс, В.; Чжэн, З. (июль 2019 г.). «Синусоидально-гиперболическое семейство преобразований с потенциальными приложениями при измерении сжатия». IEEE Transactions по обработке изображений. 28 (7): 3571–3583. DOI : 10.1109 / TIP.2019.2912355. PMID   31071031.
  2. ^ Европейское общество радиологов (2011). «Возможность использования необратимого сжатия изображений в радиологической визуализации. Документ с изложением позиции Европейского общества радиологов (ESR)». Insights Imaging. 2 (2): 103–115. DOI : 10.1007 / s13244-011-0071-х. PMC   3259360. PMID   22347940.
  3. ^ «Сжатие данных». Британская энциклопедия. Проверено 13 августа 2019.
  4. ^ Ахмед, Насир ; Натараджан, Т.; Рао, КР (январь 1974), "дискретного косинусного преобразования", IEEE Transactions на компьютерах, C-23 (1): 90-93, DOI : 10,1109 / TC.1974.223784
  5. ^ «T.81 - ЦИФРОВОЕ СЖАТИЕ И КОДИРОВАНИЕ НЕПРЕРЫВНЫХ ТОНОВЫХ ИЗОБРАЖЕНИЙ - ТРЕБОВАНИЯ И РЕКОМЕНДАЦИИ» (PDF). CCITT. Сентябрь 1992. Проверено 12 июля 2019.
  6. ^ «Хотя одной из основных целей цифровых кодеров восприятия звука является сокращение объема данных, это не является необходимой характеристикой. Как мы увидим, перцепционное кодирование можно использовать для улучшения представления цифрового звука за счет расширенного распределения битов ». Маскирование и перцепционное кодирование, Виктор Ломбарди, noisebetweenstations.com
  7. ^ Svetlik, Джо (5 декабря 2016). «MP3 делают вас менее счастливыми, - говорится в исследовании». Какой Hi-Fi?. Какой Hi-Fi?. Проверено 17 декабря 2018 года.
  8. ^ "Новые возможности jpegtran". sylvana.net. Проверено 20 сентября 2019.
  9. ^ a b c d e f Станкович, Радомир С.; Астола, Яакко Т. (2012). "Воспоминания о ранних работах в DCT: Интервью с К.Р. Рао" (PDF). Отпечатки с первых дней информационных наук. 60. Дата обращения 13 октября 2019.
  10. ^ a b К. Р. Рао и Дж. Дж. Хван, Методы и стандарты кодирования изображений, видео и аудио, Прентис Холл, 1996; JPEG: Глава 8; H.261: Глава 9; MPEG-1: Глава 10; MPEG-2: Глава 11.
  11. ^ Гукерт, Джон (весна 2012 г.). «Использование БПФ и MDCT в сжатии аудио MP3» (PDF). Университет Юты. Дата обращения 14 июля 2019.
  12. ^ Бранденбург, Карлхайнц (1999). «Объяснение MP3 и AAC» (PDF). Архивировано (PDF) из оригинала 13 февраля 2017 года.
  13. ^ Дарко, Джон Х. (2017-03-29). «Неудобная правда о Bluetooth-аудио». ДАР__КО. Архивировано из оригинала на 2018-01-14. Проверено 13 января 2018.
  14. ^ Форд, Джез (2015-08-24). "Что такое Sony LDAC и как он это делает?". AVHub. Проверено 13 января 2018.
  15. ^ Форд, Еж (2016-11-22). "aptX HD - без потерь или с потерями?". AVHub. Проверено 13 января 2018.
  16. ^ IH WITTEN; и другие. «Семантические и генеративные модели сжатия текста с потерями» (PDF). Компьютерный журнал. Проверено 13 октября 2007.
внешние ссылки

( Копия Wayback Machine )

Последняя правка сделана 2023-03-20 12:31:36
Содержание доступно по лицензии CC BY-SA 3.0 (если не указано иное).
Обратная связь: support@alphapedia.ru
Соглашение
О проекте