Спектрограмма

редактировать
Визуальное представление спектра частот сигнала, изменяющегося во времени Спектрограмма произнесенных слов «девятнадцатый век». Частоты показаны в возрастании по вертикальной оси, а время по горизонтальной оси. Легенда справа показывает, что интенсивность цвета увеличивается с увеличением плотности.

A спектрограмма - это визуальное представление спектра из частот сигнала, изменяющегося в зависимости от время. При применении к аудиосигналу спектрограммы иногда называют сонографами, голосовыми отпечатками или голосовыми диаграммами . Когда данные представлены на трехмерном графике, их можно назвать водопадами .

Спектрограммы широко используются в областях музыки, лингвистики, сонара, радар, обработка речи, сейсмология и другие. Спектрограммы звука могут использоваться для идентификации произносимых слов фонетически и для анализа различных звуков животных.

. Спектрограмма может быть создана с помощью оптического спектрометра, банка полосовых фильтров, преобразованием Фурье или вейвлет-преобразованием (в этом случае он также известен как скейлограмма или скалограмма ).

Шкалеограммы из DWT и CWT для аудиосэмпла

спектрограмма обычно изображается как тепловая карта, т. Е. как изображение с интенсивностью, показанной изменением цвета или яркости.

Содержание
  • 1 Формат
  • 2 Поколение
  • 3 Ограничения и ресинтез
  • 4 Приложения
  • 5 См. Также
  • 6 Ссылки
  • 7 Внешние ссылки
Формат

Общий формат - это график с двумя геометрическими измерениями: одна ось представляет время, а другая ось представляет частоту ; третье измерение, показывающее амплитуду конкретной частоты при конкретном t Время представлено интенсивностью или цветом каждой точки изображения.

Есть много вариантов формата: иногда вертикальная и горизонтальная оси меняются местами, поэтому время идет вверх и вниз; иногда как диаграмма водопада , где амплитуда представлена ​​высотой трехмерной поверхности, а не цветом или интенсивностью. Оси частоты и амплитуды могут быть либо линейными, либо логарифмическими, в зависимости от того, для чего используется график. Аудио обычно будет представлено с логарифмической осью амплитуды (вероятно, в децибелах или дБ), а частота будет линейной, чтобы подчеркнуть гармонические отношения, или логарифмической, чтобы подчеркнуть музыкальные, тональные отношения.

Поколение

Спектрограммы света могут быть создается непосредственно с помощью оптического спектрометра с течением времени.

Спектрограммы могут быть созданы из сигнала временной области одним из двух способов: аппроксимированы как набор фильтров, который получается из серии полосовых фильтров (это был единственным способом до появления современной цифровой обработки сигналов), или рассчитанный по временному сигналу с использованием преобразования Фурье. Эти два метода фактически формируют два разных частотно-временных представления, но при некоторых условиях они эквивалентны.

Метод полосовых фильтров обычно использует аналоговую обработку для разделения входного сигнала на полосы частот; величина выходного сигнала каждого фильтра управляет преобразователем, который записывает спектрограмму в виде изображения на бумаге.

Создание спектрограммы с использованием БПФ является цифровым процессом. Цифровые дискретизированные данные во временной области разбиваются на фрагменты, которые обычно перекрываются, и преобразуются Фурье для вычисления величины частотного спектра для каждого фрагмента. Каждый фрагмент соответствует вертикальной линии на изображении; измерение величины в зависимости от частоты в определенный момент времени (средняя точка фрагмента). Эти спектры или временные графики затем «накладываются бок о бок» для формирования изображения или трехмерной поверхности или слегка перекрываются различными способами, то есть оконным режимом. Этот процесс по существу соответствует вычислению квадрата величины кратковременного преобразования Фурье (STFT) сигнала s (t) {\ displaystyle s (t)}s (t) - то есть для ширины окна ω {\ displaystyle \ omega}\ omega , спектрограмма (t, ω) = | S T F T (t, ω) | 2 {\ displaystyle \ mathrm {спектрограмма} (t, \ omega) = \ left | \ mathrm {STFT} (t, \ omega) \ right | ^ {2}}\ mathrm {спектрограмма } (t, \ omega) = \ left | \ mathrm {STFT} (t, \ omega) \ right | ^ 2 .

Ограничения и ресинтез

Из приведенной выше формулы видно, что спектрограмма не содержит информации о точной или даже приблизительной фазе сигнала, который она представляет. По этой причине невозможно обратить процесс и сгенерировать копию исходного сигнала из спектрограммы, хотя в ситуациях, когда точная начальная фаза не важна, может быть возможно сгенерировать полезную аппроксимацию исходного сигнала. Спектрограф звука для анализа и ресинтеза - это пример компьютерной программы, которая пытается это сделать. Pattern Playback был первым синтезатором речи, разработанным в Haskins Laboratories в конце 1940-х годов, который преобразовывал изображения акустических паттернов речи (спектрограммы) обратно в звук.

На самом деле, в спектрограмме есть некоторая информация о фазе, но она появляется в другой форме, как временная задержка (или групповая задержка), которая является двойным для мгновенной частоты..

Размер и форма окна анализа могут варьироваться. Меньшее (более короткое) окно даст более точные результаты по времени за счет точности представления частоты. Более крупное (более длинное) окно обеспечит более точное представление частоты за счет точности представления времени. Это пример принципа неопределенности Гейзенберга, согласно которому произведение точности двух сопряженных переменных больше или равно константе (B * T>= 1 в обычном

Приложения
  • Ранние аналоговые спектрограммы применялись в широком диапазоне областей, включая изучение криков птиц (например, большой синицы ), при этом текущие исследования продолжаются с использованием современного цифрового оборудования и применяется ко всем звукам животных. Современное использование цифровой спектрограммы особенно полезно для изучения частотной модуляции (FM) в криках животных. В частности, отличительные характеристики чириканья FM, широкополосных щелчков и социальной гармонизации легче всего визуализировать с помощью спектрограммы.
  • Спектрограммы полезны для помощи в преодолении дефицита речи и в обучении речи той части населения, которая глубоко глухой
  • Изучение фонетики и синтеза речи часто облегчается с помощью спектрограмм.
  • В синтезе речи на основе глубокого обучения, спектрограмма (или спектрограмма в мел-шкале) сначала предсказывается моделью seq2seq, затем спектрограмма подается на нейронный вокодер для получения синтезированной необработанной формы волны.
  • Путем обращения процесса создания спектрограммы можно для создания сигнала, спектрограмма которого представляет собой произвольное изображение. Этот прием можно использовать для скрытия изображения в аудиозаписи, и его использовали несколько исполнителей электронной музыки. См. Также стеганография.
  • Некоторая современная музыка создается с использованием спектрограмм в качестве промежуточного носителя; изменение интенсивности различных частот с течением времени или даже создание новых путем их рисования и последующего обратного преобразования. См. Изменение звуковой шкалы времени и высоты тона и Фазовый вокодер.
  • Спектрограммы могут использоваться для анализа результатов прохождения тестового сигнала через сигнальный процессор, такой как фильтр, для проверки его характеристик.
  • Спектрограммы высокого разрешения используются при разработке ВЧ- и СВЧ-систем
  • Спектрограммы теперь используются для отображения параметров рассеяния, измеренных с помощью векторных анализаторов цепей
  • Геологическая служба США и Консорциум IRIS обеспечивают отображение спектрограмм почти в реальном времени для мониторинга сейсмических станций
  • Спектрограммы могут использоваться с рекуррентными нейронными сетями для распознавания речи.
См. также
Ссылки
Внешние ссылки
Викискладе есть материалы, относящиеся к Спектрограмме.
Найдите спектрограмму в Викисловаре, бесплатном словаре.
Последняя правка сделана 2021-06-09 02:13:03
Содержание доступно по лицензии CC BY-SA 3.0 (если не указано иное).
Обратная связь: support@alphapedia.ru
Соглашение
О проекте