Музыкальная визуализация или визуализация музыки, функция, которую можно найти в визуализаторах электронной музыки и программном обеспечении медиаплеера, генерирует анимированные изображения на основе музыкального произведения. Изображения обычно генерируются и отображаются в реальном времени и синхронизируются с музыкой во время ее воспроизведения.
Методы визуализации варьируются от простых (например, имитация дисплея осциллографа ) до сложных, которые часто включают ряд комбинированных эффектов. Изменения громкости и частотного спектра музыки входят в число свойств, используемых в качестве входных данных для визуализации.
Эффективная визуализация музыки направлена на достижение высокой степени визуальной корреляции между спектральными характеристиками музыкальной дорожки, такими как частота и амплитуда, и объектами или компонентами визуализируемого и отображаемого визуального образа.
«Музыкальная визуализация» может быть определена, в отличие от ранее существовавших предварительно созданных комбинаций музыки и визуализации (например, музыкальных видеоклипов ), по ее характеристике как генерируемая в реальном времени. Еще одно возможное различие видится некоторыми в способности некоторых систем визуализации музыки (таких как MilkDrop компании Geiss) создавать различные визуализации для каждой песни или звука при каждом запуске программы, в отличие от других форм визуализации музыки (например, музыки видео или дисплей с лазерным освещением ), которые всегда показывают одну и ту же визуализацию. Визуализация музыки может быть достигнута в двухмерной или трехмерной системе координат, где можно изменить до 6 измерений, при этом четвертое, пятое и шестое измерения - это цвет, интенсивность и прозрачность.
Первым визуализатором электронной музыки была Atari Video Music, представленная Atari Inc. в 1976 году и разработанная создателем домашней версии Pong Робертом Брауном. Идея заключалась в том, чтобы создать визуальное исследование, которое можно было бы реализовать в стереосистеме Hi-Fi. Он описан в US 4081829 . В Соединенном Королевстве визуализация музыки впервые была изобретена Фредом Джаддом.
Музыкальные и аудиоплееры были доступны на ранних домашних компьютерах, Sound to Light Generator (1985, Infinite Software) использовал, например, кассетный проигрыватель ZX Spectrum. В фильме 1984 года « Электрические сны» он явно использовался, хотя и в качестве предварительно сгенерированного эффекта, а не рассчитанного в реальном времени.
Для ПК / DOS одной из первых современных программ визуализации музыки была многоплатформенная программа Cthugha с открытым исходным кодом в 1993 году. В 1990-х годах появляющаяся музыкальная сцена с демо и трекером стала пионером в технике визуализации музыки в реальном времени на платформе ПК; результирующими примерами являются Cubic player (1994), Inertia Player (1995) или вообще их демо, генерируемые в реальном времени.
Впоследствии компьютерная визуализация музыки получила широкое распространение в середине-конце 1990-х годов в виде таких приложений, как Winamp (1997), Audion (1999) и SoundJam (2000). К 1999 году в продаже было несколько десятков бесплатных нетривиальных музыкальных визуализаторов. В частности, Milkdrop (2001) и его предшественник "Geiss-плагин" (1998) по Райан Geiss, G-Force по Энди О'Мирой и AVS (2000) по Nullsoft стала популярной музыки визуализаций. AVS является частью Winamp и недавно был открыт с открытым исходным кодом, а G-Force был лицензирован для использования в iTunes и Windows Media Center и в настоящее время является флагманским продуктом SoundSpectrum, запускающей программную компанию Энди О'Мира. В 2008 году iTunes добавила визуализатор «Магнитосфера», созданный The Barbarian Group.
С ростом популярности виртуальной реальности несколько стартапов начали работать над визуализацией музыки, хотя прием был неоднозначным. Один неофициальный опрос показал, что только 33% респондентов интересовались визуализацией музыки для VR.
Были применены приложения визуализации электронной музыки для улучшения восприятия музыки глухими и слабослышащими. Ричард Берн, кандидат наук из Университета Бирмингема, в настоящее время исследует устройство, которое отображает подробную визуальную обратную связь от электронных инструментов. Эти визуальные эффекты предоставят информацию о специфике воспроизводимого звука, например о высоте и гармониках звука. Это позволяет глухим музыкантам лучше понимать, какие ноты они играют, что позволяет им создавать музыку по-новому.
Исследователи из Национального университета Сингапура также создали устройство, которое улучшит музыкальный опыт глухих. Эта технология сочетает в себе музыкальный дисплей и тактильное кресло, которое объединяет звуковые качества музыки с вибрациями и визуальными образами, которые соотносятся с конкретными качествами музыки. Визуальный дисплей показывает различные формы, которые меняют размер, цвет и яркость в зависимости от музыки. Сочетание этого визуального дисплея с тактильным стулом, которое вибрирует вместе с музыкой, дает более всесторонний опыт прослушивания музыки для слабослышащих.
Музыкальную визуализацию также можно использовать в образовании. Cooper Union в Нью-Йорке использует музыкальную визуализацию, чтобы научить глухих детей звуку. Они разработали интерактивную световую студию в Американской школе жестов и английской младшей школе в Нью-Йорке. Он состоит из интерактивного настенного дисплея, который показывает цифровой вывод, созданный звуком и музыкой. Дети могут запускать игру на инструментах своим движением, и они могут наблюдать визуальный отклик от этой музыки. Они также могут видеть стену «говорящего цветка», в которой каждый цветок может преобразовывать звук в свет на основе определенных частот звуков.