Войти
Двумерная проекция гиперспектрального куба Гиперспектральная визуализация, как и другие спектральные изображения, собирает и обрабатывает информацию по всему электромагнитному спектру. Цель гиперспектрального изображения - получить спектр для каждого пикселя изображения сцены с целью поиска объектов, идентификации материалов или обнаружения процессов. Есть три основных ветви спектральных формирователей изображения. Существуют сканеры с подвижной метлой и соответствующие сканеры с метлой (пространственное сканирование), которые считывают изображения с течением времени, сканеры с последовательной полосой (спектральное сканирование), которые получают изображения области на разных длинах волн, и гиперспектральная визуализация моментальных снимков, в которой используется массив наблюдения. мгновенно сгенерировать изображение.
В то время как человеческий глаз видит цвет видимого света в основном в трех диапазонах (длинные волны - воспринимаются как красный, средние длины волн - как зеленые, а короткие - как синие), спектральная визуализация делит спектр на гораздо больше диапазонов. Этот метод разделения изображений на полосы может быть расширен за пределы видимого. При построении гиперспектральных изображений записанные спектры имеют высокое разрешение по длине волны и охватывают широкий диапазон длин волн. Гиперспектральная визуализация измеряет непрерывные спектральные полосы, в отличие от многополосной визуализации, которая измеряет разнесенные спектральные полосы.
Инженеры создают гиперспектральные датчики и системы обработки для приложений в астрономии, сельском хозяйстве, молекулярной биологии, биомедицинской визуализации, науках о Земле, физике и наблюдении. Гиперспектральные датчики смотрят на объекты, используя большую часть электромагнитного спектра. Некоторые объекты оставляют уникальные «отпечатки пальцев» в электромагнитном спектре. Эти «отпечатки пальцев», известные как спектральные сигнатуры, позволяют идентифицировать материалы, из которых состоит сканируемый объект. Например, спектральная характеристика нефти помогает геологам находить новые месторождения нефти.
Образно говоря, гиперспектральные сенсоры собирают информацию в виде набора «изображений». Каждое изображение представляет собой узкий диапазон длин волн электромагнитного спектра, также известный как спектральный диапазон. Эти `` изображения '' объединяются для формирования трехмерного ( x, y, λ) куба гиперспектральных данных для обработки и анализа, где x и y представляют два пространственных измерения сцены, а λ представляет собой спектральное измерение (включающее диапазон длины волн).
С технической точки зрения, у датчиков есть четыре способа измерения гиперспектрального куба: пространственное сканирование, спектральное сканирование, создание снимков и пространственно-спектральное сканирование.
Гиперспектральные кубы генерируются бортовыми датчиками, такими как воздушный видимый / инфракрасный спектрометр НАСА (AVIRIS), или спутниками, такими как EO-1 НАСА с его гиперспектральным прибором Hyperion. Однако во многих исследованиях по разработке и проверке используются портативные датчики.
Точность этих датчиков обычно измеряется спектральным разрешением, которое представляет собой ширину каждой полосы захваченного спектра. Если сканер обнаруживает большое количество довольно узких частотных диапазонов, можно идентифицировать объекты, даже если они зафиксированы только в небольшом количестве пикселей. Однако пространственное разрешение является важным фактором помимо спектрального разрешения. Если пиксели слишком большие, то несколько объектов захватываются одним и тем же пикселем, и их становится трудно идентифицировать. Если пиксели слишком малы, то интенсивность, фиксируемая каждой ячейкой датчика, мала, а уменьшенное отношение сигнал / шум снижает надежность измеряемых характеристик.
Получение и обработка гиперспектральных изображений также называется спектроскопией изображений или, применительно к гиперспектральному кубу, трехмерной спектроскопией.
Фотографии, иллюстрирующие выходные сигналы отдельных датчиков для четырех методов гиперспектральной визуализации. Слева направо: спектр щелей; монохроматическая пространственная карта; «перспективная проекция» гиперспектрального куба; пространственная карта с кодированием по длине волны. Существует четыре основных метода получения трехмерного ( x, y, λ) набора данных гиперспектрального куба. Выбор метода зависит от конкретного приложения, поскольку каждый метод имеет контекстно-зависимые преимущества и недостатки.
Методы получения гиперспектральных изображений, визуализируемых как секции гиперспектрального куба данных с его двумя пространственными измерениями (x, y) и одним спектральным измерением (лямбда). При пространственном сканировании каждый двумерный (2-D) выходной сигнал датчика представляет собой полный спектр щелей ( x, λ). Устройства гиперспектральной визуализации (HSI) для пространственного сканирования получают спектры щелей, проецируя полосу сцены на щель и диспергируя изображение щели с помощью призмы или решетки. У этих систем есть недостаток, заключающийся в том, что изображение анализируется по строкам (с помощью сканера с нажимной щеткой ), а также в наличии некоторых механических частей, интегрированных в оптическую цепь. В этих камерах с линейным сканированием пространственные измерения собираются посредством движения платформы или сканирования. Для этого требуются стабилизированные крепления или точная информация о наведении для «реконструкции» изображения. Тем не менее, системы линейного сканирования особенно распространены в дистанционном зондировании, где разумно использовать мобильные платформы. Системы линейного сканирования также используются для сканирования материалов, движущихся по конвейерной ленте. Особым случаем строчного сканирования является точечное сканирование (с помощью сканера-метлы ), при котором вместо щели используется точечная апертура, а датчик по существу является одномерным, а не двухмерным.
При спектральном сканировании выход каждого двухмерного датчика представляет собой монохроматическую («одноцветную») пространственную ( x, y) карту сцены. Устройства HSI для спектрального сканирования обычно основаны на оптических полосовых фильтрах (настраиваемых или фиксированных). Сцена спектрально сканируется путем замены одного фильтра на другой, пока платформа остается неподвижной. В таких «смотрящих» системах сканирования по длине волны спектральное размытие может происходить при движении внутри сцены, что делает недействительной спектральную корреляцию / обнаружение. Тем не менее, есть преимущество возможности выбирать спектральные полосы и иметь прямое представление двух пространственных измерений сцены. Если система формирования изображения используется на движущейся платформе, такой как самолет, полученные изображения на разных длинах волн соответствуют разным областям сцены. Пространственные особенности на каждом из изображений могут использоваться для перестройки пикселей.
В режиме без сканирования выходной сигнал одного двухмерного датчика содержит все пространственные ( x, y) и спектральные ( λ) данные. Устройства HSI без сканирования выдают полный куб данных сразу, без какого-либо сканирования. Образно говоря, одиночный снимок представляет собой перспективную проекцию куба данных, по которой может быть восстановлена его трехмерная структура. Наиболее заметными преимуществами этих систем гиперспектральной визуализации моментальных снимков являются преимущество моментальных снимков (более высокая светопропускная способность) и более короткое время сбора данных. Был разработан ряд систем, включая компьютерную томографическую спектрометрию визуализации (CTIS), спектрометрию визуализации с переформатированием волокна (FRIS), интегральную полевую спектроскопию с линзовыми решетками (IFS-L), мультиапертурный интегральный полевой спектрометр (Hyperpixel Array), интегральный полевая спектроскопия с зеркалами нарезки изображений (IFS-S), спектрометрия репликации изображений (IRIS), спектральная декомпозиция набора фильтров (FSSD), спектральная визуализация снимков с кодированной апертурой (CASSI), спектрометрия отображения изображений (IMS) и мультиспектральная интерферометрия Саньяка ( MSI). Однако вычислительные затраты и производственные затраты высоки. В попытке снизить вычислительные требования и потенциально высокую стоимость несканирующих гиперспектральных приборов были продемонстрированы прототипы устройств на основе многомерных оптических вычислений. Эти устройства основаны на механизме расчета спектра многомерных оптических элементов или модуле спектрального расчета пространственного модулятора света. На этих платформах химическая информация вычисляется в оптической области до построения изображения, так что химическое изображение полагается на обычные системы камер без дополнительных вычислений. Недостатком этих систем является то, что спектральная информация никогда не собирается, т.е. только химическая информация, так что постобработка или повторный анализ невозможны.
При пространственно-спектральном сканировании выход каждого двухмерного датчика представляет собой кодированную по длине волны («цвет радуги», λ = λ ( y)) пространственную ( x, y) карту сцены. Прототип этой техники, представленный в 2014 году, состоит из камеры на некотором ненулевом расстоянии за базовым щелевым спектроскопом (щель + диспергирующий элемент). Усовершенствованные системы пространственно-спектрального сканирования могут быть получены путем размещения диспергирующего элемента перед системой пространственного сканирования. Сканирование может быть достигнуто перемещением всей системы относительно сцены, перемещением только камеры или перемещением только щели. Пространственно-спектральное сканирование объединяет некоторые преимущества пространственного и спектрального сканирования, тем самым устраняя некоторые из их недостатков.
Мультиспектральные и гиперспектральные различия Гиперспектральная визуализация - это часть класса методов, обычно называемых спектральной визуализацией или спектральным анализом. Термин «гиперспектральная визуализация» произошел от разработки НАСА бортового спектрометра визуализации (AIS) и AVIRIS в середине 1980-х годов. Хотя НАСА предпочитает более ранний термин «визуальная спектроскопия», чем «гиперспектральная визуализация», использование последнего термина стало более распространенным в научном и ненаучном языке. В рецензируемом письме эксперты рекомендуют использовать термины «визуализирующая спектроскопия» или «спектральная визуализация» и избегать преувеличенных префиксов, таких как «гипер-», «супер-» и «ультра-», чтобы избежать неправильного употребления терминов в обсуждении.
Гиперспектральная визуализация связана с мультиспектральной визуализацией. Различие между гипер- и многодиапазонным иногда ошибочно основывается на произвольном «количестве диапазонов» или на типе измерения. Гиперспектральная визуализация (HSI) использует непрерывные и смежные диапазоны длин волн (например, 400 - 1100 нм с шагом 1 нм), в то время как многополосная визуализация (MSI) использует подмножество целевых длин волн в выбранных местах (например, 400 - 1100 нм с шагом 20 нм).).
Многополосная визуализация имеет дело с несколькими изображениями в дискретных и несколько узких полосах. «Дискретность и в некоторой степени узость» - вот что отличает мультиспектральное изображение в видимой длине волны от цветной фотографии. Мультиспектральный датчик может иметь много диапазонов, охватывающих спектр от видимого до длинноволнового инфракрасного. Мультиспектральные изображения не создают «спектр» объекта. Landsat - отличный пример получения мультиспектральных изображений.
Гиперспектральный имеет дело с отображением узких спектральных полос в непрерывном спектральном диапазоне, создавая спектры всех пикселей в сцене. Датчик только с 20 полосами также может быть гиперспектральным, когда он охватывает диапазон от 500 до 700 нм с 20 полосами шириной 10 нм каждая. (В то время как датчик с 20 дискретными полосами, охватывающими видимую, ближнюю, коротковолновую, средневолновую и длинноволновую инфракрасную области, будет считаться мультиспектральным.)
Ультраспектральный может быть зарезервирован для датчиков изображения интерферометрического типа с очень высоким спектральным разрешением. Эти датчики часто имеют (но не обязательно) низкое пространственное разрешение, всего несколько пикселей, ограничение, налагаемое высокой скоростью передачи данных.
Гиперспектральное дистанционное зондирование используется в широком спектре приложений. Первоначально он был разработан для горнодобывающей промышленности и геологии (способность гиперспектральных изображений выявлять различные полезные ископаемые делает его идеальным для горнодобывающей и нефтяной промышленности, где его можно использовать для поиска руды и нефти), теперь он распространился на такие широко распространенные области, как экология. и наблюдение, а также исторические исследования рукописей, такие как изображение Архимедова Палимпсеста. Эта технология становится все более доступной для общественности. Такие организации, как НАСА и Геологическая служба США, имеют каталоги различных минералов и их спектральные характеристики и разместили их в Интернете, чтобы сделать их доступными для исследователей. В меньшем масштабе гиперспектральная визуализация в ближнем инфракрасном диапазоне может использоваться для быстрого мониторинга применения пестицидов к отдельным семенам для контроля качества оптимальной дозы и однородного покрытия.
Гиперспектральные камеры встроены в OnyxStar HYDRA-12 ЛА из AltiGator Хотя стоимость получения гиперспектральных изображений обычно высока для конкретных культур и в конкретном климате, использование гиперспектрального дистанционного зондирования для мониторинга развития и состояния сельскохозяйственных культур возрастает. В Австралии ведется работа по использованию спектрометров с визуализацией для выявления разновидностей винограда и разработки системы раннего предупреждения о вспышках болезней. Кроме того, ведется работа по использованию гиперспектральных данных для определения химического состава растений, которые могут быть использованы для определения уровня питательных веществ и воды в пшенице в орошаемых системах. В меньшем масштабе гиперспектральная визуализация в ближнем инфракрасном диапазоне может использоваться для быстрого мониторинга применения пестицидов к отдельным семенам для контроля качества оптимальной дозы и однородного покрытия.
Еще одно применение в сельском хозяйстве - определение животных белков в комбикормах, чтобы избежать губчатой энцефалопатии крупного рогатого скота (BSE), также известной как коровье бешенство. Были проведены различные исследования, чтобы предложить инструменты, альтернативные эталонному методу обнаружения (классическая микроскопия ). Одна из первых альтернатив - микроскопия в ближнем инфракрасном диапазоне (NIR), которая сочетает в себе преимущества микроскопии и NIR. В 2004 году было опубликовано первое исследование, посвященное этой проблеме с помощью гиперспектральных изображений. Были созданы гиперспектральные библиотеки, которые представляют разнообразие ингредиентов, обычно присутствующих при приготовлении комбикормов. Эти библиотеки можно использовать вместе с хемометрическими инструментами для исследования предела обнаружения, специфичности и воспроизводимости метода гиперспектральной визуализации NIR для обнаружения и количественной оценки ингредиентов животного происхождения в кормах.
Исследователи из Университета Монреаля работают с Photon etc и Optina Diagnostics, чтобы протестировать использование гиперспектральной фотографии в диагностике ретинопатии и отека желтого пятна до того, как произойдет повреждение глаза. Метаболическая гиперспектральная камера обнаружит снижение потребления кислорода сетчаткой, что указывает на потенциальное заболевание. После этого офтальмолог сможет обработать сетчатку с помощью инъекций, чтобы предотвратить возможное повреждение.
Для сканирования сыров использовалась система линейного сканирования с пуш-метлой, и изображения были получены с использованием камеры с линейным сканированием, оснащенной Hg-Cd-Te (386x288), с галогеновым светом в качестве источника излучения. В пищевой промышленности создание гиперспектральных изображений в сочетании с интеллектуальным программным обеспечением позволяет цифровым сортировщикам (также называемым оптическими сортировщиками ) выявлять и удалять дефекты и посторонние материалы (FM), которые невидимы для традиционных камер и лазерных сортировщиков. За счет повышения точности удаления дефектов и FM-удаления цель кухонного комбайна заключается в улучшении качества продукции и увеличении выхода продукции.
Использование гиперспектральных изображений на цифровых сортировщиках обеспечивает неразрушающий, 100-процентный контроль на линии при полном объеме производства. Программное обеспечение сортировщика сравнивает полученные гиперспектральные изображения с заданными пользователем порогами приема / отклонения, а система выброса автоматически удаляет дефекты и посторонние материалы.
На гиперспектральном изображении картофельных полосок с сахарным концом видны невидимые дефекты. Недавнее коммерческое внедрение сортировщиков пищевых продуктов на основе гиперспектральных датчиков наиболее продвинуто в ореховой промышленности, где установленные системы максимально удаляют камни, скорлупу и другие посторонние материалы (FM) и посторонние растительные вещества (EVM) из грецких орехов, орехов пекан, миндаля, фисташек., арахис и другие орехи. Здесь улучшенное качество продукции, низкий уровень ложных браковок и способность справляться с большим количеством поступающих дефектов часто оправдывают стоимость технологии.
Коммерческое внедрение гиперспектральных сортировщиков также быстро продвигается в отрасли переработки картофеля, где эта технология обещает решить ряд нерешенных проблем с качеством продукции. Ведется работа по использованию гиперспектральных изображений для обнаружения «кончиков сахара», «полого сердца» и «обыкновенной парши» - состояний, от которых страдают переработчики картофеля.
Набор камней сканируется тепловизором Specim LWIR-C в тепловом инфракрасном диапазоне от 7,7 мкм до 12,4 мкм. Кварц и полевой шпат спектры отчетливо узнаваемы. С помощью гиперспектральных изображений можно быстро нанести на карту геологические образцы, такие как керны, почти все полезные ископаемые, представляющие коммерческий интерес. Слияние спектральных изображений SWIR и LWIR является стандартом для обнаружения минералов в группах полевого шпата, кремнезема, кальцита, граната и оливина, поскольку эти минералы имеют наиболее характерную и сильную спектральную сигнатуру в областях LWIR.
Развито гиперспектральное дистанционное зондирование полезных ископаемых. Многие минералы можно идентифицировать по аэрофотоснимкам, и их связь с присутствием ценных минералов, таких как золото и алмазы, хорошо изучена. В настоящее время наблюдается прогресс в понимании взаимосвязи между утечками нефти и газа из трубопроводов и естественных скважин и их воздействием на растительность и спектральные характеристики. Последние работы включают докторские диссертации Верффа и Нумена.
Измерение гиперспектрального теплового инфракрасного излучения, сканирование вне помещения в зимних условиях, температура окружающей среды -15 ° C - спектры относительной яркости от различных целей на изображении показаны стрелками. ИК - спектры от различных объектов, таких как часы стекла имеют четко отличительные особенности. Уровень контрастности указывает на температуру объекта. Это изображение было получено с помощью гиперспектрального тепловизора Specim LWIR. Гиперспектральное наблюдение - это реализация технологии гиперспектрального сканирования для целей наблюдения. Гиперспектральная визуализация особенно полезна при военном наблюдении из-за мер противодействия, которые военные организации теперь принимают, чтобы избежать наблюдения с воздуха. Идея, лежащая в основе гиперспектрального наблюдения, заключается в том, что гиперспектральное сканирование извлекает информацию из такой большой части светового спектра, что любой объект должен иметь уникальную спектральную сигнатуру по крайней мере в нескольких из множества сканируемых полос. В SEALs из NSWDG, убившие Усаму бен Ладена в мае 2011 года использовал эту технологию при проведении рейда (Spear Операция Нептуна) на соединения Усамы бен Ладена в Абботтабаде, Пакистан. Гиперспектральная визуализация также показала потенциал для использования в целях распознавания лиц. Было показано, что алгоритмы распознавания лиц с использованием гиперспектральных изображений работают лучше, чем алгоритмы с использованием традиционных изображений.
Традиционно коммерчески доступные тепловые инфракрасные гиперспектральные системы визуализации нуждались в охлаждении жидким азотом или гелием, что делало их непрактичными для большинства приложений наблюдения. В 2010 году Specim представила тепловизионную инфракрасную гиперспектральную камеру, которую можно использовать для наружного наблюдения и приложений БПЛА без внешнего источника света, такого как солнце или луна.
В астрономии гиперспектральные изображения используются для определения спектрального изображения с пространственным разрешением. Поскольку спектр является важной диагностикой, наличие спектра для каждого пикселя позволяет решать больше научных задач. В астрономии этот метод обычно называют спектроскопией интегрального поля, и примеры этого метода включают FLAMES и SINFONI на очень большом телескопе, но также этот метод используется в спектрометре Advanced CCD Imaging Spectrometer на рентгеновской обсерватории Chandra.
Дистанционная химическая визуализация одновременного выброса SF 6 и NH 3 на расстоянии 1,5 км с помощью спектрометра Telops Hyper-Cam Солдаты могут подвергаться разнообразным химическим опасностям. Эти угрозы в основном невидимы, но обнаруживаются с помощью технологии гиперспектральной визуализации. Telops Hyper-Cam, введенный в 2005 году, продемонстрировал это на расстоянии до 5 км.
Верхняя панель: Контурная карта усредненной по времени спектральной яркости при 2078 см -1, соответствующей эмиссионной линии CO 2. Нижняя панель: Контурная карта спектральной яркости на 2580 см -1, соответствующей континууму излучения твердых частиц в шлейфе. Полупрозрачный серый прямоугольник указывает положение стопки. Горизонтальная линия в строке 12 между столбцами 64-128 указывает пиксели, используемые для оценки фонового спектра. Измерения выполнены с помощью Telops Hyper-Cam. В большинстве стран требуется постоянный мониторинг выбросов, производимых угольными и мазутными электростанциями, установками для сжигания бытовых и опасных отходов, цементными заводами, а также многими другими типами промышленных источников. Этот мониторинг обычно выполняется с использованием систем экстракционного отбора проб в сочетании с методами инфракрасной спектроскопии. Некоторые недавно выполненные измерения зазора позволили оценить качество воздуха, но не многие удаленные независимые методы позволяют проводить измерения с низкой погрешностью.
Недавние исследования показывают, что гиперспектральные изображения могут быть полезны для обнаружения развития трещин на тротуарах, которые трудно обнаружить по изображениям, полученным с помощью камер видимого спектра.
В феврале 2019 года Консультативный комитет по стандартам космических данных ( CCSDS ), основанный ведущими мировыми отраслями космической промышленности, утвердил стандарт сжатия мультиспектральных и гиперспектральных изображений как без потерь, так и почти без потерь ( CCSDS 123 ). Основанный на алгоритме NASA fast-lossless, он требует очень мало памяти и вычислительных ресурсов по сравнению с альтернативами, такими как JPEG 2000.
Коммерческие реализации CCSDS 123 включают:
Основное преимущество гиперспектральной визуализации заключается в том, что, поскольку в каждой точке собирается весь спектр, оператору не требуется предварительное знание образца, а постобработка позволяет получить всю доступную информацию из набора данных. Гиперспектральная визуализация также может использовать преимущества пространственных отношений между различными спектрами в окрестности, позволяя создавать более сложные спектрально-пространственные модели для более точной сегментации и классификации изображения.
Основные недостатки - стоимость и сложность. Для анализа гиперспектральных данных необходимы быстрые компьютеры, чувствительные детекторы и большие объемы хранения данных. Необходим значительный объем хранилища данных, поскольку гиперспектральные кубы без сжатия представляют собой большие многомерные наборы данных, потенциально превышающие сотни мегабайт. Все эти факторы значительно увеличивают стоимость получения и обработки гиперспектральных данных. Кроме того, одним из препятствий, с которыми пришлось столкнуться исследователям, является поиск способов программирования гиперспектральных спутников для самостоятельной сортировки данных и передачи только наиболее важных изображений, поскольку передача и хранение такого большого количества данных может оказаться сложной и дорогостоящей. Как относительно новый аналитический метод, весь потенциал гиперспектральной визуализации еще не реализован.
