Машинное зрение ( MV) - это технология и методы, используемые для обеспечения автоматического контроля и анализа на основе изображений для таких приложений, как автоматический контроль, управление процессами и управление роботами, обычно в промышленности. Машинное зрение относится ко многим технологиям, программным и аппаратным продуктам, интегрированным системам, действиям, методам и знаниям. Машинное зрение как дисциплину системной инженерии можно рассматривать в отличие от компьютерного зрения, одной из форм информатики. Он пытается по-новому интегрировать существующие технологии и применять их для решения реальных проблем. Этот термин является распространенным для этих функций в средах промышленной автоматизации, но также используется для этих функций в других средах, таких как безопасность и управление транспортными средствами.
Общий процесс машинного зрения включает детальное планирование требований и проекта, а затем создание решения. Во время выполнения процесс начинается с создания изображения, за которым следует автоматический анализ изображения и извлечение необходимой информации.
Определения термина «Машинное зрение» различаются, но все они включают технологию и методы, используемые для автоматического извлечения информации из изображения, в отличие от обработки изображений, когда на выходе получается другое изображение. Извлеченная информация может быть простым сигналом хорошей / плохой части или более сложным набором данных, таких как идентичность, положение и ориентация каждого объекта на изображении. Эта информация может быть использована для таких приложений, как автоматическая проверка и управление роботами и процессами в промышленности, для мониторинга безопасности и управления транспортными средствами. Эта область включает в себя большое количество технологий, программных и аппаратных продуктов, интегрированных систем, действий, методов и опыта. Машинное зрение - практически единственный термин, используемый для обозначения этих функций в приложениях промышленной автоматизации; этот термин менее универсален для этих функций в других средах, таких как безопасность и управление транспортным средством. Машинное зрение как дисциплину системной инженерии можно рассматривать в отличие от компьютерного зрения, одной из форм фундаментальной информатики ; Машинное зрение пытается по-новому интегрировать существующие технологии и применять их для решения реальных проблем таким образом, чтобы это соответствовало требованиям промышленной автоматизации и аналогичным областям применения. Этот термин также используется в более широком смысле на выставках и торговых группах, таких как Ассоциация автоматизированной обработки изображений и Европейская ассоциация машинного зрения. Это более широкое определение также включает продукты и приложения, которые чаще всего связаны с обработкой изображений. Основное применение машинного зрения - автоматический контроль и управление промышленными роботами / технологическими процессами. См. Глоссарий машинного зрения.
Основное применение машинного зрения - автоматическая проверка и сортировка на основе изображений, а также управление роботами; в этом разделе первое сокращено как «автоматическая проверка». Общий процесс включает подробное планирование требований и проекта, а затем создание решения. В этом разделе описывается технический процесс, происходящий во время работы решения.
Первым шагом в последовательности операций автоматической проверки является получение изображения, обычно с использованием камер, линз и освещения, которые были разработаны для обеспечения дифференциации, необходимой для последующей обработки. Пакеты программного обеспечения MV и разработанные в них программы затем используют различные методы обработки цифровых изображений для извлечения необходимой информации и часто принимают решения (например, прошел / не прошел) на основе извлеченной информации.
Компоненты автоматической системы контроля обычно включают в себя освещение, камеру или другой формирователь изображений, процессор, программное обеспечение и устройства вывода.
Устройство формирования изображения (например, камера) может быть отделено от основного блока обработки изображений или объединено с ним, и в этом случае комбинация обычно называется интеллектуальной камерой или интеллектуальным датчиком. Включение функции полной обработки в тот же корпус, что и камера, часто называют встроенной обработкой. При разделении соединение может быть выполнено со специализированным промежуточным оборудованием, специализированным устройством обработки или устройством захвата кадров в компьютере с использованием аналогового или стандартизованного цифрового интерфейса ( Camera Link, CoaXPress ). Реализации MV также используют цифровые камеры с возможностью прямого подключения (без фреймграббера) к компьютеру через интерфейсы FireWire, USB или Gigabit Ethernet.
В то время как обычная визуализация (2D-визуализация в видимом свете) чаще всего используется в МВ, альтернативы включают мультиспектральную визуализацию, гиперспектральную визуализацию, визуализацию в различных инфракрасных диапазонах, визуализацию с линейным сканированием, трехмерную визуализацию поверхностей и рентгеновскую визуализацию. Ключевые различия в визуализации в видимом свете MV 2D - это монохроматичность по сравнению с цветом, частота кадров, разрешение, а также то, является ли процесс визуализации одновременным по всему изображению, что делает его пригодным для движущихся процессов.
Хотя подавляющее большинство приложений машинного зрения решается с использованием двухмерного изображения, приложения машинного зрения, использующие трехмерное изображение, занимают растущую нишу в отрасли. Наиболее часто используемый метод для создания трехмерных изображений - это триангуляция на основе сканирования, которая использует движение продукта или изображения во время процесса формирования изображения. Лазер проецируется на поверхность объекта. В машинном зрении это достигается сканирующим движением, либо перемещением заготовки, либо перемещением камеры и системы лазерной визуализации. Линия просматривается камерой под другим углом; отклонение линии представляет собой вариации формы. Линии из нескольких сканированных изображений собираются в карту глубины или облако точек. Стереоскопическое зрение используется в особых случаях, связанных с уникальными особенностями, присутствующими в обоих обзорах пары камер. Другие 3D-методы, используемые для машинного зрения, основаны на времени полета и на сетке. Один из методов - это системы на основе массива сеток, использующие систему псевдослучайной структурированной подсветки, которая использовалась в системе Microsoft Kinect около 2012 года.
После получения изображения оно обрабатывается. Функции центральной обработки обычно выполняются CPU, GPU, FPGA или их комбинацией. Обучение глубокому обучению и логический вывод предъявляют более высокие требования к производительности обработки. Обычно используется несколько этапов обработки в последовательности, которая приводит к желаемому результату. Типичная последовательность может начинаться с таких инструментов, как фильтры, которые изменяют изображение, за которым следует извлечение объектов, затем извлечение (например, измерения, считывание кодов) данных из этих объектов с последующим сообщением этих данных или их сравнением с целевыми значениями для создавать и сообщать результаты "прошел / не прошел". Методы обработки изображений машинного зрения включают в себя:
Обычный результат работы систем автоматического контроля - это решения "годен / не годен". Эти решения могут, в свою очередь, запускать механизмы, которые отклоняют неисправные элементы или поднимают тревогу. Другие общие выходные данные включают информацию о положении и ориентации объекта для систем наведения робота. Кроме того, типы выходных данных включают числовые данные измерений, данные, считанные из кодов и символов, подсчет и классификацию объектов, отображение процесса или результатов, сохраненные изображения, аварийные сигналы от автоматизированных систем мониторинга космического пространства MV и сигналы управления процессом. Сюда также входят пользовательские интерфейсы, интерфейсы для интеграции многокомпонентных систем и автоматизированный обмен данными.
Машинное зрение обычно предоставляет роботу информацию о местоположении и ориентации, чтобы робот мог правильно схватить продукт. Эта возможность также используется для управления движением, которое проще, чем у роботов, например, для 1- или 2-осевого контроллера движения. Общий процесс включает подробное планирование требований и проекта, а затем создание решения. В этом разделе описывается технический процесс, происходящий во время работы решения. Многие этапы процесса такие же, как и при автоматическом контроле, за исключением того, что в результате основное внимание уделяется предоставлению информации о положении и ориентации.
Не далее как в 2006 году один отраслевой консультант сообщил, что рынок MV в Северной Америке составляет 1,5 миллиарда долларов. Однако главный редактор торгового журнала MV утверждал, что «машинное зрение - это не отрасль как таковая», а скорее «интеграция технологий и продуктов, которые предоставляют услуги или приложения, которые приносят пользу настоящим отраслям, таким как автомобилестроение или производство потребительских товаров., сельское хозяйство и оборона ".