Войти
Ребенок, обнаруженный простым алгоритмом распознавания жестов, определяющим местоположение и движение руки 
Распознавание жестов обычно обрабатывается в промежуточное ПО, результаты передаются в пользовательские приложения. Распознавание жестов - это тема в информатике и языковых технологиях с целью интерпретация человеческих жестов с помощью математических алгоритмов. Жесты могут исходить из любого движения или состояния тела, но обычно исходят от лица или руки. Текущие фокусы в этой области включают распознавание эмоций по лицу и распознаванию жестов рук. Пользователи могут использовать простые жесты для управления устройствами или взаимодействия с ними, не касаясь их физически. Многие подходы были сделаны с использованием камер и алгоритмов компьютерного зрения для интерпретации языка жестов. Однако идентификация и распознавание позы, походки, проксемики и человеческого поведения также является предметом методов распознавания жестов. Распознавание жестов можно рассматривать как способ для компьютеров начать понимать язык человеческого тела, тем самым создавая более прочный мост между машинами и людьми, чем примитивные текстовые пользовательские интерфейсы или даже GUI. (графические пользовательские интерфейсы), которые по-прежнему ограничивают ввод большей части клавиатуры и мыши и взаимодействуют естественным образом без каких-либо механических устройств. Используя концепцию распознавания жестов, можно указать пальцем, в этот момент он будет двигаться соответственно. Это может сделать обычный ввод на устройствах таким и даже избыточным.
Функции распознавания жестов:
Основные области применения распознавания жестов в текущем сценарии :
Распознавание жестов может выполняться с om компьютерное зрение и обработка изображений.
Литература включает текущую работу в области компьютерного зрения по улавливанию жестов или более общей человеческой позы и движений с помощью камер, подключенных к компьютеру..
Распознавание жестов и перьевые вычисления: перьевые вычисления снижают нагрузку на оборудование системы, а также увеличивают диапазон объектов физического мира, которые можно использовать для управления, помимо традиционных цифровых объектов, таких как клавиатуры и мыши. Такие реализации могут позволить создать новый диапазон оборудования, для которого не требуются мониторы. Эта идея может привести к созданию голографического дисплея. Термин распознавание жестов использовался для более узкого обозначения символов рукописного ввода без ввода текста, таких как рукописный ввод на графическом планшете, мультитач жесты и мышь. жест распознавание. Это взаимодействие с компьютером посредством рисования символов курсором указывающего устройства. (см. Перьевые вычисления )
В компьютерных интерфейсах различают два типа жестов: мы рассматриваем онлайн-жесты, которые также можно рассматривать как прямые манипуляции, такие как масштабирование и вращение. Напротив, офлайн-жесты обычно обрабатываются после завершения взаимодействия; например, рисуется круг для активации контекстного меню.
Бесконтактный пользовательский интерфейс - это развивающийся тип технологии в отношении управление жестами. Бесконтактный пользовательский интерфейс (TUI) - это процесс управления компьютером с помощью движений тела и жестов без касания клавиатуры, мыши или экрана. Бесконтактный интерфейс в дополнение к управлению жестами становится широко популярным, поскольку они предоставить возможность взаимодействовать с устройствами, не касаясь их физически.
Существует ряд устройств, использующих этот тип интерфейса, например смартфоны, ноутбуки, игры, телевидение и музыкальное оборудование.
Один из типов бесконтактного интерфейса использует Bluetooth-соединение смартфона для активации системы управления посетителями компании. Это избавляет от необходимости прикасаться к интерфейсу во время пандемии COVID-19.
Возможность отслеживать движения человека и определять, какие жесты они могут выполнять, может достигается с помощью различных инструментов. Кинетические пользовательские интерфейсы (KUI) представляют собой развивающийся тип пользовательских интерфейсов, которые позволяют пользователям взаимодействовать с вычислительными устройствами посредством движения объектов и тел. Примеры KUI включают осязаемые пользовательские интерфейсы и игры с поддержкой движения, такие как Wii и Microsoft Kinect, а также другие интерактивные проекты.
Хотя есть Это большой объем исследований, проведенных в области распознавания жестов на основе изображений / видео, существуют некоторые различия в инструментах и средах, используемых между реализациями.
Другим примером этого является жест мыши отслеживание, где движение мыши соотносится с символом, нарисованным рукой человека, который может изучать изменения ускорения с течением времени для представления жестов. Программное обеспечение также компенсирует тремор человека и непреднамеренное движение. Датчики этих интеллектуальных светоизлучающих кубов могут использоваться для обнаружения рук и пальцев, а также других объектов поблизости и могут использоваться для обработки данных. Большинство приложений связаны с синтезом музыки и звука, но могут применяться и в других областях.
Существуют различные способы отслеживания и анализа жестов, и на диаграмме выше представлена некоторая базовая схема. Например, объемные модели передают информацию, необходимую для тщательного анализа, однако они оказываются очень интенсивными с точки зрения вычислительной мощности и требуют дальнейших технологических разработок для реализации для анализа в реальном времени. С другой стороны, модели на основе внешнего вида легче обрабатывать, но обычно им не хватает универсальности, необходимой для взаимодействия человека с компьютером. В зависимости от типа входных данных подход к интерпретации жеста может быть различным. Однако большинство методов полагаются на ключевые указатели, представленные в трехмерной системе координат. На основе их относительного движения жест может быть обнаружен с высокой точностью, в зависимости от качества ввода и подхода алгоритма.. Чтобы интерпретировать движения тела, нужно классифицировать их в соответствии с общими свойства и сообщение, которое могут выражать движения. Например, на языке жестов каждый жест представляет собой слово или фразу.
В некоторых литературных источниках различают два разных подхода к распознаванию жестов: на основе 3D-модели и на основе внешнего вида. Самый передовой метод использует трехмерную информацию о ключевых элементах частей тела, чтобы получить несколько важных параметров, таких как положение ладони или углы суставов. С другой стороны, системы на основе внешнего вида используют изображения или видео для прямой интерпретации.
Настоящая рука (слева) интерпретируется как набор вершин и линий в версии 3D-сетки (справа), и программное обеспечение использует их относительное положение и взаимодействие, чтобы сделать вывод о жесте. Подход с трехмерной моделью может использовать объемные или скелетные модели или даже их комбинацию. Объемные подходы широко используются в индустрии компьютерной анимации и для целей компьютерного зрения. Модели обычно создаются из сложных трехмерных поверхностей, таких как NURBS или полигональные сетки.
Недостатком этого метода является то, что он требует больших вычислительных ресурсов, а системы для анализа в реальном времени еще не разработаны. На данный момент более интересным подходом было бы сопоставление простых примитивных объектов с наиболее важными частями тела человека (например, цилиндры для рук и шеи, сфера для головы) и анализ того, как они взаимодействуют друг с другом. Кроме того, некоторые абстрактные структуры, такие как суперквадрики и обобщенные цилиндры, могут быть даже более подходящими для аппроксимации частей тела.
Версия скелета (справа) эффективно моделирует руку (слева). У него меньше параметров, чем у объемной версии, и его легче вычислить, что делает его пригодным для систем анализа жестов в реальном времени. Вместо интенсивной обработки 3D-моделей и работы с множество параметров, можно просто использовать упрощенную версию параметров угла сочленения вместе с длинами сегментов. Это известно как скелетное представление тела, где вычисляется виртуальный скелет человека и части тела сопоставляются с определенными сегментами. Анализ здесь выполняется с использованием положения и ориентации этих сегментов и отношения между каждым из них (например, угол между суставами и относительное положение или ориентация)
Преимущества использования скелетных моделей:
Эти двоичные изображения силуэта (слева) или контура (справа) представляют собой типичные входные данные для алгоритмов на основе внешнего вида. Они сравниваются с разными шаблонами рук, и, если они совпадают, выводится соответствующий жест. Эти модели больше не используют пространственное представление тела, потому что они получают параметры прямо из изображений или видео с помощью базы данных шаблонов. Некоторые из них основаны на деформируемых 2D-шаблонах частей тела человека, особенно рук. Деформируемые шаблоны - это наборы точек на контуре объекта, используемые в качестве узлов интерполяции для аппроксимации контура объекта. Одна из простейших функций интерполяции - линейная, которая выполняет усреднение формы на основе наборов точек, параметров изменчивости точек и внешних деформаторов. Эти модели на основе шаблонов в основном используются для отслеживания рук, но также могут быть полезны для простой классификации жестов.
Второй подход к обнаружению жестов с использованием моделей на основе внешнего вида использует последовательности изображений в качестве шаблонов жестов. Параметрами для этого метода являются либо сами изображения, либо определенные на их основе функции. В большинстве случаев используются только один (моноскопический) или два (стереоскопический) вид.
Электромиография (ЭМГ) касается изучения электрических сигналов, производимых мышцами тела. Посредством классификации данных, полученных от мышц руки, можно классифицировать действие и, таким образом, ввести жест во внешнее программное обеспечение. Потребительские устройства ЭМГ позволяют использовать неинвазивные методы, такие как повязка на руку или ногу, и подключаются через Bluetooth. Благодаря этому у ЭМГ есть преимущество перед визуальными методами, поскольку пользователю не нужно смотреть в камеру для ввода данных, что обеспечивает большую свободу движений.
Точность и полезность программного обеспечения для распознавания жестов связано с множеством проблем. Для распознавания жестов на основе изображений существуют ограничения на используемое оборудование и шум изображения. Изображения или видео могут быть не при постоянном освещении или в одном месте. Предметы на заднем плане или отличительные особенности пользователей могут затруднить распознавание.
Разнообразие реализаций распознавания жестов на основе изображений также может вызвать проблемы с жизнеспособностью технологии для общего использования. Например, алгоритм, откалиброванный для одной камеры, может не работать для другой камеры. Уровень фонового шума также вызывает трудности с отслеживанием и распознаванием, особенно при возникновении окклюзии (частичной и полной). Кроме того, расстояние до камеры, ее разрешение и качество также влияют на точность распознавания.
Чтобы фиксировать человеческие жесты с помощью визуальных датчиков, также требуются надежные методы компьютерного зрения, например, для отслеживания рук и распознавания положения рук или для фиксации движений головы, мимики или направления взгляда.
Одна из серьезных проблем, связанных с внедрением жестовых интерфейсов на потребительских мобильных устройствах, таких как смартфоны и умные часы, связана с последствиями для социальной приемлемости ввода жестами. Хотя жесты могут способствовать быстрому и точному вводу на многих компьютерах с новым форм-фактором, их внедрение и полезность часто ограничиваются социальными факторами, а не техническими. С этой целью разработчики методов ввода с помощью жестов могут стремиться уравновесить как технические соображения, так и готовность пользователя выполнять жесты в различных социальных контекстах. Кроме того, различное оборудование устройства и механизмы распознавания поддерживают разные типы распознаваемых жестов.
Интерфейсы жестов на мобильных устройствах и устройствах малого форм-фактора часто поддерживаются наличием датчиков движения, таких как инерциальные измерительные блоки (IMU). На этих устройствах распознавание жестов полагается на то, что пользователи выполняют жесты на основе движений, которые могут быть распознаны этими датчиками движения. Это потенциально может затруднить захват сигнала от незаметных жестов или жестов с низким движением, поскольку их может быть трудно отличить от естественных движений или шума. Путем опроса и изучения юзабилити жестов исследователи обнаружили, что жесты, которые включают в себя легкие движения, которые кажутся похожими на существующие технологии, выглядят или ощущаются похожими на все действия и которые доставляют удовольствие, с большей вероятностью будут приняты пользователями, в то время как жесты, которые выглядят странно, неудобно выполнять, мешает общению или предполагает необычное движение, из-за которого пользователи с большей вероятностью откажутся от их использования. Социальная приемлемость жестов на мобильных устройствах во многом зависит от естественности жеста и социального контекста.
Носимые компьютеры обычно отличаются от традиционных мобильных устройств тем, что их место использования и взаимодействия происходит на теле пользователя. В этих контекстах жестовые интерфейсы могут стать предпочтительнее традиционных методов ввода, поскольку их небольшой размер делает сенсорные экраны или клавиатуры менее привлекательными. Тем не менее, когда дело доходит до жестового взаимодействия, они сталкиваются с теми же проблемами социальной приемлемости, что и мобильные устройства. Однако возможность скрытия носимых компьютеров от глаз или их интеграции с другими повседневными предметами, такими как одежда, позволяет вводить жесты для имитации обычных взаимодействий с одеждой, таких как регулировка воротника рубашки или потирание переднего кармана брюк. Основным фактором при взаимодействии с носимым компьютером является место размещения устройства и взаимодействия с ним. Исследование отношения третьих лиц к взаимодействию с носимыми устройствами, проведенное в США и Южной Корее, обнаружило различия в восприятии использования носимых компьютеров мужчинами и женщинами, отчасти из-за различий участки тела считаются социально чувствительными. Другое исследование, посвященное социальной приемлемости проецируемых на тело интерфейсов, показало аналогичные результаты: в обоих исследованиях области вокруг талии, паха и верхней части тела (для женщин) были обозначены как наименее приемлемые, а области вокруг предплечья и запястья - как наиболее приемлемые.
Общедоступные установки, такие как интерактивные общедоступные дисплеи, позволяют получить доступ к информации и отображать интерактивные медиа в общественных местах, таких как музеи, галереи и театры. В то время как сенсорные экраны являются частой формой ввода для публичных дисплеев, интерфейсы жестов обеспечивают дополнительные преимущества, такие как улучшенная гигиена, взаимодействие на расстоянии, улучшенная видимость и могут способствовать перформативному взаимодействию. Важным фактором жестового взаимодействия с публичными дисплеями является высокая вероятность или ожидание зрительской аудитории.
«Рука гориллы» была побочным эффектом вертикально ориентированного сенсорного экрана. экран или световое перо. В периоды длительного использования руки пользователей начинали чувствовать усталость и / или дискомфорт. Этот эффект способствовал упадку сенсорного ввода, несмотря на первоначальную популярность в 1980-х.
Чтобы измерить усталость рук и побочный эффект руки гориллы, исследователи разработали метод, названный Consumed Endurance.
