Войти
Машинный перевод языка жестов был возможно, хотя и в ограниченных масштабах, с 1977 г. Когда исследовательский проект успешно сравнена английские буквы с клавиатуры в ASL ручной букву алфавита, которые были смоделированы на роботизированную руку. Эти технологии переводят жестовые языки на письменную или устную речь, а письменную или устную речь на язык жестов без использования человека-переводчика. Языки жестов обладают фонологическими особенностями, отличными от разговорных языков, что создает препятствия для разработчиков. Разработчики используют компьютерное зрение и машинное обучение для распознавания определенных фонологических параметров и эпентезов, уникальных для жестовых языков, а распознавание речи и обработка естественного языка обеспечивают интерактивное общение между слышащими и глухими людьми.
Технологии перевода на жестовый язык ограничены так же, как и устный перевод. Никто не может переводить со 100% точностью. Фактически, технологии перевода на язык жестов сильно отстают от своих устных аналогов. Это, нетривиально, связано с тем, что жестовые языки имеют несколько артикуляторов. Там, где разговорные языки артикулируются через голосовой тракт, жестовые языки артикулируются через руки, руки, голову, плечи, туловище и части лица. Эта многоканальная артикуляция очень затрудняет перевод жестовых языков. Дополнительной проблемой для жестового языка МП является отсутствие формального письменного формата для жестовых языков. Существуют системы обозначений, но ни одна система письма не была принята международным сообществом глухих достаточно широко, чтобы ее можно было считать «письменной формой» данного языка жестов. Затем жестовые языки записываются в различных видеоформатах. Например, не существует параллельного корпуса золотого стандарта, достаточно большого для SMT.
История автоматического перевода на язык жестов началась с разработки оборудования, такого как руки роботов для распознавания слов с помощью пальца. В 1977 году в рамках проекта рукописного ввода пальцев под названием RALPH (сокращение от «Роботизированный алфавит») была создана рука-робот, способная переводить алфавиты в рукописное написание. Позже использование перчаток с датчиками движения стало массовым явлением, и на свет появились такие проекты, как CyberGlove и VPL Data Glove. Носимое оборудование позволяло фиксировать формы и движения рук подписывающих с помощью компьютерного программного обеспечения. Однако с развитием компьютерного зрения носимые устройства были заменены камерами из-за их эффективности и меньших физических ограничений для подписывающих лиц. Для обработки данных, собранных с помощью устройств, исследователи внедрили нейронные сети, такие как Stuttgart Neural Network Simulator, для распознавания образов в таких проектах, как CyberGlove. Исследователи также используют множество других подходов для распознавания знаков. Например, скрытые марковские модели используются для статистического анализа данных, а GRASP и другие программы машинного обучения используют обучающие наборы для повышения точности распознавания знаков. Сочетание не носимых технологий, таких как камеры и контроллеры Leap Motion, показало, что увеличивает возможности программного обеспечения для автоматического распознавания языка жестов и перевода.
http://www.visicast.cmp.uea.ac.uk/Visicast_index.html
http://www.visicast.cmp.uea.ac.uk/eSIGN/index.html
SignAloud - это технология, которая включает пару перчаток, сделанных группой студентов Вашингтонского университета, которые транслитерируют американский язык жестов (ASL) на английский. В феврале 2015 года Томас Прайор, слушатель из Вашингтонского университета, создал первый прототип этого устройства на хакатоне Hack Arizona в Университете Аризоны. Прайор продолжил разработку изобретения, и в октябре 2015 года Прайор пригласил Навида Азоди в проект SignAloud для маркетинга и помощи в связях с общественностью. Азоди имеет богатый опыт и участие в управлении бизнесом, а Прайор имеет богатый опыт в инженерии. В мае 2016 года дуэт сообщил NPR, что они более тесно работают с людьми, которые используют ASL, чтобы они могли лучше понимать свою аудиторию и адаптировать свой продукт к потребностям этих людей, а не предполагаемым потребностям. Однако с тех пор не было выпущено никаких других версий. Это изобретение было одним из семи, получивших студенческую премию Lemelson-MIT, которая направлена на награждение и аплодисменты молодых изобретателей. Их изобретение подпадало под действие «Используй!» категория награды, которая включает технологические достижения в существующих продуктах. Им было присуждено 10 000 долларов.
В перчатках есть датчики, которые отслеживают движения рук пользователя и затем отправляют данные в компьютерную систему через Bluetooth. Компьютерная система анализирует данные и сопоставляет их с английскими словами, которые затем произносятся вслух цифровым голосом. Перчатки не имеют возможности для письменного ввода на английском языке для вывода движения перчаток или способности слышать язык, а затем подписывать его глухому человеку, что означает, что они не обеспечивают взаимного общения. Устройство также не включает выражения лица и другие неуправляемые маркеры языков жестов, которые могут изменить фактическую интерпретацию от ASL.
ProDeaf (WebLibras) - это компьютерная программа, которая может переводить как текст, так и голос на португальский Libras (португальский язык жестов), «с целью улучшения общения между глухими и слышащими». В настоящее время также разрабатывается бета-версия для американского языка жестов. Первоначальная команда начала проект в 2010 году, объединив экспертов, включая лингвистов, дизайнеров, программистов и переводчиков, как слышащих, так и глухих. Команда возникла в Федеральном университете Пернамбуку (UFPE) из группы студентов, участвовавших в проекте по информатике. В группе был глухой член команды, которому было трудно общаться с остальной частью группы. Чтобы завершить проект и помочь товарищам по команде общаться, группа создала Proativa Soluções и с тех пор движется вперед. Текущая бета-версия на американском жестовом языке очень ограничена. Например, есть раздел словаря, и единственное слово под буквой «j» - «прыжок». Если устройство не было запрограммировано со словом, цифровой аватар должен ввести слово по пальцу. Последнее обновление приложения было в июне 2016 года, но ProDeaf был показан в более чем 400 статьях в самых популярных СМИ страны.
Приложение не может читать язык жестов и преобразовывать его в слово или текст, поэтому оно служит только для одностороннего общения. Кроме того, пользователь не может войти в приложение и получить перевод на английский язык в любой форме, поскольку английский язык все еще находится в бета-версии.
С 2012 года исследователи Китайской академии наук и специалисты по обучению глухих из Пекинского унионного университета в Китае сотрудничают с азиатской командой Microsoft Research для создания переводчика языка жестов Kinect. Переводчик состоит из двух режимов: режима переводчика и режима связи. В режиме переводчика можно переводить отдельные слова со знака в письменные слова и наоборот. Режим общения может переводить полные предложения, а разговор может быть автоматически переведен с использованием 3D- аватара. Режим переводчика также может определять позы и формы рук подписывающего лица, а также траекторию движения с использованием технологий машинного обучения, распознавания образов и компьютерного зрения. Устройство также обеспечивает взаимное общение, поскольку технология распознавания речи позволяет переводить разговорный язык на язык жестов, а аватар 3D-моделирования может отвечать глухим людям.
Первоначальный проект был начат в Китае на основе перевода китайского языка жестов. В 2013 году проект был представлен на саммите Microsoft Research Faculty Summit и встрече компании Microsoft. В настоящее время над этим проектом также работают исследователи в Соединенных Штатах, чтобы внедрить перевод на американский язык жестов. На данный момент устройство находится в стадии прототипа, и точность перевода в режиме связи все еще не идеальна.
SignAll - это система автоматического перевода на язык жестов, предоставляемая Dolphio Technologies в Венгрии. Команда является «первопроходцем в области автоматизированного перевода на язык жестов, основанного на компьютерном зрении и обработке естественного языка (NLP), чтобы обеспечить повседневное общение между людьми со слухом, которые используют разговорный английский, и глухими или слабослышащими людьми, которые используют ASL». Система SignAll использует Kinect от Microsoft и другие веб-камеры с датчиками глубины, подключенными к компьютеру. Технология компьютерного зрения может распознавать форму руки и движение подписывающего лица, а система обработки естественного языка преобразует собранные данные компьютерного зрения в простую английскую фразу. Разработчик устройства глухой, а остальная часть проектной группы состоит из множества инженеров и лингвистов из сообществ глухих и слышащих. Эта технология может включать все пять параметров ASL, которые помогают устройству точно интерпретировать подписывающего лица. SignAll был одобрен многими компаниями, включая Deloitte и LT- Innovate, и наладил партнерские отношения с Microsoft Bizspark и венгерской Renewal.
MotionSavvy был первым языком жестов для голосовой системы. Устройство было создано в 2012 году группой из Рочестерского технологического института / Национального технического института глухих и «возникло из ускорителя Leap Motion AXLR8R». Команда использовала чехол для планшета, в котором используется мощь контроллера Leap Motion. Вся команда из шести человек была создана глухими учениками из отделения глухонемых школ. В настоящее время это устройство является одним из двух устройств взаимной связи исключительно для американского языка жестов. Он позволяет глухим подписывать устройство, которое затем переводится или наоборот, переводя разговорный английский на американский язык жестов. Стоимость устройства составляет 198 долларов. Некоторые другие функции включают возможность взаимодействия, обратную связь в реальном времени, конструктор вывесок и краудсайн.
Устройство было проверено всеми, от технологических журналов до Time. Wired сказал: «Нетрудно было увидеть, насколько революционной может быть такая технология, как [UNI]» и что «[UNI] показался мне своего рода волшебством». Кэти Стейнмец из TIME сказала: «Эта технология может изменить образ жизни. глухие люди живут ". Шон Бакли из Engadget отметил: «UNI может стать невероятным средством коммуникации ».
