AI Кольца превращают язык жестов в речь

Носимое устройство использует кольца и AI для перевода языка жестов в речь в режиме реального времени, предлагая альтернативу сенсорным перчаткам для общения.

Исследователи из Университета Ёнсей разработали носимую систему перевода с языка жестов, в которой вместо сенсорных перчаток используются беспроводные кольца, что позволяет преобразовывать жесты языка жестов в речь в реальном времени с точностью почти 90 процентов.

Система, называемая беспроводным сурдопереводчиком кольцевого типа (WRSLT), предназначена для устранения одного из ограничений существующей технологии сурдоперевода: практичности. Многие современные системы используют перчатки, оснащенные проводными датчиками или системами слежения на основе камер, которые могут быть ограничены или непригодны для повседневного использования.

Новый подход заменяет перчатки сенсорными кольцами, надеваемыми на отдельные пальцы. Каждое кольцо содержит акселерометр, который отслеживает движение пальцев и ориентацию руки. Данные о жестах передаются по беспроводной сети в систему искусственного интеллекта, которая интерпретирует знаки и преобразует их в разговорную речь.

Исследователи сосредоточились на том, чтобы сделать устройство удобным для длительного ношения. Системы на основе перчаток могут ограничивать движения рук и часто с трудом приспосабливаются к разным размерам рук и формам пальцев. Поскольку кольца WRSLT работают независимо и физически не связаны, пользователи могут располагать их более свободно, что повышает комфорт и гибкость во время подписания.

Чтобы упростить аппаратное обеспечение, команда проанализировала, какие пальцы больше всего способствуют распознаванию жестов. Результаты показали, что семь ключевых пальцев дают самые сильные сигналы для классификации, что позволяет системе поддерживать производительность while с использованием меньшего количества датчиков.

Устройство было обучено распознавать как американский язык жестов, так и международный язык жестов. При тестировании с пользователями, которые не были включены в данные обучения, система достигла точности распознавания 88,3 процента для американского языка жестов и 88,5 процента для международного языка жестов. Способность поддерживать точность с ранее невидимыми пользователями позволяет предположить, что эту технологию можно использовать без необходимости персонализированной повторной калибровки.

Исследователи также разработали систему последовательного распознавания слов, которая позволяет системе обрабатывать непрерывную жестикуляцию, а не отдельные жесты. Вместо необходимости делать паузы между словами переводчик может интерпретировать связанные потоки жестов и генерировать выходные данные на уровне предложений в реальном времени.

Исследователи полагают, что в конечном итоге эту технологию можно будет адаптировать в коммерческое устройство для повседневного использования, что потенциально улучшит доступность и общение для людей, которые полагаются на язык жестов.