Семь колец с ИИ научились переводить язык жестов в текст: видео
Как работает WRSLT
Разработанная система получила название WRSLT (беспроводной кольцевой переводчик языка жестов). Она состоит из семи небольших колец, которые надеваются на пальцы одной руки или обеих рук в зависимости от задачи.
Каждое кольцо оснащено миниатюрным акселерометром — датчиком, который фиксирует ускорение и ориентацию в пространстве, аналогично тому, как смартфон определяет поворот экрана. Во время жестов система считывает положение пальцев относительно гравитации и траекторию движения руки.
Важная особенность — отсутствие проводов. Кольца передают данные по Bluetooth Multilink на смартфон или компьютер, что позволяет сохранять естественность движений и использовать систему без ограничений в пространстве.
Далее алгоритмы машинного обучения интерпретируют сигналы и преобразуют их в текст. По словам авторов работы:
«WRSLT обеспечивает перевод в реальном времени на уровне предложений, используя полностью беспроводную и модульную архитектуру, которая подходит для разных пользователей и языков жестов».
Что система уже умеет
На текущем этапе WRSLT распознает около 100 слов американского языка жестов (ASL) и 100 слов международного языка жестов (ISL). Разработчики подчеркивают, что система работает не только с отдельными словами, но и с последовательностями жестов, формируя связный текст в реальном времени.
Отдельное значение имеет модульность конструкции: кольца можно надевать в разной конфигурации, а система адаптируется под индивидуальные особенности пользователя.
Как проходило тестирование
Модель обучали на группе участников, после чего тестировали на новых пользователях, которые не участвовали в обучении. Это важно для проверки устойчивости алгоритма к различиям в стиле жестов, скорости движений и положении датчиков.
Результаты показали точность 88,5% для международного языка жестов и 88,3% для американского языка жестов. Разница между системами была минимальной, что указывает на сопоставимую эффективность распознавания.
Исследователи отмечают:
«Несмотря на различия между пользователями и положение датчиков, система показала высокую точность распознавания, что подтверждает ее устойчивую работу у разных людей и надежность подхода».
Следующий этап разработки включает миниатюризацию колец, улучшение энергоэффективности и расширение обучающей базы. Также планируется добавить больше языков жестов, чтобы приблизиться к универсальной системе перевода в реальном времени.
Умные часы научились считывать положение пальцев
Инженеры создали умный браслет для управления роботами жестами: видео
Подписывайтесь и читайте «Науку» в MAX