Умная перчатка может переводить жесты в слова

Биоинженеры из Калифорнийского университета разработали перчатку, которая может переводить американский язык жестов в английскую речь в режиме реального времени с помощью приложения для смартфона. Цель проекта - облегчить людям, использующим язык жестов, простой способ общения с теми, кто не понимает язык жестов, не нуждаясь в переводчике.

Команда также считает, что перчатка может помочь большему количеству людей выучить язык жестов. Система представляет собой пару перчаток с тонкими эластичными датчиками, которые протянуты по всей длине каждого из пяти пальцев. Датчики изготовлены из токопроводящего материала и могут фиксировать движения рук и положения пальцев, которые обозначают отдельные буквы, цифры, слова и фразы на языке жестов.

Устройство может превратить движения пальцев в электрические сигналы, которые отправляются на печатную плату на запястье размером с монету. Плата может передавать сигналы по беспроводной связи на смартфон, который переводит их в произносимые в слух слова со скоростью примерно одно слово в секунду. Исследователи также поместили датчики на лицах тех, кто испытывал перчатки. Датчики были помещены между бровями, а также на одной стороне рта, чтобы считывать выражения лица, которые являются частью американского языка жестов.

Исследователи говорят, что предыдущие носимые системы для перевода языка жестов были ограничены в полезности, потому что они были громоздкими и тяжелыми, или их было неудобно носить. Легкая носимая система, созданная командой UCLA, сделана из недорогих материалов, которые также служат долго. Электронные датчики также гибки и доступны по цене.

Команда говорит, что система показала хорошие результаты в тестировании с четырьмя глухими людьми, которые используют американский язык жестов. Каждый участник делал жесты по 15 раз каждый, и пользовательский алгоритм машинного обучения безошибочно превращал жесты в буквы, цифры и слова. Система может распознавать 660 жестов, включая каждую букву алфавита и цифры от нуля до девяти. Коммерческая модель устройства будет улучшена для поддержки более обширного словарного запаса и более быстрого времени перевода.