Благодаря новой разработке американского программиста, с голосовым помощником можно будет общаться языком жестов

Разработчик из США Абхишек Сингх создал уникально программное обеспечение, которое будет распознавать жесты при помощи камеры ноутбука и преобразовывать их в голосовые команды для помощника Alexa. Затем ответы помощника будут выводиться на экран в текстовом виде.

В таком случае, данное приложение выступит в качестве посредника между глухим человеком и голосовым помощником.

Стоит заметить, что для функционирования такой программы необходимой будет наличие встроеной камеры в ноутбуке, благодаря которой и будет происходить визуальный контакт. На данном этапе распознать она сможет только американский жестового языка.

Популярные статьи сейчас

Алла Пугачева впечатлила заметно помолодевшим видом на прогулке с детьми: "Похожи с Вайкуле стали"

Введение полного локдауна в Украине: в Кабмине назвали единственную альтернативу

Санта Димопулос или Власова: Макс Леонов впервые решил ответить, кто лучше

Финал "Співають всі", украинцы высказали Могилевской все, что думают о победителе: "Нет слов..."

Хименес-Браво показал женщину в своем доме и сообщил о важнейшем событии: "Я очень счастлив"

Показать еще

Алгоритм глубокого обучения отвечает за распознание. Он реализованный с помощью фреймворка TensorFlow.js, который позволяет обучать и запускать нейросетевые модели в браузере.

Результат пошуку зображень за запитом

Распознавать команды на жестовом языке и отображать их на экране ноутбук сможет в реальном времени. Колонка в это же время будет слышать и распознавать слова компьютерами, а через некоторое время отвечать голосом, который также выводится на экран.

Интерфейс приложения разделен на две части и оформлен как диалог пользователя и голосового ассистента.

Напомним, китайская компания Xiaomi готовится представить уникальный холодильник, управлять которым можно будет с помощью голосовых команд. Дверцы будут оснащены 21-дюймовой сенсорной панелью IPS с антибликовым покрытием. Большой экран позволит управлять не только холодильником, но и другими системами умного дома.