Благодаря новой разработке американского программиста, с голосовым помощником можно будет общаться языком жестов

Разработчик из США Абхишек Сингх создал уникально программное обеспечение, которое будет распознавать жесты при помощи камеры ноутбука и преобразовывать их в голосовые команды для помощника Alexa. Затем ответы помощника будут выводиться на экран в текстовом виде.

В таком случае, данное приложение выступит в качестве посредника между глухим человеком и голосовым помощником.

Стоит заметить, что для функционирования такой программы необходимой будет наличие встроеной камеры в ноутбуке, благодаря которой и будет происходить визуальный контакт. На данном этапе распознать она сможет только американский жестового языка.

Алгоритм глубокого обучения отвечает за распознание. Он реализованный с помощью фреймворка TensorFlow.js, который позволяет обучать и запускать нейросетевые модели в браузере.

Результат пошуку зображень за запитом

Распознавать команды на жестовом языке и отображать их на экране ноутбук сможет в реальном времени. Колонка в это же время будет слышать и распознавать слова компьютерами, а через некоторое время отвечать голосом, который также выводится на экран.

Интерфейс приложения разделен на две части и оформлен как диалог пользователя и голосового ассистента.

Напомним, китайская компания Xiaomi готовится представить уникальный холодильник, управлять которым можно будет с помощью голосовых команд. Дверцы будут оснащены 21-дюймовой сенсорной панелью IPS с антибликовым покрытием. Большой экран позволит управлять не только холодильником, но и другими системами умного дома.