Благодаря новой разработке американского программиста, с голосовым помощником можно будет общаться языком жестов
Разработчик из США Абхишек Сингх создал уникально программное обеспечение, которое будет распознавать жесты при помощи камеры ноутбука и преобразовывать их в голосовые команды для помощника Alexa. Затем ответы помощника будут выводиться на экран в текстовом виде.
В таком случае, данное приложение выступит в качестве посредника между глухим человеком и голосовым помощником.
Стоит заметить, что для функционирования такой программы необходимой будет наличие встроеной камеры в ноутбуке, благодаря которой и будет происходить визуальный контакт. На данном этапе распознать она сможет только американский жестового языка.
Алгоритм глубокого обучения отвечает за распознание. Он реализованный с помощью фреймворка TensorFlow.js, который позволяет обучать и запускать нейросетевые модели в браузере.
Распознавать команды на жестовом языке и отображать их на экране ноутбук сможет в реальном времени. Колонка в это же время будет слышать и распознавать слова компьютерами, а через некоторое время отвечать голосом, который также выводится на экран.
Интерфейс приложения разделен на две части и оформлен как диалог пользователя и голосового ассистента.
