Завдяки новій розробці американського програміста, з голосовим помічником можна буде спілкуватися мовою жестів
Розробник з США Абхішек Сінгх створив унікальне програмне забезпечення, яке буде розпізнавати жести за допомогою камери ноутбука і перетворювати їх в голосові команди для помічника Alexa. Потім відповіді помічника будуть виводитися на екран в текстовому вигляді.
В такому випадку, для цієї програми виступить в якості посередника між глухим людиною і голосовим помічником.
Варто зауважити, що для функціонування такої програми необхідної буде наявність вбудованої камери в ноутбуці, завдяки якій і буде відбуватися візуальний контакт. На даному етапі розпізнати вона зможе тільки американську жестову мову.
Алгоритм глибокого навчання відповідає за розпізнавання. Він реалізований за допомогою фреймворка TensorFlow.js, який дозволяє навчати і запускати нейромережеві моделі в браузері.
Розпізнавати команди жестовою мовою і відображати їх на екрані ноутбук зможе в реальному часі. Колонка в цей же час буде чути і розпізнавати слова комп’ютерами, а через деякий час відповідати голосом, який також виводиться на екран.
Інтерфейс програми розділений на дві частини і оформлений як діалог користувача та голосового помічника.
Нагадаємо, китайська компанія Xiaomi готується презентувати унікальний холодильник, керувати яким можна буде за допомогою голосових команд. Дверцята будуть оснащені 21-дюймовою сенсорною панеллю IPS з покриттям антивідблиску. Великий екран дозволить керувати не лише холодильником, а й іншими системами розумного будинку.
