Создано новое приложение для смартфона, его разработали в Санкт-Петербургском Федеральном исследовательском центре РАН (СПб ФИЦ РАН). Приложение распознает речь пользователя по движению губ в шумных местах. Это значительно повышает точность понимания речи голосовыми помощниками даже в сложных условиях.
В пресс-службе СПб ФИЦ РАН отмечают, что приложение может быть использовано в различных отраслях, от сферы услуг до тяжелой промышленности.
Нейросетевая модель
Основой приложения является нейросетевая модель, которая способна распознавать команды на основе аудиовизуальных сигналов, таких как видеозаписи со звуком. Специалисты из Санкт-Петербургского Федерального исследовательского центра РАН использовали алгоритмы искусственного интеллекта и компьютерного зрения для обучения системы распознаванию речи по движению губ.
Приложение успешно прошло тестирование в одной из логистических компаний России, где оно было установлено на смартфоны водителей шумных большегрузных автомобилей. Тестирование подтвердило, что сочетание двух способов считывания информации значительно повышает эффективность работы алгоритмов. Если точность распознавания команд по движению губ составляла 60-80%, то в сочетании со звуковым сигналом точность превышала 90%.
Представители СПб ФИЦ РАН отмечают, что в будущем приложение может быть использовано пилотами самолетов и операторами тяжелой промышленной техники, а также в интерактивных информационных киосках в торговых центрах и других местах с большим скоплением людей.
Разработка этого приложения была осуществлена благодаря гранту Российского научного фонда.
