Эта инновационная технология на первом этапе предназначена для помощи пациентам медицинских учреждений в общении с врачами и получении необходимой медицинской помощи. В дальнейшем её можно будет применять и в других сферах жизни, таких как магазины, социальные учреждения и транспорт.

На данный момент люди с ограничениями по слуху часто вынуждены прибегать к услугам сурдопереводчиков, однако специалистов не всегда достаточно. Приложение для автоматического машинного сурдоперевода было разработано учеными Санкт-Петербургского Федерального исследовательского центра (СПб ФИЦ) РАН, который подведомственен Минобрнауки России.

Как рассказал старший научный сотрудник лаборатории речевых и многомодальных интерфейсов СПб ФИЦ РАН, кандидат технических наук Дмитрий Рюмин, к ним обратились представители одной из организаций, занимающейся реабилитацией глухих людей. Они отметили проблему, связанную с посещением больниц, когда глухие пациенты вынуждены брать с собой переводчиков, которых часто не хватает. В ответ на эту проблему было разработано программное обеспечение, которое распознаёт язык жестов и преобразует его в текст.

Для обучения нейросети учёные создали уникальную базу данных жестов, используемых глухими людьми. В данный момент она охватывает сферы, связанные с медициной и здоровьем, и включает 85 жестовых высказываний, записанных 12 дикторами в пяти вариантах. Видеозаписи жестов сняты с различных ракурсов, что повышает информативность данных. Общая продолжительность всех видеозаписей составляет около семи часов.

Программное обеспечение функционирует следующим образом: видеокамера фиксирует жесты пациента. Ученые выяснили, что одни и те же жестовые элементы могут значительно различаться в зависимости от возраста и пола пациента, поэтому система учитывает эти факторы для повышения точности интерпретации. В итоге программа автоматически преобразует язык жестов в текст в режиме реального времени с точностью более 90%.

Дмитрий Рюмин выразил надежду, что в будущем приложение упростит оказание медицинских услуг как для врачей, так и для людей с ограниченными возможностями. В настоящее время команда работает над созданием удобного интерфейса для программы.