Фото: https://pxhere.com/ru/photo/1364375
Перевод возможен благодаря нейросети «Яндекс браузера». Браузер сам предлагает перевести видео после того, как пользователь его откроет. Нейросети работают практически как синхронные переводчики.
Перевод осуществляется в несколько этапов. Сначала распознается речь на ролике. Далее она переводится в текстовый формат. Получившийся текст отправляется на перевод. На следующем этапе нейросеть выполняет функцию, которая у переводчиков называется «речевой компрессией» — сокращает паузы между словами или ускоряет темп речи.
Технология уже работает на видеохостинге Youtube. В дальнейшем планируется запустить ее на китайской платформе Bilibili.
Ранее телеканал «Санкт-Петербург» сообщал, что петербургские ученые обучили нейросеть читать по губам.