«Яндекс» представил прототип технологии, которая при помощи машинного обучения делает закадровый перевод видео. Об этом «Афише Daily» рассказали в пресс-службе компании.
Сейчас технология может переводить лишь на русский язык и только англоязычные ролики. Испробовать ее на любом видео из интернета тоже пока не получится. Посмотреть, как работает машинный перевод, можно на примере специального плейлиста на ютьюбе, который подготовил «Яндекс».
В нем есть видео про изменение климата, машинное обучение, историю Плутона и другие. Функция машинного перевода доступна только в десктопной версии «Яндекс.Браузера». Чтобы воспользоваться ею, необходимо включить автоматическую озвучку в желтом всплывающем окне вверху экрана.
В прототипе объединены несколько технологий — разработки «Яндекс.Переводчика», синтез речи и биометрия, которая позволяет определить пол говорящего и подобрать подходящий голос. Чтобы закадровый голос совпадал с картинкой, переводчик делает паузы, где‑то замедляет, где‑то ускоряет речь. За темпом речи следит специальный алгоритм.
Компания обещает, что скоро пользователи «Яндекс.Браузера» смогут смотреть с автоматическим закадровым переводом любые ролики в сети. Но когда это произойдет, не уточняется. Руководитель направления обработки естественного языка Дэвид Талбот говорит, что машинный перевод видео — сложная задача, которую еще никто в мире не решил, и «Яндекс» тоже находится в начале пути.