«Яндекс Браузер» теперь переводит видео с китайского и автоматически накладывают русскую озвучку. Об этом говорится на сайте компании.
В пресс-службе рассказали, что в основе технологии «Яндекса» лежат нейросети, которые работают почти как синхронные переводчики.
На первом этапе нейросеть научилась трансформировать китайскую речь в текст на примере 100 тыс. аудиофайлов с самыми точными расшифровками, которые отдельный алгоритм выбрал из 1,5 млн видеороликов.
Нейросеть также научили учитывать тоны и контекст, поэтому на сегодняшний момент алгоритм различает 6500 иероглифов, когда для общения достаточно 2000. Помимо этого, алгоритм обучили делить сплошной поток иероглифов на смысловые отрезки для точной синхронизации перевода с речью.
Впервые «Яндекс» представил прототип технологии, которая при помощи машинного обучения делает закадровый перевод видео, в июле 2021 года. Тогда алгоритм мог переводить лишь на русский язык и только англоязычные ролики. Сейчас нейросеть может перевести ролики как с английского, так и с испанского, французского, итальянского и немецкого.