Компания Google представила в блоге Google AI новую разработку Translatotron. Она представляет собой сквозную модель, позволяющую напрямую переводить речь с одного языка на другой, минуя промежуточное преобразование в текст.

Одной из главных особенностей Translatotron разработчики называют возможность сохранения в переведённом отрезке вокальных характеристик (интонаций и пауз) говорящего, что делает его «более естественным и менее резким».

Процесс имитация происходит благодаря тому, что алгоритм транслирует речь в спектрограмму и уже на основе полученных данных создаёт перевод на выбранном языке с сохранёнными показателями голоса. Команда надеется, что их разработка послужит отправной точкой для будущих исследований сквозных систем перевода речи в речь.

Источник: news.ru