Meta* представила нейросеть SeamlessM4T, которая умеет распознавать речь и переводить её на 100 языков

Модель может переводить с одного языка на другой и выдать результат в текстовом или аудиоварианте.

SeamlessM4T — нейросеть, которая умеет распознавать речь, преобразовывать её в текст и переводить на около 100 языков. Также модель умеет создавать из текста речь на 35 языках.
Нейросеть доступна для исследователей по лицензии с открытым исходным кодом, вместе с SeamlessAlign — набором данных для перевода, который содержит 270 часов записи речи и соответствующие ей тексты.

Пример перевода с английского на русский

SeamlessM4T может распознавать, когда человек переходит с одного языка на другой или использует в речи сразу несколько: например, телугу, хинди и английский.

Примеры работы SeamlessM4T — в том числе с переводом нескольких языков

Модель основана на предыдущих проектах Meta* для переводов: например, системе прямого перевода между языками, ИИ-переводчике для диалекта хоккеин, у которого нет письменного варианта, и других.

*Meta признана экстремистской организацией и запрещена в России.