Spotify используют AI для перевода подкастов с сохранением голоса
Недавно Spotify анонсировали пилотную программу по переводу подкастов на разные языки с сохранением голоса ведущего. Сегодня вы узнаете, какие планы у Spotify на это направление, какие проблемы могут возникнуть и какие компании могут воспользоваться подобным решением
В рамках пилотной программы в Spotify взяли нескольких крупных подкастеров (Дак Шепард, Моника Пэдман, Лекс Фридман и другие) и с помощью технологии Whisper от OpenAI перевели подкасты с английского на испанский, французский и немецкий языки
Вот, что говорит Зиад Султан, вице президент Spotify по персонализации:
Воспроизводя собственный голос создателя, голосовой перевод дает слушателям по всему миру возможность открывать для себя новых подкастеров и вдохновляться ими более аутентичным способом, чем когда-либо прежде
MAU Spotify достигает 500 миллионов пользователей, 100 миллионов людей регулярно слушают подкасты. В будущем Spotify хотят расширить линейку подкастов и добавить новые языки. Для компании и подкастов это возможность расширить аудиторию и увеличить вовлеченность пользователей, но есть и проблемы
Некоторые подкастеры отказываются от Spotify, аргументируя это низкой развитостью технологий по переводу. В прошлом мы видели решения от других компаний вроде Microsoft, которые анализировали фрагмент голоса и синтезировали речь, но сложности начинались тогда, когда тип голоса был слабо представлен в обучающей выборке — например, особый акцент или тембр человека
Spotify добавляют еще больше сложностей в виде перевода. Эксперты отмечают, что эти системы по-прежнему сбиваются с толку из-за нюансов и не понимают культурного контекста, что влияет на качество переведенного материала, особенно если подкастер сам допускает ошибки в речи
Мы можем ждать подобного решения от Netflix и других стриминговых платформ, что тратят огромные деньги на дубляж. Представьте, что переводить голоса ваших любимых актеров будут с сохранением их особенностей речи?
Мне интересен этот кейс с точки зрения интеллектуального права — кому принадлежит переведенный материал, если подкаст создавал человек, а переводила его машина? Давайте обсудим это в комментариях.
Если материал вам понравился, то приглашаю вас в свой Telegram канал. Там я рассказываю про карьеру, работу аналитиком, Data Science, новости и мероприятия в IT.
Буду очень рад поддержке и вашим комментариям. Всем спасибо!