Sesame выложила бесплатную модель синтеза речи своего «вирусного» ИИ-помощника — он смеётся, «заигрывает» и ведёт «искренний диалог»

Модель пока не поддерживает русский язык, в соцсетях её используют для практики разговорного английского.

Компания Sesame представила демоверсию голосового помощника с мужским и женским голосами в конце февраля 2025 года. В соцсетях аудиозаписи разговоров с ним стали «вирусными», а модель назвали «самой естественной» из существующих.

Пользователь написал, что его поразили «теплота и сочувствие», с которыми ИИ-помощник Майя вела диалог с его шестилетней племянницей. Источник: Sid Uppal

13 марта 2025-го компания выложила в открытый доступ код базовой ИИ-модель Sesame CSM, на которой работает её продукт. У модели 1 млрд параметров, она доступна по лицензии Apache 2.0, то есть разрешена для коммерческого использования.
Демоверсию выложили на HuggingFace. В ней можно клонировать голос по аудиозаписи или сгенерировать новый по текстовому описанию. Также есть функция озвучивания текста, для этого нужно выбрать режим read_speech. Текст на русском языке она прочитать не сможет.

Скринкаст vc.ru

Также есть режим генерации диалога между двумя спикерами, например, для создания подкаста. В поле Conversation content нужно написать текст диалога, реплика каждого говорящего должна начинаться с новой строки.

Источник: Victor M

В соцсетях голосового помощника предлагают использовать для изучения английского. Версия Майя предупреждает, что понимает только отдельные слова на русском языке, а Майлс продолжает вести диалог, если переключиться на русский язык, но говорит на английском.

Майя поняла вопрос на русском о том, сможет ли поддерживать диалог, если пользователь переключится на другой язык. Она проигнорировала просьбу перевести на английский слово «собака» и сказала, что сейчас это сложно для неё. Скринкаст vc.ru

Майлс сразу согласился помочь в изучении английского. Далее в диалоге он объясняет Present Simple, предлагая составить предложение в настоящем времени на русском. Он неудачно попытался его повторить, но понял смысл и перевёл. Скринкаст vc.ru

Компанию Sesame создал сооснователь Oculus Брендан Айриб. Помимо голосового помощника она разрабатывает прототип ИИ-очков, которые можно будет носить «целый день». Среди инвесторов стартапа — Andreessen Horowitz, Spark Capital и Matrix Partners. Сумму финансирования не раскрывают.

#редакция