Приложение DreamFace: обзор нейросети, которая научит животных петь
А ещё — вручит Юре Борисову «Оскар» и сгенерирует новостной сюжет.
Владельцы собак и кошек, мы нашли применение сотням фотографий ваших любимцев. Нейросеть DreamFace генерирует ролики, где животные исполняют хиты, при этом точно попадая в ноты. Как пользоваться приложением DreamFace, какие в нём есть функции и как мы научили британскую кошку петь песню «Apt.» южнокорейской группы — в этом материале.
Содержание:
Что умеет DreamFace
DreamFace — приложение с искусственным интеллектом для создания и редактирования контента: видео (на них сделан акцент) и фото. Доступно и для iOS, и для Android. Также оценить возможности сервиса можно прямо в браузере.
Основные функции DreamFace:
- «Avatar video» («Видео с аватаром») — будет полезна, когда нужно снять разговорное видео, но некогда ставить свет и прихорашиваться. Можно загрузить своё фото или выбрать одного из персонажей.
- «Pet video» («Видео с питомцем») — с ней питомцы поют под популярные треки голосами знаменитостей. Лучше всего ИИ работает с кошками и собаками, хуже — с птицами. При пении клюв у них не открывается, а деформируется.
«AI video» («ИИ-видео») — генерирует ролики длительностью четыре или восемь секунд на основе загруженных фото. Сервис предлагает на выбор несколько десятков фреймов: например, человек на фото может превратиться в Санту, а влюблённая парочка — поцеловаться.
«AI translator» («ИИ-переводчик») — в бета-версии. Помогает озвучивать видео на разных языках. Сейчас можно выбрать любой из семи: английский, китайский, японский, испанский, французский, корейский и португальский.
Переводить видео на другой язык, синхронизировать губы и клонировать голос умеют и другие нейросети: HeyGen, Vozo AI, Sync.so и не только.
- «Act» («Актёрская игра») — в бета-версии. Пользователь загружает свою фотографию и видео, в котором есть игра с активной мимикой. В результате генерации персонаж повторит всё происходящее в ролике — например, поднимет брови, улыбнётся, моргнёт.
«AI Photo» («ИИ-фото») — DreamFace умеет удалять фон, улучшать качество плохих снимков и накладывать фильтры. Интересная фича — определение фоток, сгенерированных искусственным интеллектом.
Описанные функции в той же последовательности есть в веб-версии.
В приложении для iOS меню выглядит по-другому. Если скачивать DreamFace в России, большая часть интерфейса будет русифицирована. Переключиться на английский язык можно в верхнем левом углу. Вот какие функции доступны в мобильной версии:
- Функция «Pet» (аналогична «Pet video» из веб-версии).
- «Движение аватара» (аналогична «AI video» из веб-версии).
- «Изображение для Vid» («Изображение в видео») и «Текст в Vid» («Текст в видео»).
- «Фильтр ИИ» (из обычного селфи можно сделать фотографию в образе Тора, Человека-паука, LEGO-человечка или подиумной модели).
- «Улучшить» (ИИ сделает снимок чётче).
- «Новости» и «Деловые» (коммерческие видео) — здесь находятся шаблоны для «Avatar video». Нужно выбрать подходящего персонажа из предложенных и загрузить текст, который он озвучит.
- «Джокер» — подставит лицо в популярный ролик. Например, можно заменить морду льва в заставке студии Metro-Goldwyn-Mayer на портрет друга.
- «2rt» — обработает фотографию в стиле журнала Vogue, комикса, мультфильма «Рик и Морти».
- «Пение со спецэффектами» — селфи запоёт как в фильме Дисней или новогоднем мюзикле.
- «Смена лица» — заменит исполнителя песни из оригинального видео на любого другого.
- «Мультфильм» — превратит фото в мультяшную иллюстрацию.
- «Улыбка» — заставит человека на фото улыбнуться.
- «Красота» — омолодит, уберёт несовершенства кожи.
- «Мемы» — сделает из фото шутку.
В приложении нет функций «AI translator» и «Act», они доступны только в веб-версии.
Как пользоваться
Сперва нужно скачать DreamFace в магазине приложений. В App Store, например, это «DreamFace: Оживи любое селфи». Средняя оценка приложения — 4,7 из 5 (на основе 7,2 тысячи отзывов).
На приветственном экране сервис предлагает попробовать функцию анимирования фотографий. Необходимо нажать кнопку «Использовать мою фотографию» и выбрать нужный снимок.
На фотографии с питомцем DreamFace не распознал лицо и предложил заменить её на что-то другое. Можно не загружать свои снимки, а воспользоваться одним из референсов. Вот какое видео получилось с сиба-ину (одно из демофото).
После генерации DreamFace предлагает купить Pro-подписку. Пропустить этот шаг можно, нажав на крестик в верхнем левом углу. Дальше откроется главный экран со всеми доступными функциями. Создавать учётную запись и указывать телефон или почту не понадобилось.
Сколько стоит подписка
В DreamFace есть полностью бесплатный тариф. Его хватит на пять генераций «Avatar video» и «AI photo» в день, а также две генерации «AI video» в неделю (доступно только с веба). При этом ролики не могут быть длиннее 30 секунд, а весь контент сохраняется с водяным знаком.
Расширенные подписки можно оплачивать по неделям или сразу за год (второй вариант выгоднее). Например, тариф Pro обойдётся в 449 рублей за неделю или 2490 рублей за год. Этот план предполагает безлимитные генерации в режиме «Avatar video» и «AI photo», скачивание без водяного знака и ограничение на хронометраж роликов в три минуты. Подробнее о тарифах — на сайте DreamFace.
Оплатить подписку можно картой Visa, MasterCard и другими. Российская карта не подойдёт.
Эксперимент: как научить питомца петь
Для этой задачи понадобится раздел «Pet» — в приложении рядом с ним висит значок «Hot» (вероятно, так подсвечивают востребованность функции у пользователей).
Дальше есть два варианта анимации питомца — выбрать готовый шаблон или нажать «Попробуйте сейчас», чтобы выполнить генерацию с нуля. Если кликнуть на шаблон, например, с хайповым синглом «Apt.» k-pop-исполнительницы Розэ, останется только добавить фото и нажать «Анимировать». На следующем шаге сервис попросит вручную определить область головы и подтвердить выбор. В веб-версии животные анимируются автоматически, определять «лицо» не потребуется.
Ниже — «Apt.» в исполнении британской кошки Хэйли. Получилась хорошая синхронизация губ с музыкой.
А так кошка говорит «You are nice».
Генерация без шаблона займёт чуть больше времени. В поле «Добавить скрипт» нужно указать текст, который произнесёт питомец, или загрузить аудио через импорт — запись на микрофон или поиск по доступным в приложении трекам (отсортированы по жанрам). Дальше — выбрать фото питомца и голос, которым он будет петь. Можно оставить оригинальный, как у исполнителя, или заменить на другой (в бесплатной версии — несколько женских и мужских голосов, в Pro — голоса знаменитостей, в том числе Бритни Спирс и Дональда Трампа).
Ниже – результат генерации.
Эксперимент: ИИ-фильтр
Значок «Hot» есть также у функции «Фильтр ИИ», поэтому следующей для обзора выбрана именно она. Фильтры сгруппированы по новинкам, трендовым запросам и тематикам (например, «Мода»).
Среди новых фильтров есть обладатель «Оскара» — вот таким брутальным нейросеть представила Юру Борисова, если он всё же получит статуэтку. Для этого результата понадобилось выбрать фотографию и нажать «Анимировать».
Эксперимент: новость с аватаром
В «Новостях» шаблоны собраны в сплошную ленту — выбрать можно референс, подходящий под тематику: что-то серьёзное (вроде мировых новостей) или развлекательное (например, новости хип-хопа).
Когда пользователь определится с шаблоном, сервис предложит подобрать аватар — есть и женские, и мужские персонажи. Затем нужно нажать «Редактировать сценарий», чтобы уточнить детали: добавить новость для озвучки в виде текста или аудио. Также можно прикрепить ссылку на новость из внешнего источника, но это могут быть только BBC, Fox News и CNN.
Следующий шаг — выбор голоса. В бесплатной версии для женского персонажа, которого мы выбрали, подходит только один вариант, для остальных придётся оплачивать подписку. Есть и мужские голоса, но у всех сильный акцент.
Дальше просят прикрепить фото, которые будут иллюстрировать новость (загрузить можно до 50, но в выбранном шаблоне нейросеть использовала только одно). В конце DreamFace открывает экран предпросмотра, чтобы пользователь проверил, как аватар произносит текст и как выглядят иллюстрации. Если в тексте есть недочёты или картинка криво обрезана — это можно поправить. Если всё хорошо — нажать на «Анимировать» и получить видео.
Вот что получилось по запросу озвучить новость о том, что все шоколадки Kinder стали бесплатными. В процессе пришлось внести несколько правок: DreamFace не очень точно озвучивает текст на русском (аватар прочитал «все» как «всё»). А вертикальные картинки не подошли под шаблон, хотя изначально это не было понятно.
Краткий вывод
- DreamFace отлично подходит под развлекательные цели — с помощью сервиса можно бесплатно сгенерировать несколько забавных роликов или фото в день. С ним получится научить животных петь популярные хиты, а может, даже сделать питомца звездой.
- Сервис вряд ли подойдёт для коммерческого продвижения: шаблонов видео и аватаров не так много, а прикреплять ссылки можно только на зарубежные ресурсы.
- В веб-версии есть функции, которые пока недоступны в приложении, — например, «AI translator» для автоматического перевода видео на другой язык и «Act» для повторения игры актёра из референса.
- DreamFace не всегда хорошо справляется с озвучкой текста на русском языке.
А вы уже попробовали DreamFace? Делитесь видео с вашими поющими питомцами в комментариях.