История о том, как Илон Маск бросил все дела ради работы новостным ведущим в России
А ещё выучил русский язык и переехал в РФ, чтобы работать на YouTube канале 42CHANNEL. А теперь расскажу, чего можно добиться с помощью доступных DeepFake технологий.
Введение
Deepfake — конкатенация слов «глубинное обучение» и «подделка», методика синтеза изображения, основанная на искусственном интеллекте. Она используется для соединения и наложения существующих изображений и видео на исходные изображения или видеоролики. Как гласит Википедия.
Ещё одна полезная технология современного мира - стриминг видео контента.
И наконец, синтез речи - программная конвертация печатного текста в «неотличимый от человеческого» речевой сигнал.
Закинув все это в блендер и залив контентом в виде новостей, я получил:
42CHANNEL - YouTube канал, круглосуточно транслирующий самые актуальные мировые новости, с Илоном Маском в роли ведущего.
Переходите на трансляцию и смотрите, что из этого вышло своими глазами:
История
Если вкратце - замысел был беспощадно «украден» у Никиты Колмогорова, а реализация кровожадно сперта у десятка разработчиков по всему миру.
Так как все нужные мне технологии уже были разработаны, мне оставалось их соединить воедино. Сейчас опишу используемые инструменты, так что можете переходить к следующей части статьи.
Для создания дипфейк видео взял Wav2Lip, который довольно прост в использовании, но ввиду кривизны моих рук, пришлось изрядно попотеть, чтобы установить зависимости на моём ПК.
Путем множественных тестов, для синтеза речи был выбран SOVA TTS. А итоговое видео создается через FFmpeg и через него же транслируется на YouTube.
Часть кода, отвечающая за генерацию видео, крутится на моём стационарном ПК с видеокартой 2060 Super. Подходящий сервер с GPU неоправданно дорогой для текущей стадии.
Кому это нужно?
Хотелось бы верить, что вообще всем. Моя задача - создать и предложить, остально дело за зрителями. С другой стороны, кто откажется под кружечку чая смотреть, как Илон рассказывает о мировых проблемах.
Какие есть проблемы?
Самая главная проблема - кривое произношение, иногда сложно понять, что сказал ведущий, особенно на аббревиатурах.
Кроме того, на текущем этапе разнообразие происходящего на трансляции оставляет желать лучшего. В планах добавить больше динамики, разные ракурсы ведущего и видео вставки.
Заключение
На самом деле, моя главная цель - вдохновить крупные компани автоматизировать все процессы в мире, лишить людей работы, устроить кризис на рынке труда и подорвать экономику. Ведь, как мы все прекрасно понимаем, с этого момента ведущие больше не нужны. Как вариант, компания Яндекс может взять проект за основу и развить его до чего-то революционного и не имеющего аналогов в мире.
И ещё кое что. Если трансляция прервется по техническим причинам, ссылка на неё изменится, поэтому, чтобы не утратить стрим, вы можете либо подписаться на канал, либо сохранить постоянную ссылку, которую я указал выше.
С любовью, tgaru.