Вырежет ненужное, добавит субтитры, сделает дубляж и перескажет содержание: обзор ИИ-монтажёра Director

В заметке рассказали про основные функции сервиса.

В Director есть боты для задач по монтажу и переводу видео. Можно выбрать нужного на панели слева или прописать команду текстом в чате.

Интерфейс Director. Здесь и далее скриншоты vc.ru

Сервис поддерживает русский язык, работает со ссылками на видео и изображения с веб-сайтов и «Google Диска».
Чтобы выгрузить получившийся ролик, достаточно попросить бота «прислать видео в формате MP4» — или, например, MOV.

Чат-боту можно прислать несколько роликов, дать команду обрезать их с заданной секунды и склеить.

Бот вырезал нужные фрагменты по ссылкам с YouTube и объединил в один ролик. Музыка наложена в отдельном приложении. Источники роликов: francis, Crimson Cinema, Flashback FM

Сервис может вырезать из видео паузы и фрагменты с определённой информацией — для этого нужно написать запрос в духе «вырежи фрагмент, где спикер говорит о трудностях использования роботов в зимний период».
Director также смонтирует новый ролик из нескольких частей по заданной теме.

Смонтированный ИИ ролик по запросу «Найди все моменты, когда спикер говорит слово "робот", и склей их в одно видео». Источник исходного видео: «Яндекс»

Director также вырезает картинки для превью на видеохостингах — автоматически или по заданному тайм-коду.

Результат по запросу Generate a thumbnail from 1:17 / Создай превью на 1:17

Разработчики заявляют, что нейросеть распознаёт объекты в кадре и может вырезать нужные по текстовому описанию, но функция пока работает плохо.

ИИ не смог выполнить запрос «Вырежи сцены со скалами из этого <a href="https://api.vc.ru/v2.8/redirect?to=https%3A%2F%2Fyoutu.be%2FvAMonh5qyCk%3Fsi%3DHgGAj-bIZfz5KVLn&postId=1760504" rel="nofollow noreferrer noopener" target="_blank">видео</a>»

Director также распознаёт мат на русском языке. Чтобы его перекрыть, нужно прислать ссылку на звук необходимой длины — сервис использует аудио целиком.

Результата по запросу «Перекрой мат в этом видео <ссылка>. Используй звук из этого видео <ссылка>». Источник исходного видео: Архив Мемов

В списке ботов есть генератор, который вырезает «вирусные» моменты из видео.

Фрагмент интервью Илона Маска, который нейросеть посчитала мемом. Перевод: «Я скажу то, что хочу сказать. И если из-за этого я потеряю деньги, пусть будет так». Источник видео: CNBC Television

Нейросеть смогла создать русские субтитры для ролика на английском языке длиной 15 минут.

Фрагмент с ИИ-субтитрами. Источник видео: PowerfulJRE

С дубляжом видео на русский ИИ также справился, но нужно учитывать, что он создаёт буквальный перевод и не регулирует скорость озвучивания.

Фрагмент результата по запросу «Сделай дубляж этого видео на русский язык». Источник видео: CNBC Television

Director может кратко пересказать ролик или найти в нём конкретную информацию по запросу.

ИИ сделал пересказ видео на русском языке и ответил на вопросы в духе «Сколько доставок в день выполняет робот»

На сайте есть боты для создания изображений и роликов длиной до десяти секунд с помощью Fal и StabilityAI.

Результат по запросу «Футуристичный город»

Результат по запросу «Сгенерируй видео гор с помощью StabilityAI»

Также можно прислать готовый ролик и попросить нейросеть сгенерировать для него музыку или звук по описанию.

Результат по запросу «Используйте @audio_generation, чтобы создать спокойную, мелодичную музыку на струнных инструментах, и наложи её на это видео». Источник исходного видео: change.up.studio

Первые 50 видео можно обработать бесплатно. Дальше плата зависит от задачи и объёма. Поиск информации и подсчёт слов в видео стоит $0,02 за минуту (около 2 рублей по курсу ЦБ на 20 января 2025 года). Распознавание визуального контента — $0,01 за сцену (около 1 рубля). Монтаж видео, включая редактирование, компиляцию и наложение, —
$0,06 за минуту (около 6 рублей).
На сайте есть бот на основе ChatGPT, который рассчитывает стоимость создания конкретного проекта.

#монтажвидео #ии #новости