Вырежет ненужное, добавит субтитры, сделает дубляж и перескажет содержание: обзор ИИ-монтажёра Director
В заметке рассказали про основные функции сервиса.
- В Director есть боты для задач по монтажу и переводу видео. Можно выбрать нужного на панели слева или прописать команду текстом в чате.
Интерфейс Director. Здесь и далее скриншоты vc.ru
- Сервис поддерживает русский язык, работает со ссылками на видео и изображения с веб-сайтов и «Google Диска».
- Чтобы выгрузить получившийся ролик, достаточно попросить бота «прислать видео в формате MP4» — или, например, MOV.
Монтаж ролика
- Чат-боту можно прислать несколько роликов, дать команду обрезать их с заданной секунды и склеить.
Бот вырезал нужные фрагменты по ссылкам с YouTube и объединил в один ролик. Музыка наложена в отдельном приложении. Источники роликов: francis, Crimson Cinema, Flashback FM
- Сервис может вырезать из видео паузы и фрагменты с определённой информацией — для этого нужно написать запрос в духе «вырежи фрагмент, где спикер говорит о трудностях использования роботов в зимний период».
- Director также смонтирует новый ролик из нескольких частей по заданной теме.
Смонтированный ИИ ролик по запросу «Найди все моменты, когда спикер говорит слово "робот", и склей их в одно видео». Источник исходного видео: «Яндекс»
Тайм-коды упоминания слова «робот»
- Director также вырезает картинки для превью на видеохостингах — автоматически или по заданному тайм-коду.
Результат по запросу Generate a thumbnail from 1:17 / Создай превью на 1:17
- Разработчики заявляют, что нейросеть распознаёт объекты в кадре и может вырезать нужные по текстовому описанию, но функция пока работает плохо.
ИИ не смог выполнить запрос «Вырежи сцены со скалами из этого видео»
Наложение звука поверх нецензурной лексики
- Director также распознаёт мат на русском языке. Чтобы его перекрыть, нужно прислать ссылку на звук необходимой длины — сервис использует аудио целиком.
Результата по запросу «Перекрой мат в этом видео <ссылка>. Используй звук из этого видео <ссылка>». Источник исходного видео: Архив Мемов
Создание мемов
- В списке ботов есть генератор, который вырезает «вирусные» моменты из видео.
Фрагмент интервью Илона Маска, который нейросеть посчитала мемом. Перевод: «Я скажу то, что хочу сказать. И если из-за этого я потеряю деньги, пусть будет так». Источник видео: CNBC Television
Дубляж и субтитры
- Нейросеть смогла создать русские субтитры для ролика на английском языке длиной 15 минут.
Фрагмент с ИИ-субтитрами. Источник видео: PowerfulJRE
- С дубляжом видео на русский ИИ также справился, но нужно учитывать, что он создаёт буквальный перевод и не регулирует скорость озвучивания.
Фрагмент результата по запросу «Сделай дубляж этого видео на русский язык». Источник видео: CNBC Television
Пересказ видео
- Director может кратко пересказать ролик или найти в нём конкретную информацию по запросу.
ИИ сделал пересказ видео на русском языке и ответил на вопросы в духе «Сколько доставок в день выполняет робот»
Генераторы картинок, видео и аудио
- На сайте есть боты для создания изображений и роликов длиной до десяти секунд с помощью Fal и StabilityAI.
Результат по запросу «Футуристичный город»
Результат по запросу «Сгенерируй видео гор с помощью StabilityAI»
- Также можно прислать готовый ролик и попросить нейросеть сгенерировать для него музыку или звук по описанию.
Результат по запросу «Используйте @audio_generation, чтобы создать спокойную, мелодичную музыку на струнных инструментах, и наложи её на это видео». Источник исходного видео: change.up.studio
- Первые 50 видео можно обработать бесплатно. Дальше плата зависит от задачи и объёма. Поиск информации и подсчёт слов в видео стоит $0,02 за минуту (около 2 рублей по курсу ЦБ на 20 января 2025 года). Распознавание визуального контента — $0,01 за сцену (около 1 рубля). Монтаж видео, включая редактирование, компиляцию и наложение, —
$0,06 за минуту (около 6 рублей). - На сайте есть бот на основе ChatGPT, который рассчитывает стоимость создания конкретного проекта.
27 комментариев