Как я сделал чат-бота для нарезки видео на шортс для ютуб с помощью нейросети
Привет, меня зовут Алексей Ярмоц, я разработчик и создатель нескольких чат-ботов, таких как @Vid2Text_bot, @MeetScribe_bot и @Zvonalitik_bot. Сегодня хочу поделиться с вами историей создания моего нового продукта — чат-бота для нарезки видео на шортсы @narezkavideo_bot.
Идея создать этот сервис возникла из текущей задачи, с которой я столкнулся в другом моем проекте — "Big Ben CRM — реальные истории". Нам нужно было разделить длинное интервью с пользователями нашей платформы для языковых школ на короткие фрагменты видео для продвижения.
Несколько месяцев назад я накидал прототип Python-скрипта для нарезания видео на основе таймкодов после транскрибации с помощью GPT. Однако, проект пришлось временно забросить из-за множества непонятных моментов.
Неделю назад я вернулся к этому проекту с новым взглядом и довел его до ума, добавив личный кабинет с простым редактором субтитров.
Оценка виральности
Сервис просчитывает параметры виральности для каждого видео по четырем критериям:
- Захват внимания
- Логичность, связность
- Вовлеченность
- Тренды
Это позволяет определить самые перспективные клипы, которые будут наиболее интересны аудитории.
Подготовка статей
В какой-то момент я решил, что было бы удобно при публикации шортсов сопровождать их дополнительным текстовым описанием. Но просто транскрибированный текст не всегда выглядит хорошо, ведь в видео часто используется разговорная речь.
Поэтому дополнительным запросом к нейросети мы подготавливаем статью для каждого фрагмента видео. Это позволяет создать качественное текстовое описание, которое улучшает восприятие и продвижение видео.
Редактирование субтитров
Вы можете просмотреть превью клипов, изменить настройки цвета, шрифта и позиционирования субтитров, исправить опечатки и дополнить текст дополнительной информацией или удалить лишнее. После этого чат-бот подготовит финальное видео в высоком разрешении.
Исправление опечаток в сценарии, удаление и добавление слов к видео фрагментам тоже делается очень просто. Выбираете слово, редактируете, сохраняете и получаете новое превью короткого видео клипа для вашего shorts.
Не всегда по транскрибу понятно, что имелось в виду, поэтому я добавил кнопку "перейти к кадру в видео", чтобы можно было быстро прослушать нужное слово и внести правки в готовый сценарий к видео-нарезке.
Как это работает
Для работы с чат-ботом для нарезки видео на шортс нужно выполнить несколько простых шагов:
- Откройте чат-бота @narezkavideo_bot и нажать кнопку "создать шортс",
- Загрузите файл или ссылку на YouTube-видео.
- Бот транскрибирует видео с таймкодами, разделит текст на логические интересные блоки мини-историй.
- Чат-бот подготовит заголовок и статью на основе каждой истории.
- Нейросеть нарежет видео на фрагменты и создаст серию коротких видео, отсортированных по степени виральности.
- Вам останется только выбрать наиболее интересные, проверить субтитры и скачать видео shorts в высоком качестве.
На 40-минутное видео получается около 20-25 клипов длительностью от 30 до 90 секунд.
Сервис просчитывает параметры виральности для каждого видео по четырем критериям и показывает самые перспективные клипы.
Далее вы можете просмотреть превью клипов, изменить настройки цвета, шрифта, позиционирования субтитров, исправить опечатки и дополнить текст дополнительной информацией или удалить лишнее. После этого чат-бот подготовит финальное видео в высоком разрешении.
На основе длинного видео вы получаете подборку шортсов с самым ярким контентом и красочными субтитрами, а также текстовый контент для продвижения.
Что дальше
В ближайших планах:
- Добавление функции face-tracking и обрезки горизонтальных видео до вертикальных и квадратных с учетом позиции говорящего в кадре.
- Возможность комбинирования лиц нескольких спикеров на одном экране в клипе.
В дальнейшем я планирую использовать платформу для собственных проектов «EduGrowth (чат-бот)» и «Big Ben CRM».
Кроме того, есть идея сделать интеграцию с другим моим проектом «Быстрокурс», чтобы автоматически резать записи длинных вебинаров на короткие уроки и сразу их упаковывать в мини-курсы в Телеграм-боте с автоматическим тестированием учеников и защитой контента средствами Телеграм.
Приглашаю к тестированию
Я приглашаю всех читателей протестировать работу чат-бота. Напишите в комментариях, в каких целях вы используете шортсы и фразу «Хочу бонус» — и я активирую для вас бонусные 300 рублей в чат-боте. (Предложение действует до 6 августа 2024 года)
Спасибо за внимание!
Друзья, ищу партнеров (тех, кто умеет развивать и продвигать проекты – потому как сам в этом не очень), а также частных инвесторов для продвижения и развития проектов:
- Vid2Text – чат-бот для преобразования видео в текст с созданием SEO-статей на основе транскриба.
- MeetSribe – чат-бот AI-секретарь для расшифровки совещаний и встреч с постановкой задач и созданием MindMap встречи.
- Zvonalitik – расшифровка и анализ звонков с оценкой по 15 параметрам.
- БыстроКурс – платформа для быстрого создания курсов и проведения уроков в Telegram с бесплатным хранилищем и защитой контента от копирования.
- Big Ben CRM – для языковых школ и учебных центров с мобильным приложением «Твоя Школа» для геймификации учебного процесса.
- EduGrowth (чат-бот) – чат-бот с подпиской к записям эфиров с экспертами в сфере образовательного бизнеса.
Если что-то из этого вам интересно, напишите мне @ayarmots в Телеграм – продумаем варианты коллаборации.
А как происходит обработка видео с несколькими спикерами? Можно ли как-то выделить каждого спикера в отдельные нарезки?
В отдельные нарезки пока не умеет бот, но сейчас тестируем функцию создания коллажа из двух спикеров. Пока это вот так выглядит.
Очень полезный сервис! Как происходит оценка логичности и связности нарезок? Можно ли настраивать эти параметры под свои нужды?
В целом вы можете перекомпоновать шортс в редакторе, как вам угодно. Можно любую последовательность фраз задать, убрать какие-то слова.
Оценку на связность и логичность текста делает нейронка - тут сложно сказать, как она оценивает этот параметр, но оценки выдает весьма адекватные, как мне кажется.
Очень интересная идея. Подскажите, какие ограничения по размеру и длительности видео для загрузки в чат-бот?
Тестировали на часовом видео - все сработало. Думаю, что и более длинные видео обработаются без проблем.
Планируете ли вы добавить возможность группового редактирования видео, чтобы несколько пользователей могли работать над одним проектом?