Наш кейс разработки и внедрения ИИ-ассистента 🤖
Теперь и у меня есть ИИ-ассистент. Созданный бесплатно и своими руками для помощи в процессе лидогенерации. Рассказываю.
Недавно писал очередное полуночное видео, в котором выяснил, что разработке и связанным с ней вопросам я за свою жизнь уделил порядка 50-70 тысяч часов.
Видимо, не бывает бывших разработчиков. И мне уже давно хотелось, наконец, пощупать своими руками работу с GPT через API в разрезе создания ИИ-ассистентов.
Работа через API даёт больше возможностей, чем веб-интерфейсы или боты. Потому что, например, в один запрос с единым промптом можно упаковать несколько единиц данных и получить несколько ответов. Кроме того, можно легко пощупать разных провайдеров и разные модели. Чем я и воспользовался.
Лидген - наша боль
Как человек, отвечающий в компании за лиды и продажи, я активно занимаюсь лидогенерацией. И пока мы ведём переговоры о сотрудничестве со всем известной нефтяной компанией, не менее известным застройщиком и ещё рядом крупных потенциальных клиентов, я параллельно мониторю такие источники лидов, как мессенджеры, биржи проектов, партнёрские каналы, вытаскиваю оттуда целевые для нас запросы на разработку, откликаюсь на них, уточняю требования, делаю оценки и веду переговоры.
Узким местом в этом процессе у нас по-прежнему является лидогенерация. Простым языком, качественных лидов не хватает. Это стандартная история в B2B на сложных сделках и больших чеках. И я продолжаю искать способ решить эту задачу.
Первые шаги к автоматизации
Ещё в конце 2024 года я начал помаленьку автоматизировать для себя процесс мониторинга, потому что он занимал уж очень много времени. Так появилась система сбора этих данных, фильтрации, формирования из них кампаний для распределения на менеджеров и последующей обработки.
Среди этих запросов было много мусора, т.к. система оценки содержимого запроса была построена на простых методах анализа по ключевым словам, используя частичное совпадение и регулярки (regexp). И меня удручало 2 вещи:
- С одной стороны - низкое качество запросов (много нецелевых, много не стыкующихся по ожиданиям и бюджету)
- С другой стороны - сложность их обработки, когда из груды мусора нужно было отобрать что-то действительно важное.
Интеграция с GPT
После интеграции системы с GPT удалось автоматизировать анализ содержимого каждого из запросов и отбраковку абсолютно нецелевых,. А целевые запросы теперь можно упорядочить по степени вероятности того, насколько этот запрос имеет для нас смысл.
В ходе настройки интеграции я перепробовал ряд моделей от HuggingChat и Mistral и десятки вариантов промптов, остановившись в итоге на следующей комбинации:
- Модель mistral-large-latest от Mistral
- Промпт:
Обработай список из 10 запросов. Для каждого запроса дай один ответ в виде оценки вероятности со знаком процента, что его автор ищет программиста или помощь в создании сайта, мобильного приложения или иной информацинной системы, не предлагая свои услуги. Вероятности напечатай в виде списка значений через запятую.
Такой промпт позволяет
- Подать на вход сразу 10 запросов и получить 10 ответов
- Отфильтровать запросы, где на самом деле не ищут решение, а предлагают услуги
- Получить ответы в численном виде, который позволяет далее упорядочить результаты
- Сократить нагрузку на GPT-сервис и сберечь токены на аккаунте
В итоге после прогона запросов через GPT с таким промптом мы получаем вероятности от 0 до 100 того, насколько запросы нам интересны, и можем приоритезировать их.
Что это даёт по факту
- Порядка половины запросов получают вероятность 0, и их фактически можно отбросить
- Порядка 10% получают вероятность 90-100 и в них действительно содержатся в основном целевые запросы
Всё это существенно экономит время и позволяет сфокусироваться на запросах, которые с большей вероятностью приведут к продажам.
Качество оценки вероятностей действительно удивляет. Хотя бывают и ошибки, но они скорее единичны.
Пока только пробуем эту систему в работе, но впечатления уже очень приятные.
Впечатления
- Существенно сокращается количество работы
- Существенно ускоряется процесс обработки
- Усилий требуется намного меньше
- Запросы с разными вероятностями могут обрабатываться отдельно разными способами, дополнительно оптимизируя бизнес-процесс
Результаты в примерных цифрах
- обработка тех же запросов стала раза в 1.5-2 быстрее
- если нецелевые запросы отбрасывать, то раза в 4-8.
Ещё из важного
- Всё работает без VPN и иных хитростей
- Обработка обходится в 0 рублей (данные могут быть использованы для дальнейшего обучения модели, поэтому если используете конфиденциальные данные, лучше оплатить тариф)
- Пока даёт выполнить тысячи запросов в сутки с минимальными паузами
Стек: python/django, postgresql, openai, aiogram
Автор - Юрий Абдуллин, CCO/CTO Кибер Форм Системс