Как узнать правду о своих продажах: автоматический расчет цен на основе open source технологий
В ходе совместного проекта с крупным поставщиком маркетплейсов мы разработали real-time сервис для настройки ценового предложения (Configure, price and quote – CPQ). Сервис работает на базе open source технологий и позволяет ежечасно обновлять витрину данных, «подтягивая» самые свежие данные из всех возможных источников: из API маркетплейсов, XAPI, личных кабинетов на маркетплейсах, 1С, фронт-офисных систем заказчика, графиков производства и поставок и пр. Это позволяет получать самые точные и актуальные данные. Система обеспечивает в том числе учет изменений «задним числом» и оптимальное хранение данных.
Несмотря на то, что сервис разработан для поставщика маркетплейса, его можно использовать в любой организации, где есть необходимость в оперативном обновлении данных и расчетах в рамках интеграции со сторонними API и личными кабинетами.
Сервис автоматического ценообразования интегрирован с личным кабинетом поставщика. Заказчик управляет системой и получает всю информацию через Telegram-бот. При этом для интеграции достаточно предоставить нам только логин и пароль от личного кабинета, а также ключ API.
Нам необходимо было ежедневно понимать ситуацию с продажами, но без этой разработки приходилось собирать информацию из сотен Excel-файлов, что в ручном режиме просто невозможно делать оперативно.
В компании Raisk нас привлекли широчайший стек технологий и компетенция. Начали с прямой загрузки данных API в файл Excel, а закончили сотнями гигабайтов данных, автоматическими расчетами, очисткой данных и пр. Финал всего этого – глубоководное озеро данных, которое визуализируется в Power BI.
Как решаются проблемы с данными
Поставщикам маркетплейсов хорошо знакомы проблемы, вызванные нестабильностью данных и самого API, неожиданными кардинальными изменениями, несоответствием технической документации. Например, в документации указан URL для получения данных:
При этом фактический URL, по которому реально можно получить данные, другой:
Все данные, получаемые из API, мы проверяем на Data Quality. Для этого используются неструктурированные источники данных, например внутренние хранилища в Excel, парсинг внешних данных, автоматизированная выгрузка данных из личных кабинетов в контролируемо ручном режиме. Мы консолидируем и синхронизируем всю эту разрозненную информацию для получения «чистых» данных, на основе которых и делаем расчеты. Для сбора информации мы разработали в том числе сверхбыстрый парсер данных из Excel в Postgres с встроенной технологией авто-ORM (Object-Relational Mapping).
Подробнее о расчетах
Специалисты заказчика разрабатывают сложный Excel-прототип расчетов, в соответствии с которым мы уже делаем собственные расчеты. Excel-прототип представляет собой алгоритм изменения цен, который запускается 6 раз в сутки на основании динамики спроса и план-факта оборачиваемости остающегося товара.
Ежедневно меняющиеся данные от маркетплейсов о заказах, продажах, остатках и пр., а также внутренние файлы компании по производству, поставкам, планам консолидируются в хранилище на базе PostgreSQL. На основе этих файлов формируются витрины данных, учитывающие все потребности бизнеса. В системе хранится около 0,25 ТБ данных только о заказах и продажах. Все данные (около 20 срезов информации ежедневно) обновляются в режиме реального времени и могут быть предоставлены в любой момент по запросу.
Ежечасно делается полная выгрузка данных из API и личного кабинета. Кроме того, каждую ночь на серверах заказчика происходит автоматический расчет ценообразования в SQL и Power Query, а к 8 часам утра система предоставляет готовые данные «под ключ», обновляя информацию в витрине и внешних источниках. Это позволяет сотрудникам заказчика каждый день экономить несколько часов, которые они раньше тратили на обработку «грязных» данных.
Данные «подтягиваются» не только через API, но и непосредственно с портала маркетплейса. При этом сотрудники заказчика видят реальную маржу за любой период, а не условные «столбцы», из которых вычитаются расходы в других отчетных периодах. Прогноз поставок делается исходя из данных об остатках за расчетный период (напомним, что в личных кабинетах на популярных маркетплейсах предоставляются данные об остатках только на момент запроса).
Сервис интегрирован с Telegram-ботом. В Telegram можно не только получать всю отчетность в реальном времени, но и управлять системой, оперативно отслеживать изменение ситуации с продажами, поставками и т.п.
В Telegram происходит и автозагрузка цен — несколько раз в день. Цены меняются автоматически при изменении спроса, в том числе резком. Скидки для покупателей тоже рассчитываются автоматически исходя из колебаний спроса — например, исходя из данных о продажах по всем личным кабинетам. Установив продвинутые настройки бота, можно рассчитать цену, которая учитывает спрос на каждую позицию за последние 30 дней и количество товаров этой позиции, которое есть в наличии.
Очевидно, что в «ручном» режиме все эти инструменты недоступны. За счет технологий, которые позволяют быстро перейти непосредственно к бизнес-логике, нам удается реализовывать сложные расчетные блоки максимально оперативно.
За первый год после внедрения наработок проект вырос в 5 раз, а затем ежегодный прирост составил примерно 30%. На начальном этапе система позволила предотвращать “вымывание” остатков товара за счет повышения цены, и это было главное ее достижение. На данном этапе мы скальпируем маржу в зависимости от изменений спроса на площадках.
Использование сервиса позволило достичь роста выручки по востребованным позициям не менее 20 процентов. Экономия времени сотрудников — не менее 30 часов ежемесячно.