Как сделать MVP сложного сервиса обработки данных просто

Добрейшего и бодрого дня, дорогие читатели! Сегодня вещает амбициозная, задорная команда программистов Curesell :)

Несколько недель назад мы писали о нашей разработке, позволяющей автоматически продавать товары, опираясь на стоимость конкурентов на маркетплейсе Вайлдберриз. На днях мы сделали MVP, и спешим поделиться нашими наблюдениями, решением проблем, с которыми столкнулись.

Первая проблема - это сложность определения ключевых функций для минимальной рабочей версии, как всегда хочется изначально реализовать весь функционал и показать насколько все круто, но для MVP важна база и быстрая реализация. Мы остановились на автоматическом поиске конкурентов, мониторинге цен, отзывов, продаж и отчетах.

Вторая сложность - это поиск админ панели, для демонстрации результатов работы алгоритмов. Админок для работы с Python и нейронными сетями не так много, но мы нашли неплохой зарубежный сервис, который в этом нам помог - streamlit.io и сервис с вычислительными мощностями heroku.com.

Также возникали проблемы со скоростью парсинга, на чистом Python скорость была очень низкая, как решение, переписали скрипты на Cython (Python-код с небольшими модификациями, который затем напрямую транслируется в C-код). Однако на этом трудности не закончились, возникли сложности со сбором данных о продажах (в html-коде у данного элемента стоял тег span, что мешало собрать его содержание), пришлось подключать Selenium.

Мы тестировали разные способы автоматического поиска конкурентов: через категории, поисковую выдачу, по фотографиям. Остановились на последних двух вариантах, в данных случаях выводились наиболее релевантные товары-конкуренты. Из-за ограниченных серверных возможностей, за одну процедуру парсинга возможен сбор 900 карточек товаров.

Проанализировав варианты поиска, мы добавили морфологическую форму запроса, так как от падежа запроса зависит количество конкурентов в поисковой выдаче.

Помимо автоматического поиска и парсинга товаров конкурентов, добавили парсинг по ссылке, можно собрать информацию о товарах конкретного бренда.

Добавили основные графики: график цен конкурентов и график зависимости цены от продаж, которые помогут правильно скорректировать ценовую политику и провести аналитику конкурентов.

Все таблицы и графики можно выгрузить в удобный excel-формат.

По времени на всю разработку ушло 2 недели.

Разработать полноценный веб-сервис, собрать клиентскую базу, ну и естественно захватить мир!)

В новой версии Системы умных цен планируем усовершенствовать функционал:

В результате получилась вполне рабочая версия сервиса, которая уже может приносить пользу и которую можно демонстрировать клиентам.

Будем благодарны за обратную связь, сейчас пользоваться Системой умных цен можно бесплатно)

Желаем больших продаж и бодрого настроения!