Что эффективнее: Экстрактор или программист 1С? Извлекаем данные из 1С без написания кода и с помощью BI превращаем в красивый дашборд

Qlever Solutions и Денвик провели совместную онлайн-встречу «Экстрактор vs 1С Программист. Как эффективно выгружать данные из 1С и делать дашборды за 15 минут?», посвященную основным способам извлечения данных из 1С и их использованию для бизнес-аналитики.

В рамках онлайн-встречи CTO Денвик Степан Пыстин, технический директор Qlever Solutions Андрей Харлак и эксперт отдела развития Qlever Solutions Дмитрий Корнеев

Итак, как же быстро выгрузить данные из 1С, чтобы легко разработать на их основе аналитические дашборды и повысить качество управленческих решений?

Бизнес-аналитика начинается с ETL- процессов (Extract, Transform, Load/ Извлечение, преобразование, загрузка).

Данные для BI необходимо извлечь из источника 1С, трансформировать и предоставить BI-системе. Обычно, с этими запросами сотрудники компании обращаются к 1С-программисту.

Первым к программисту 1С приходит аналитик с запросом выгрузки данных из 1С с нужной ему периодичностью в той структуре таблиц, которые он подготовил в базе данных и желательно в полном объеме.

При этом, для администратора 1С важно сохранить производительность базы и обеспечить безопасность данных.

Замыкает эту цепочку директор по ИТ, которому нужно максимально универсальное решение, работающее на большинстве конфигураций платформы 1С.Для минимальной нагрузки на 1С желательно, чтобы выгружался не весь объем данных, а только измененная часть, то есть инкремент.

Когда программист приступает к реализации, он сталкивается с большим количеством требований и ограничений. К тому же решение необходимо поддерживать и дорабатывать по мере появления новых запросов. Осложняется все тем, что никто не застрахован от того, что программист некачественно выполнит свою работу или решит уволиться.

Для выгрузки программист 1С будет использовать один из 6 способов извлечения данных:

Первые два способа излечения данных, web-сервис и COM–объект – это всего лишь двери взаимодействия с 1С.Сами по себе эти инструменты не предоставляют доступ к данным, для них необходимо писать свою логику получения данных из 1С и доставки этих данных в хранилище.

API-интерфейс от компании 1С, который есть в большинстве современных конфигураций, хороший инструмент для выгрузки небольших объемов данных.На больших объемах возникают трудности, связанные с тем, что OData возвращает весь массив данных, никак его не сегментируя.OData позволяет работать только с объектной моделью данных, построенной уже на стороне хранилища.

Прямой доступ в базу данных SQL нарушает лицензионную политику 1С и не обеспечивает необходимую безопасность данных.Таблицы в сырой базе хранятся в тяжело воспринимаемой человеком структуре, связаны между собой по индексам хранения. Для того, чтобы собрать знакомую карточку номенклатуры или заказа придётся обратиться к десятку таблиц.К тому же работа на живой SQL-базе создаёт на неё дополнительную нагрузку из BI системы. Если попытаться решить это проблему созданием реплик в технологическое окно, например, ночью, выгружаться будут уже неактуальные данные.

Последние два способа - способы «выталкивания» данных из 1С.Выгрузка файла в формате XLS/CSV/XML позволяет легко сформировать хорошо знакомый отчёт, сохранить его на диск и обработать. Этот полностью ручной метод выгрузки можно автоматизировать, но каждый раз, когда пользователю потребуется новое поле или выгрузка нового отчёта, необходимо обращаться к программисту 1С.

Все рассмотренные выше способы извлечения данных имеют ряд весомых минусов и требуют постоянной поддержки. При наличии времени и бюджета можно разработать собственные решения для извлечения данных.Но для того, чтобы создать полноценное, универсальное решение для безболезненной выгрузки данных из 1С необходимо привлекать эксперта, который будут обладать компетенциями:

Как правило, такими знаниями обладает 1С-программист уровня senior, час работы которого обойдется примерно в 3000 руб.

Для работы с MVP (Minimal Viable Product, минимально жизнеспособный продукт) потребуется 300–500 часов.

Итого, на реализацию проекта будет затрачено не менее 900 тыс. -1,5 млн рублей.

Другой подход – привлечь на аутстаф программиста 1С для разработки индивидуального решения для текущего проекта.

Кастомная разработка выгрузки под проект составитпримерно 200 тыс. руб. / мес.

Минусы такого подхода в необходимости поддержки и модификации решения при возникновении новых задач.

И в том, и в другом случае, бизнес продолжает активно генерировать идеи, но ему всё время приходится ждать, пока программист выгрузит данные.

Одновременно «простаивает» аналитик, который не может рассчитать необходимые для принятия решений метрики.

Программист 1С становится «бутылочным горлышком» в процессе работы с данными. Если интерпретировать ситуацию с точки зрения теории ограничений, общая производительность цепи (работы с данными) равна пропускной способности этого «бутылочного горлышка».

Чтобы повысить пропускную способность бутылочного горлышка можно:

Для реализации подхода эксперты компании Денвик разработали Экстрактор данных 1С. Который позволяет автоматизировать выгрузки из 1С в базы данных ClickHouse, PostgreSQL или Microsoft SQL.

Экстрактор устанавливается как расширение для 1C, настраивается один раз и позволяет ускорить интеграцию и снизить затраты на поддержку баз.

Для работы с Экстрактором не нужно привлекать программиста 1С, для этого достаточно навыков аналитика.

Полученные данные можно использовать для анализа в BI-системах: PIX BI, Yandex Datalens, Power BI и других, или в DWH.

В рамках онлайн-встречи CTO Денвик Степан Пыстин продемонстрировал выгрузку отчетов с финансовыми показателями продаж из 1С:Предприятие 8.3.22.

Посмотрите полную запись вебинара, в рамках которого эксперт Денвик показал инкрементальную выгрузку данных из 1С:Предприятие в режиме реального времени

В конструкторе настройки проекта можно выбрать конкретные регистры, документы и срезы данных, настроить расписание выгрузки

Очистка от дублей и ошибочных данных, шифрование информации

Экстрактор работает с СУБД Clickhouse, PostgreSQL, Microsoft SQL

Данные в СУБД можно использовать для отслеживания показателей бизнеса и построения отчетов в BI-системах

Конфигурации платформы 1С содержат данные по разным направлениям бизнеса:

После выгрузки с помощью Экстрактора от Денвик данные можно использовать для дальнейшей аналитики продаж, маркетинга, производства и т.д.

В рамках онлайн-встречи технический директор Qlever Андрей Харлак продемонстрировал дашборды, разработанные в BI на основе выгруженных ранее данных.

Данные с финансовыми показателями продаж были извлечены с помощью Экстрактора от Денвик из 1С:Предприятие 8.3.22 и автоматически загружены в таблицы СУБД ClickHouse в привычном для пользователей 1С виде.

На основании этой базы было сформировано представление (view) – объединение таблиц из 1С, справочников номенклатуры и контрагентов. На представлении базируется готовый отчет в BI-платформе.

Дашборды были разработаны в трех приложениях:

с помощью стандартных визуализаций: круговой диаграммы, секторных графиков, диаграмм Treemap, сводных и детализированных таблиц. Настроены фильтры по менеджерам, номенклатуре и периодам.

Приложения демонстрируют базовые показатели для анализа продаж:

На разработку дашбордов на основе выгруженных данных потребовалось от 15 минут до 1 часа в зависимости от выбранной платформы.

Экстрактор от Денвик помогает настраивать и автоматизировать непрерывную выгрузку данных, сокращает затраты на поддержку БД и загрузку программиста 1С.Экстрактор позволяет легко решить вопрос интеграции 1С и BI.

Qlever Solutions обладает одной из самых обширных в России практик разработки и поддержки BI-решений. Мы проектируем и строим DWH, наводим порядок в данных, помогаем в интеграции систем бизнес-аналитики с внешними платформами, в том числе, с 1С.

Свяжитесь с нами. Превратим таблицы из 1С в красивый дашборд.