Переход на потранзакционную аналитику: как и зачем анализировать «каждую мелочь»
Консультант 1С ALP Group Инесса Ершова и системный архитектор ALP Group Вячеслав Крайнов делятся опытом создания модуля для мгновенного учета и анализа каждой отдельной транзакции в системе оперативного учета заказчика.
Мир сплетен из миллиардов жизненных нитей, связанных друг с другом. То, что мы называем предчувствием, это лишь шевеление паутины. Если бы можно было влиять на дрожание каждой нити, будущее стало бы предсказуемым. Неотвратимым. Как математика.
Работа аналитика сродни работе детектива, который должен подмечать каждую деталь и использовать ее для отладки и оптимизации системы. И транзакционная аналитика оказывается одним из наиболее ярких примеров расширения возможностей оптимизации систем заказчика и просторным полем для игр разума.
Как мы пришли к идее потранзакционной аналитики
Наша команда занимается разработкой кастомной автоматизированной системы учета на базе 1С для одного из крупнейших промышленных холдингов страны, состоящего из целого ряда дочерних обществ. Можете себе представить, каким объемом информации компания оперирует на ежедневной основе!
Правда, сами по себе данные о платежных транзакциях не имеют коммерческой ценности с точки зрения развития бизнеса без глубокого анализа всех проведенных сделок. Работая с большими массивами данных, мы должны найти верные ключи для обработки полученной информации и для ее качественного использования на стороне систем заказчика. Встает вопрос: как обрабатывать миллионы транзакций в режиме реального времени, не перегружая при этом базу данных и не ломая основную учетную систему компании?
Ответом для нас стало решение потранзакционной аналитики — с нуля разработанный нами модуль на языке запросов T-SQL, тесно взаимосвязанный с 1С без нарушения лицензионных политик платформы. По сути, надстройка над базой данных, которая позволяет обработать большие массивы данных по определенным алгоритмам и придать информации различную ценность в зависимости от целей пользователя.
Транзакционная аналитика подразумевает высокоскоростную обработку и превращение миллионов транзакций из эквайринговых систем в данные, пригодные для работы на привычных 1С-платформах. С помощью разработанного механизма информация с платежных терминалов, закодированная в пакетах данных, превращается в строки документов в системе 1С.
Это разработка высокой сложности, которая построена на многоуровневом анализе данных, сопоставлениях с целевой учетной системой, подготовкой распознанной информации под задачи бизнеса, ее хранение и систематизацию с возможностью переопределения информации по запросу пользователей из внешней системы.
В принципе, схожие аналитические задачи позволяют выполнять и озера данных, но с большим, чем требовалось нам для решения задачи, временным лагом. Модуль потранзакционной аналитики находится в онлайн-взаимодействии с основной системой и предоставляет нужный объем подготовленной информации на всех уровнях учета в момент появления информации, а не после ее обработки озером.
Интуиция — не пустяк. Это обработка данных столь быстрая, что разум ее не воспринимает.
И то верно. Обрабатывая потоки информации за рамками платформы «1С» на отдельном кластере сервера, мы разгружаем систему, подготавливаем данные для их целевого использования в системе заказчика, находим пути предобработки и компоновки массивов таким образом, что на стороне системы получателя остается нажать на несколько кнопок — и потоки данных сами раскладываются по документам и регистрам. При этом для нас важно всё: сама структура информации, ее ключи и теги, знание которых позволяет нам максимально эффективно и порой даже креативно использовать получаемые данные, то, как мы получаем эти данные, как и где их храним, какие ожидания по использованию есть на стороне заказчика, как выглядят его бизнес-процессы и, разумеется, как устроена его основная система.
Как это решение помогло бизнесу
На выходе мы получили систему, которая функционирует за рамками основной базы данных, но при этом полностью интегрирована в бизнес-процессы основной системы. В нужный момент она отдает качественные данные с фактически адресным хранением — то есть адресом той ячейки объекта метаданных системы, куда необходимо эти данные отдать.
Этот механизм позволил нам расширить функциональные возможности работы с большими объемами информации и сократить как время непосредственной обработки данных, ожидания их предоставления, так и время, затрачиваемое сотрудниками для сверки и обработки такой информации.
Из бонусов потранзакционной аналитики:
- доступные в любой момент данные, сопоставленные с привычными аналитиками заказчика;
- возможность распределить транзакции по видам документов, которые будут сформированы на основании полученных данных;
- легкое решение вопроса округлений в учете и, следовательно, повышение его точности;
- принципиально новый уровень аналитичности данных;
- оперативное обнаружение учетных ошибок и расхождений между системами-источниками.
И это лишь часть возможностей, которые можно реализовать с помощью модуля. На его разработку у нас ушло около года — от начала процесса сбора данных и заканчивая выдачей первой действующей модели, далее выполнялась модификация и развитие функционала с учетом новых вводных и изменений в бизнес-процессах заказчика. Но оно того стоило. Всё, что ранее выполнялось сотрудниками вручную для подготовки данных к учету, теперь делается автоматически. Введение решения в эксплуатацию повысило производительность сотрудников до 20% за счет снятия нагрузки как самих сотрудников, так и с системы в целом, а также повысило качество подготовленных данных.
Закончим еще одной цитатой из «Шерлока», которая отражает цель любой оптимизации ИТ-системы:
Если одновременно подключить свой мозг ко всем информационным потокам в мире, то можно будет предвидеть практически всё.
P. S. Если вы хотите «предвидеть практически всё», свяжитесь с нами. Сегодня аналогичный проект под любой бизнес можно реализовать уже за 6–12 месяцев — в зависимости от сложности задачи.