Как мы спасли российский рынок аналитики машинных данных от пустоты

Александр Скакунов, Генеральный директор и основатель компании VolgaBlob

Машинные данные считаются самым недооцененным активом современного предприятия. Сложность их извлечения, обработки и анализа состоит в огромном количестве форматов и источников, скорости поступления и объеме. В этой сфере в России до недавнего времени доминировал буквально один вендор, который ушел с рынка РФ в феврале 2019 года. Разработчик ушел, но задачи, проекты и боли у компаний остались. Эта статья о кейсе преодоления ситуации российским вендором.

Говоря о предметной области, важно отметить, что машинные данные разнородны. Кроме технических данных в виде сообщений от серверов, сетевых хостов и датчиков и т.п. устройств, в них могут содержаться сведения, отражающие бизнес-процессы организации. Это взаимодействие бизнеса с клиентами, контрагентами и посредниками. Сюда же входят события, отражающие внутреннюю активность на предприятии: регистрация сотрудников в сети, движение товаров по складу, востребованность и продолжительность исполнения услуг, оцифрованные отзывы клиентов, тикеты в техподдержку и т.д.

Компаниями, и особенно крупным бизнесом, востребованы комплексные системы анализа машинных данных, способные представлять результаты запросов в графическом виде, оповещать пользователей о критических событиях в ИТ-системах и в бизнес-процессах, выявлять и предотвращать инциденты безопасности и технологические аварии. Это позволяет, не тратя усилия на интеграцию разрозненных средств мониторинга и аналитики, определять «узкие места» инфраструктуры и бизнеса, оптимизировать качество обслуживания клиентов, находить уязвимые места в информационной безопасности предприятия (ИБ).

Образно говоря, рынку нужна такая система, которая способна ответить и на вопрос CIO «Почему у меня столь неравномерная нагрузка серверов», на вопрос CISO «Все ли у меня корректно защищено» и на вопрос CEO «Какие из бизнес-процессов предприятия ведут меня к многомиллионному бонусу, а какие — к увольнению».

При этом, ситуация на рынке такова, что есть очень хорошие нишевые продукты: SIEM-системы (Security Information and Event Management), решающие задачи в сфере ИБ, инструменты ITSM (мониторинга состояния ИТ-инфраструктуры), средства бизнес-аналитики (BI, Business intelligence). Однако существует дефицит качественных комплексных систем анализа машинных данных. Над их созданием работает много глобальных вендоров: Splunk, IBM, BMC Software, Microsoft, Quest Software. При этом лидером (с оговорками) можно считать американскую компанию Splunk.

Крупные клиенты впервые «попробовали» продукт Splunk Enterprise в 2013 году, положительно оценив простоту установки, гибкость настройки и многообразие предоставляемых аналитических инструментов. Они приобретали лицензии Splunk через партнеров, которые помогали быстрее освоить продукт и настроить сбор данных.

Рынок активно рос, но 19 февраля 2019 года произошло непредвиденное — Splunk объявил об экстренном уходе из России. Оставшимся в недоумении партнерам и клиентам было предложено лишь прочесть пресс-релиз про «инвестиционные причины» ухода. По условиям ухода клиенты с действующими лицензиями могли пользоваться своими аккаунтами до окончания срока действия лицензий, а партнеры продолжать их обслуживать, но без содействия со стороны вендора.

На тот момент прямого конкурента у Splunk не было, но российскими разработчиками в разных компаниях делались попытки создать устраивающий их аналог из «подручных средств». Широкого распространения такая практика во время присутствия Splunk на рынке не получила, но с уходом вендора идея перехода на ПО с открытым кодом стала более, чем актуальной. Возник вопрос: как сделать на продуктах с открытым кодом Elastic Stack полноценный альтернативный продукт?

Мы, будучи партнером Splunk, оказались в момент ухода вендора в непростой ситуации, так как внедрение и кастомизация юзкейсов на Splunk были важным источником заказов и, естественно, доходов. Было принято решение мобилизовать и усилить команду, чтобы в кратчайшие сроки перенести свои разработки приложений с платформы Splunk на платформу с открытым кодом, и тем самым предложить рынку альтернативный продукт.

Когда формировалась концепция собственного продукта, мы отталкивались не от платформы, а от задач пользователей. Требовалось создать приложения прикладного уровня, позволяющие пользователям очень быстро, практически в графическом режиме, строить дашборды для безопасности, ИТ-инфраструктуры или настраивать важную для них аналитику бизнеса. Главное, чтоб все было готовое, без необходимости написания специальных дополнений самими пользователями.

При этом мы исходили из принципа минимизации и упрощения как правил составления запросов, так и восприятия результата, то есть концепции «как он должен выглядеть для конечного клиента». Чем меньше сотрудник видит на очередном клике графиков и циферблатов, и чем быстрее он проходит по набору кликов до желаемого результата, тем лучше воспринимается продукт. В реальной жизни люди ценят простоту достижения конечной цели. Результат может быть разным, но должен быть быстро достижимым, например, наглядная диаграмма либо приход какого-либо оповещения в виде E-mail, SMS, сообщения в мессенджере и т.п.

Практически за полгода, что можно считать очень сжатым сроком для рынка, нам удалось перенести набор приложений, ранее разработанных для Splunk, на платформу Elastic Stack. Помогли 5-летние наработки и четкое понимание, что именно надо портировать, чтобы получился достойный продукт. Новое решение назвали Smart Monitor Open Source. Сейчас этот инструментарий насчитывает полноценный набор модулей сбора данных и аналитики, собранный по юзкейсам у действующих клиентов, т.е. наиболее востребованных на российском рынке.

Модули, входящие в Smart Monitor, позволяют управлять инцидентами, оценивать риски, строить карту корпоративной сети и собирать события с различных устройств, включая инфраструктуру виртуализации, собирать и обрабатывать логи со сред контейнеризации, управлять средствами защиты информации, вести мониторинг производительности прикладных информационных систем.

Теперь у нас есть продукты сразу для двух рыночных ниш: первая — обслуживать клиентов с действующими лицензиями на платформе Splunk, вторая — дать компаниям, которые хотят мигрировать на иную платформу, готовую альтернативу на базе продукта с открытым кодом. Мы разрабатываем англоязычные версии продуктов как базовые и ориентированы на глобальный рынок, но и для российских компаний, естественно, подготовлены локализованные версии.

Первая рабочая версия Smart Monitor на открытом коде будет представлена 13 ноября на нашей ежегодной конференции VB-Trend 2019 в Москве. Мы подробнее расскажем о самом продукте, о процессе его разработки и продемонстрируем сравнительные нагрузочные тесты в демо-зоне.