Insight 2.2: мы запускаем сервис для полного цикла работы с данными
27 декабря мы представим новый релиз нашей BI-платформы Insight. Теперь к самому большому в России инструментарию по визуализации мы добавили сервис для полного цикла работы с данными – Insight Data Platform. Теперь в Insight можно создавать и преобразовывать датасеты, централизованно управлять метриками и измерениями и объединять бизнес-объекты с объектами физической модели данных.
Будут демонстрация и ответы на вопросы от команды платформы.
В качестве тизера мы подготовили короткий и понятный обзор этого большого релиза.
Что такое Insight Data Platform?
Это новый сервис, в котором мы консолидировали инструменты для работы с данными. В Insight Data Platform смогут совместно работать бизнес-аналитики, методологи, дата-инженеры и специалисты по настройке панелей виджетов. Все инструменты встроены в платформу.
Как теперь выглядит работа с данными в Insight?
Этап 1. Семантический слой: определяем показатели и методологию
На первом этапе в процесс разработки включаются бизнес-аналитики и/или методологи (специалисты соответствующей области). Прямо в Insight они могут создавать справочники показателей с описанием методологии расчета. Такой подход делает процесс работы с данными более управляемым и понятным.
Этап 2. Физическая модель данных: создаем датасеты в редакторе
Создавать или преобразовывать датасеты теперь можно без использования внешних инструментов. Мы встроили в Insight улучшенный редактор SQL и визуальный Join для тех, кому знаний SQL не хватает. Источниками данных могут быть файлы (xlsx, csv и json), реляционные базы данных (PostgreSQL, MySQL и др.), озера данных (Hive), S3 хранилища и REST API.
что теперь можно:
– создавать датасеты из источника или загруженных датасетов;
– формировать витрины данных;
– объединять данные из разных таблиц в рамках одного источника или нескольких (для подключений через Insight Query Engine (IQE).
Этап 3. Логическая модель данных: бизнес-методология + датасет
Больше не нужно настраивать расчет метрик для каждого виджета, перепроверяя работу формул. Методология заложена в семантическом слое, а реализована – в физической модели данных. Эта связка позволяет вести метрики и измерения и управлять ими централизованно – на уровне датасета в целом. Поэтому просто выбираем сначала датасет или источник, а потом – из выпадающего списка – метрики и измерения. В списке – только те из них, которые относятся к этому датасету. Уже настроенные и проверенные.
что это дает:
– снижение количества ошибок при работе с данными;
– экономию времени на настройку панели.
Управление доступом к данным в датасетах
Обратите внимание на новый интерфейс системы RLS. Он позволит еще быстрее и проще управлять правами доступа к датасетам и строкам, сохраняя высокую производительность работы системы.
Также работу Insight Data Platform обеспечивают:
– прямые (live) адаптеры подключений: PostgreSQL, Clickhouse, Dremio, Arenadata;
– Insight Query Engine beta: PostgreSQL, MySQL, MSSQL, Oracle, ClickHouse, Hive, Mongo, REST API (HTTP).
Что дальше?
I квартал 2024 года
- Редактор выражений для полей датасета и метрик — для пользователей без знания SQL.
- Материализация (кэширование) запросов.
- Использование регулярных выражений, быстрое преобразование типов, простые функции очистки данных.
- Возможность скачивать файлы, используемые в датасетах.
II квартал 2024 года
- Модель данных приложения.
- Подсказки при написании SQL запросов (функции, выбор таблиц и полей таблиц).
- Новые адаптеры (1С, HANA, BW-кубы, BEx- запросы и др.)