Data Management Platform «Управление хранилищем»

Low Code платформа с модульной архитектурой для хранения, обработки и управления корпоративными данными.

Документация

Продвинутая клиентская аналитика для маркетинга

Интелектуальный анализ пропусков данных

Прогнозный анализ спроса на товары/услуги

Моделирование и оптимизация бизнес процессов

Кластеризация данных в витринах

Анализ данных аудио/видеопотока

Зачем нужно использовать DMP при построении хранилища?

DMP «Управление хранилищем» позволяет исключить типичные боли бизнеса и ИТ специалистов при работе с большими данными из разных систем:

«грязные данные» и недоверие к отчетности
длительное время для подготовки и выверки отчетов и подготовки данных для обучения моделей и применения AI
разное значение терминов во внутрикорпоративных отчетах и различных источниках
сложность доступа к информации аналитиков компании, сложность подключения новых источников

Data Management Platform «Управление хранилищем» — основной инструмент перехода к «data-driven» модели принятия решений в компаниях крупного и среднего бизнеса, и применения AI для управления.

DMP «Управление хранилищем» позволяет:

Построить корпоративное хранилище данных с легким масштабированием на собственных мощностях или облачных провайдерах.
Сформировать единую кросс-системную BI-отчетность и дашборды для всех дочерних обществ и филиалов компании.
Создать технологическую базу для применения сервисов монетизации данных, подключения внешних источников и AI моделей для прогнозирования и управления ресурсами.
Управлять данными организации с построением единого глоссария и карты данных.
Создать эталонную базу клиентов. Очистить, сортировать и защитить контактные данные, получать прозрачную отчетность на основе миллионов записей.
Быстро реализовать «песочницу данных», для тестов и экспериментов обеспечив конфиденциальность данных.
Сократить затраты на специалистов и поддержку корпоративного хранилища и отчетности.

Преимущества DMP «Управление хранилищем»:

Low-code/no-code решение, реализованное в интуитивно понятном интерфейсе, применяются для контроля обработки, маскирования данных, создания ETL процессов. Работать с корпоративным хранилищем и отчетностью можно без привлечения разработчиков, что существенно сокращает стоимость эксплуатации хранилища и time to market новых отчетов и дешбордов, формирования и обучение моделей

Все модули платформы основаны на базе open source решений и собственных разработках компании, зарегистрированных в едином реестре российского программного обеспечения

Модульная архитектура, дает возможность быстрого внедрения и этапного наращивание функциональности по мере расширения бизнес-задач. Есть возможность использовать DMP «Управление хранилищем», как единую платформу по управлению данными или интегрировать отдельные модули в существующий IT-ландшафт

Гибкая и простая ролевая модель доступа , позволяет контролировать доступ к возможностям платформы и использовать механизмы умного маскирования данных

Готовый функционал подключения популярных СУБД как источников данных и использования BI инструментов для визуализации и анализа данных

Решение адаптировано под использование продуктовой линейки от технологического партнера Arenadata

Модули DMP «Управление хранилищем»

Модуль «Управление данными»

Модуль предназначен для организации и управления конфигурацией корпоративного хранилища данных.
Построение хранилища данных в парадигме Data Vault 2.0.
Организация трех сред КХД: prod/dev/uat.
Регистрация и организация послойного хранения данных на всех средах (ODS, DDS, ADS, STG_).
Регистрация источников данных, включая файлы, вызовы API, реляционные источники.
Определение атрибутного состава источников данных Автоматизация генерации и мониториг исполнения ETL процессов Умная Система уведомлений о всех процессах хранилища.
Поддержка историчности данных SCD 2.
Автоматический контроль качества загруженных данных. Data Quality.
Построение Data Lineage для всего хранилища с графическим отображением взаимосвязи таблиц от источников до аналитического слоя и далее до отчетов Взаимосвязи атрибутов.
Ведение бизнес глоссария с возможностью привязки терминов ко всем типам сущностей хранилища и поиском по терминам.
Ведение Реестра отчетов – инструмента для удобного анализа атрибутного состава отчетов и быстрого доступа к реализуемой отчетности.

Модуль «Маскирование данных»

Модуль предназначен для автоматизированного наполнения тестовых и разработческих сред обезличенными данными, создания «песочниц данных».
Автоматизация процесса переноса (as is)/ маскирования данных между окружениями (Hadoop, Vertica, Greenplum и любые JDBC подключения).
Автоматизация генерации ETL процессов переноса/маскирования данных.
Мониторинг исполнения ETL процессов.
LowCode подход для расширения алгоритмов маскирования данных с применением настроек и Python кода.
Preview результатов маскирования данных.
Гибкая настраиваемая система пользовательских уведомления об этапах процесса маскирования.

Модуль «Контроль качества данных»

Модуль контроля качества предназначен для обеспечения и поддержания целостности данных, поступающих в хранилище путем запуска процедур контроля качества.
Автоматизация генерации проверок качества данных на основе пользовательских SQL cкриптов.
Публикация и постановка на регламент процедуры проверки качества, выполнение проверки качества данных по расписанию и по событиям.
Мониторинг исполнения проверки качества данных.
Продвинутая настраиваемая система пользовательских уведомлений, включающая в себя возможность просмотра примеров некачественных данных.
Гибкая ролевая модель для разграничения доступа к созданию процедур контроля качества и просмотру результатов их работы.

Этапы внедрения платформы

Создание технической инфраструктуры для организации КХД

Разворачиваем на мощностях заказчика или в облаке дистрибутив собственной сборки MPP СУБД GreenPlum, Airflow, HashiCorp Vault и другие компоненты

Настройка целевой модели
данных КХД

Обследуем источники данных, строим модель данных КХД, настроим S2T данных для послойного хранения в КХД

Сброс метаданных и наполнение бизнес глоссария

Выделяем домены данных, строим карту бизнес-терминов и процесс их добавления в систему, осуществляем привязку терминов с техническим слоем хранения данных

Генерация ETL процессов
наполнения КХД

С помощью платформы производим автоматизацию генерирования типовых ETL процессов, производим кастомизацию кода ETL процессов под требования заказчика

Реализация BI отчетности

Ведем справочник отчетных форм и реализуем требуемые заказчиком отчетные формы. Обладаем опытом разработки отчетов в таких BI инструментах, как Oracle BI, Power Bi, QlikSense, Visiolgy, Форсайт

Разработка сервисов монетизации данных (опционально)

Команда «Деко Системс» обладает значительным опытом в реализации интеративных моделей машинного обучения для проверки гипотез бизнеса с целью монетизации накопленных данных

DMP «Управление хранилищем» используется в компаниях:

Наши сертификаты

Стоимость решения и лицензирование

Стоимость решения с предоставляемой технической поддержкой предоставляется по запросу клиента и зависит от запрашиваемых характеристик, требуемого функционала и поддерживаемого регламента SLA

Наша команда

Шмитов Михаил

Генеральный директор

Опыт в промышленной ИТ разработке более 15 лет. Ex-CTO одного из крупнейших SAAS сервисов в России для автоматизации бухглатерской деятельности «Мое Дело»

Панов Сергей

Со-основатель

Серийный предприниматель, инвестор, основатель и председатель Совета директоров «Мое дело», ex ген директор и совладелец Актиондиджитал, AктионМедиа. Опыт создания и развития iT компаний в b2b свыше 20 лет.

Жиганов Сергей

Архитектор

Кандидат технических наук. Опыт в промышленной ИТ разработке более 10 лет, разрабатывал системы для анализа больших данных. Более 25 публикаций в международных изданиях по тематике ML и AI

Карпунин Павел

Руководитель проектов

Более 15 лет опыта в ИТ. Опыт руководства проектными командами. Разрабатывал корпоративные хранилища данных для АО «Почта России» и ПАО «Ростелеком»

Текучев Кирилл

Технический директор

Опыт в ИТ- и промышленной разработке - 15 лет. Выполнял ИТ-проекты для ПАО «Газпром», ПАО «Банк ВТБ» и ГК «Росатом»

Отзывы клиентов

Остались вопросы?

Оставьте контактные данные и мы свяжемся с вами в ближайшее время