Мастер данные что это
Покупать готовую MDM или разрабатывать свою?
Здесь я уже писал о том, что такое MDM-система и зачем она нужна. Теперь мне хочется затронуть тему выбора, который так или иначе встает перед всеми, кто задумывается об управлении мастер-данными: купить ли готовую MDM-систему или разработать ее собственными силами.
Универсального рецепта традиционно не существует, и каждый должен решить для себя, какой путь выбрать. Чтобы принять правильное решение, необходимо определить набор требований к MDM, а после этого правильно оценить свои силы и потребности в функционале.
Поэтому я начну с того, что опишу типовые функциональные возможности, которыми должна обладать современная MDM-система.
Управление жизненным циклом мастер-данных:
Ключевая функциональность MDM-систем – это способность управлять мастер-данными на всем протяжении их жизненного цикла: от момента их определения до момента прекращения их использования.
Для этого MDM-система должна поддерживать следующие возможности:
Управление качеством
Некачественные данные сводят на «нет» весь эффект от централизации данных и их централизованного управления.
Для управления качеством данных в системе должны присутствовать следующие механизмы и инструменты:
Интеграция и синхронизация информации
Задача интеграции и синхронизации информации между MDM-системой и прикладными системами, потребляющими мастер-данные, является одной из основных. Данные должны быть синхронизированы между всеми участниками взаимодействия. Часто эта функция обеспечивается не самой MDM-системой, а специализированной ESB или MQ-системой. В идеале, ESB-система должна быть построена на единой с MDM-системой технологической платформе, т.к. при этом обеспечивается максимальная интеграция между ними.
Для построения механизмов взаимодействия должны присутствовать следующие возможности:
И все же, писать или покупать?
Если вы склоняетесь к реализации MDM-системы собственными силами, то оцените, какие из приведенных выше функций требуются вам не только сейчас, но и в будущем. Часто компании, которые идут по этому пути, начинают с реализации некого подобия центральной базы данных, в которую помещаются объекты мастер-данных в высокой степени готовности (вручную или с помощью пакетной загрузки) и из которой потом выгружаются мастер-данные в прикладные системы-подписчики. Часто такой подход называется «централизацией ввода справочников», который используется для обеспечения единой точки ввода справочной информации, т.е. фактически для упрощения ее ввода. В большинстве случаев на этом проекты, завязанные на самостоятельную разработку, заканчиваются, и дальнейшее развитие функционала не происходит из-за большей сложности реализации других возможностей MDM-систем. Строго говоря, такие результаты нельзя считать полноценным управлением мастер-данными. Тем не менее, некоторым компаниям, у которых не так много сущностей мастер-данных и невысокие требования к качеству данных, бывает достаточно и этого.
Если же вы не хотите ограничиваться простой «централизацией ввода справочников», то с высокой степенью вероятности вы захотите внедрить готовую MDM-систему. Тут вам предстоит непростой выбор MDM-системы, которая для вас лучше подходит.
Если касаться функциональности системы, то следует проводить анализ только после того, как вы уже более-менее представляете, какие задачи вы хотите решать с помощью MDM-системы: какие домены данных у вас есть, какой метод использования (method of use) и какой стиль внедрения (implementation style) вы выберете. Вот тут подробнее про это. Только после определения задач можно оценивать функциональность MDM-системы, т.к. не все MDM-системы одинаково хороши во всем разнообразии доменов/методов использования/стилей внедрения.
Кроме перечисленных выше функций, обратите особое внимание на следующие аспекты MDM-систем:
Вот некоторые пункты, которые нужно обязательно проверить:
Что такое «система управления мастер-данными» и зачем она нужна
Максим Власов, директор по развитию DATAREON, на портале Хабрахабр (https://habrahabr.ru) // Март, 2017
Какие бывают данные
Прежде чем перейти непосредственно к системам управления мастер-данными, давайте определим, какого рода вообще бывают данные.
Ниже представлены 5 ключевых типов:
1. Метаданные (Metadata);
2. Референс-данные (Reference data);
3. Мастер-данные (Master data);
4. Транзакционные данные (Transactional data);
5. Исторические данные (Historical data).
Метаданные – это данные о данных. Они нужны для понимания и определения, какими данными оперирует предприятие. Метаданные определяют структуры, типы данных, доступы к ним и т.д. Существуют различные схемы для описания метаданных. Например, для описания структуры XML-документа может применяться XSD-схема, для описания веб-сервиса – WSDL-схема.
Референс-данные – это относительно редко меняющиеся данные, которые определяют значения конкретных сущностей, используемых при выполнении операций в рамках всего предприятия. К таким сущностям чаще всего относятся: валюты, страны, единицы измерения, типы договоров/счетов и т.д.
Мастер-данные – это базовые данные, которые определяют бизнес-сущности, с которыми имеет дело предприятие. К таким бизнес-сущностям обычно относятся (в зависимости от предметной отраслевой направленности предприятия) клиенты, поставщики, продукция, услуги, договора, счета, пациенты, граждане и т.п. Кроме информации непосредственно о той или иной мастер-сущности, в мастер-данные входят взаимосвязи между этими сущностями и иерархии. Например, с точки зрения поиска дополнительных возможностей продаж, может быть очень важно выявлять явные и неявные взаимосвязи между физическими лицами. Мастер-данные распространяются по всему предприятию и участвуют во всех бизнес-процессах. Обычно мастер-данные воспринимаются как ключевой нематериальный актив предприятия, т.к. от их качества и полноты зависит эффективность его работы. В России часто вместо термина «мастер-данные» используют термин «нормативно-справочная информация».
Транзакционные данные – это данные, которые образовались в результаты выполнения предприятием каких-либо бизнес-транзакций. Например, для коммерческого предприятия: продажи продуктов и услуг, закупки, поступления/списания денежных средств, поступления на склад и т.п. Обычно такие данные базируются в системе управления ресурсами предприятия (ERP) или других отраслевых системах. Естественно, транзакционные системы широко используют мастер-данные при выполнении транзакций.
Исторические данные – это данные, которые включают в себя исторические транзакционные и мастер-данные. Чаще всего такие данные аккумулируются в ODS и DWH системах и служат для решения различных аналитических задач и поддержки принятия управленческих решений.
Cистемы управления мастер-данными
Прежде чем перейти к системе управления мастер-данными, определим, что такое управление мастер-данными вообще.
Управление мастер-данными (Master Data Management, MDM) – дисциплина, которая работает с мастер-данными в целях создания «золотой записи», то есть целостного и всестороннего представления о мастер-сущности и взаимосвязях, эталона мастер-данных, который используются всем предприятием, а иногда и между предприятиями для упрощения обмена информацией.
Специализированные системы управления мастер данными (MDM-системы) автоматизируют все аспекты этого процесса и являются «авторитетным» источником мастер-данных масштаба предприятия. Часто MDM-системы управляют также и референт-данными.
Ситуация, когда MDM-система является единственным источником мастер-данных, все изменения вносятся в MDM-систему и только потом передаются в системы-потребители, называется «системой записей». Это идеальная ситуация для управления мастер-данными. Однако в реальной жизни все не так просто: MDM-система не всегда будет являться «системой записей». Из-за особенностей бизнес-процессов конкретного предприятия, технических сложностей конкретных систем и т.д., приходится создавать «копии» мастер-записей. Система, в которой содержится копия мастер-данных, называется «системой ссылок». Чтобы не терять управляемости, «система ссылок» обязательно должна находиться под управлением и синхронизироваться с «системой записей».
Три измерения MDM-систем
Рассмотрим MDM–систему в трех измерениях:
Обычно MDM-системы не внедряются «с наскоку», т.к. их внедрение – это сложный процесс последовательных преобразований масштаба всего предприятия, от ведения разрозненных данных до создания целостного всестороннего представления о мастер-сущности. Поэтому внедрение MDM-систем выполняется последовательно с постепенным приближением к целевому результату в трех указанных измерениях.
Рассмотрим подробнее эти измерения.
Домены
В контексте управления мастер-данными под доменом понимается конкретная область мастер-данных. Самые распространённые домены мастер-данных – это домен клиентов и домен продуктов. В западной литературе сложились устоявшиеся термины для управления мастер-данными в рамках этих доменов: Customer Data Integration (CDI) – для домена клиентов и Product Information Management (PIM) – для домена продуктов.
К CDI традиционно относятся не только клиенты, но и организации или физические лица, которые могут называться по-разному в зависимости от отрасли предприятия: клиенты, поставщики, банки, фонды, пациенты, граждане и т.д.
К PIM традиционно относятся: продукция, товары, материалы, услуги, работы и т.д.
Есть много общего в подходах к управлению мастер-данными CDI и PIM, но есть также и много отличий. Например, при дедубликации клиентских сущностей в большинстве случаев выполняется простой синтаксический анализ атрибутов сущностей и их сопоставление на основе вероятностных алгоритмов, в то время как в продуктовом домене проводится семантический/онтологический анализ атрибутов с подключением механизмов самообучения. Кроме того, в продуктовом домене у сущностей в зависимости от выбранной категории могут сильно различаться атрибуты (например, у ноутбуков свой набор атрибутов, а у стиральных машинок – свой). Все эти особенности различных доменов должны поддерживаться MDM-системами.
В последнее время имеет место тенденция создания мультидоменных MDM¬-систем с возможностью гибкой настройки структуры метаданных. Такая гибкость дает предприятию возможность описать мастер-данные конкретно под себя с учетом всех особенностей и нюансов, но при этом требует немалого времени и знаний, чтобы грамотно спроектировать и настроить такую систему. Также на рынке присутствуют системы с «жесткой» структурой мастер-сущностей, которые имеют уже корректно настроенные механизмы, но использование такой системы возможно только теми предприятиями, которые смогут подстроиться под нее. Обычно такие системы хорошо применимы для решения задачи управления мастер-данными в рамках какой-то узкой отрасли. По моему мнению, наиболее перспективными являются системы с гибкой моделью метаданных, но имеющие при этом преднастроенные для предприятий разных отраслей модели, которые можно быстро перенастраивать.
Методы использования
Методы использования MDM (Method of use) определяют то, для чего MDM система будет использоваться на предприятии. Иными словами, кто будет потребителем мастер-данных (естественно, их может быть несколько).
Основных методов использования три:
1. Аналитический (Analytical)
2. Операционный (Operational)
3. Коллективный (Collaborative)
Аналитический метод использования поддерживает бизнес-процессы и приложения, которые используют мастер-данные преимущественно для анализа эффективности бизнеса, предоставляют необходимые отчеты и выполняют аналитические функции. Часто это происходит посредством взаимодействия MDM с инструментами и продуктами BI. Обычно аналитическая MDM-система работает с данными только в режиме чтения, она не изменяет данные в системах-источниках, но занимается их очисткой и обогащением.
Операционный метод использования позволяет собирать, изменять и использовать мастер-данные в процессе выполнения бизнес-транзакций (операций) и служит для поддержки семантической согласованности мастер-данных в рамках этих операций внутри всех операционных приложений. Фактически, в этом случае MDM функционирует как OLTP-система, которая отрабатывает запросы от других операционных приложений или пользователей. Работа в таком режиме зачастую требует построения единого интеграционного ландшафта с использованием принципов сервис-ориентированной архитектуры (SOA) и применением инструментария сервисной шины предприятия (ESB). Идеально, если такие инструменты или входят непосредственно в MDM-систему, или являются ее продолжением (есть вендоры, которые имеют в своей линейке и MDM и ESB-решения, глубоко интегрированные между собой).
Коллективный метод использования позволяет создавать мастер-сущности в случаях, когда требуется коллективное взаимодействие между различными группами пользователей в процессе этого создания. Такое согласование обычно имеет сложные «ветвящиеся» бизнес-процессы, состоящие из различных автоматических и ручных задач. Ручные задачи выполняются различными специалистами по работе с данными (дата-стюардами) в порядке, определенном бизнес-процессом. Чаще всего коллективный метод использования применяется в продуктовом домене. Например, при создании нового продукта, когда существуют несколько ответственных за ввод разных данных, много ручной работы и финальное согласование. Важно, чтобы MDM-система позволяла настраивать произвольные бизнес-процессы для быстрой поддержки бизнес-процессов конкретного предприятия.
Стили внедрения
Обычно выделяют три основных стиля внедрения (implementation style):
1. Реестровый (registry);
2. Сосуществующий (coexistence);
3. Транзакционный (transactional).
Реестровый стиль внедрения предполагает создание источника мастер-данных как «системы ссылок» на нижестоящие источники данных. Реестровая MDM содержит только ключевые атрибуты, необходимые для идентификации и сопоставления сущностей. Реестровая MDM работает в режиме «только чтение», данные вводятся в системах-источниках и передаются в MDM для разрешения сущностей. Также в реестровой MDM могут храниться ссылки на источники неключевых данных, но сами эти данные обычно в MDM не передаются. Реестровый стиль внедрения обычно применяется в случае выбора операционного метода использования MDM (см. выше).
Сосуществующий стиль внедрения предполагает наличие распределенного ввода данных в нескольких источниках (бизнес-приложениях и MDM-системе). MDM-система в данном случае может являться «системой записей» только для части атрибутов. Тем не менее, в MDM-системе формируется полноценная мастер-сущность, изменения которой транслируются в другие системы (возможно, не все). Сосуществующий стиль внедрения довольно прост и часто применяется как первый шаг к следующему — транзакционному стилю, т.к. не требует глубокой переработки систем, взаимодействующих с MDM-системой.
Транзакционный стиль внедрения предполагает создание полноценной «системы записей», в которой хранятся все данные по мастер-сущностям. MDM-система в этом случае является «единственным источником правды» для всех систем-потребителей.
Все операции по созданию и обработке данных выполняется на уровне MDM-системы. Ввод данных на уровне систем-потребителей запрещен. Такой подход обычно довольно сложен для внедрения, т.к. требует существенного изменения бизнес-процессов и систем-подписчиков.
Заключение
На практике, выбор той или иной стратегии внедрения MDM определяется многими факторами: целями предприятия в области управления мастер-данными, степенью зрелости предприятия, степенью готовности IT-инфраструктуры, наличием инвестиций на реализацию проекта и многими другими параметрами. Чтобы определиться со стратегией внедрения, нужно провести тщательный анализ всех этих факторов и составить подробное технико-экономическое обоснование проекта и детальный план-график с указанием фаз развития проекта. Но это уже другая обширная тема, требующая отдельного рассмотрения.
Одно можно сказать точно, что к внедрению MDM-системы нужно подходить очень взвешенно и поступательно. Большинство проектов внедрения MDM-систем проваливаются именно из-за недооценки сложности и объема изменений, с которыми приходится сталкиваться в MDM-проектах.
Максим Власов, директор по развитию
Менеджеры DATAREON будут рады ответить на все вопросы по тел. +7(495)280-08-01. Также вы можете написать нам через форму
МАСТЕР-ДАННЫЕ О ТОВАРАХ. ЧТО ЭТО ТАКОЕ?
Покупатели нового времени становятся все более осведомленными. Сегодня каждый имеет возможность найти информацию о товаре перед покупкой в интернете (ознакомиться с отзывами, сравнить аналогичные товары, подробнее прочитать про характеристики). На передовую линию выступает качество, полнота и достоверность информации, предоставляемой продавцом покупателям.
Покупатели нового времени становятся все более осведомленными. Сегодня каждый имеет возможность найти информацию о товаре перед покупкой в интернете (ознакомиться с отзывами, сравнить аналогичные товары, подробнее прочитать про характеристики). На передовую линию выступает качество, полнота и достоверность информации, предоставляемой продавцом покупателям.
Существуют различные критерии, по которым данные в организации могут быть классифицированы. Вот некоторые из них:
Таких классификаций может быть очень много… Но среди всех видов данных особенное место занимают основные данные (мастер-данные).
Предпринимая попытку дать объяснение термина мастер-данных, можно только предположить какие грани имеет этот айсберг. Мастер-данные содержат информацию, характеристики объектов или бизнес-сущностей, представляющие ценность для организации. Сюда могут входить информация о товарах, о клиентах, о работниках, о технологиях и материалах.
ЗАЧЕМ БЕСПОКОИТЬСЯ ОБ УПРАВЛЕНИИ ОСНОВНЫМИ ДАННЫМИ?
В течение дня с одними и теми же данными в организации могут взаимодействовать множество людей. В процессе передачи «из рук в руки» данные становятся фрагментированными, дублированными. Кроме того, эволюция различных систем, работающих с информацией привела к тому, что начали происходить процессы, плохо сочетаемые между собой. Когда объем данных небольшой, все эти сложности могут устраняться с минимальными временными затратами на систематической основе. Но по мере роста и развития компании, слаженная работа в разнородных системах становится невозможной и малоэффективной.
Управление основными данными (MDM) возникло из-за необходимости для предприятий повышать согласованность и качество своих ключевых информационных активов. Таковыми могут признаваться данные о продуктах, данные об активах, данные о клиентах, данные о местоположении и т.д.
ДЛЯ ЧЕГО ЕЩЕ НУЖНА MDM-СИСТЕМА?
В современных компаниях задействовано множество систем хранения-анализа данных, зачастую в каждом департаменте эта система своя. Почему зоопарк? Здесь каждый разговаривает по-своему и, вроде, есть информационный шум, а коммуникации никак не происходит. Внесение данных, развитие систем происходит автономно друг от друга. Более того, у каждого департамента существует свой собственный набор критериев к составу и внешнему виду получаемой информации. Когда появляется потребность в консолидации данных или отчетности, нужно потратить значительное время для синхронизации всех данных в единую структуру.
Система класса MDM помогает другим разнородным системам взаимодействовать друг с другом, на языке, понятном каждой из сторон.
Это касается не только части создания, управления, поддержания мастер-данных, а также управления ими в каналах закупок и продаж.
Каждый товар компании представлен в виде цифрового паспорта. Он представляет собой совокупность атрибутов, характеристик, которые могут быть описаны мастер-данными.
Полный перечень необходимых метрик для цифрового паспорта устанавливается в соответствии с требованиями заказчика. Это связано с тем, что каждому отдельному департаменту нужен свой набор атрибутов, необходимых для анализа и прогнозирования дальнейших действий. Количество возможных атрибутов произвольно и не ограничено возможностями системы. Все эти качественные метрики позволяют заказчику представить товар именно так, как он сам видит его идеальную картинку.
В этом аспекте особую важность приобретает визуализация товара. Некоторые компании готовят медиаконтент самостоятельно или прибегают к услугам специальных лабораторий, занятых оцифровкой товаров. С помощью новейшего оборудования для проведения высокоточных измерений лаборатория осуществляет подготовку качественного цифрового контента о товарах компании.
Далее отдельные товары группируются в КАТАЛОГИ.
Они позволяют группировать товары произвольным образом и в произвольном количестве для дальнейшего предоставления доступа к ним контрагентам.
Элементами MDM системы также являются:
Целью MDM-системы является эффективная работа с мастер-данными:
1. Формирование, поддержание актуальности, согласованности мастер-данных
2. Управление мастер-данными о товарах компании в каналах закупок и продаж.
В следующих статьях мы расскажем вам о том, как подготовить высококачественные данные о товарах, о «золотых» записях, которые состоят совсем не из золота, а также о том, как MDM-система улучшает ритейл.
Оставайтесь с нами!
Сфера MDM
Управление мастер-данными о товарах в каналах закупок и каналах продаж.
Согласование ассортимента, цен, листинг товаров, промо-акции, сертификаты, медиаданные и многое другое.
Для производителей, торговых сетей и дистрибьюторов.
Мастер данные что это
Управление данными не сводится к выделению роли дата стюарда и обеспечению Data Quality. Сегодня мы расскажем, что такое мастер-данные, как искусственный интеллект помогает решать проблемы управления НСИ и почему эффективный Master Data Management (MDM) особенно важен в мире Big Data.
Что такое мастер-данные или зачем управлять НСИ
Начнем с определения: мастер-данные или основные данные – это важнейшая для бизнеса информацией о клиентах, продуктах, услугах, персонале, технологиях, материалах и прочей доменных объектах, которые редко изменяются и не являются транзакционными. В России и СНГ сложилась практика наименования таких данных термином «нормативно-справочная информация» (НСИ) [1]. В данной статье мы будем считать эти понятия синонимами.
Классический пример, показывающий необходимость управления НСИ – это кейс с разными названиями одного и того же объекта. Например, сокращенное и полное наименование контрагента в разных учетных системах. Такая путаница с записями может привести к некорректным или несвоевременным действиям. Например, повторные звонки клиенту с предложением товара или услуги, которыми он уже воспользовался, отсутствие скидок по программам лояльности и даже пропажа товарно-материальных ценностей из-за невозможности их однозначной идентификации в складских системах. В частности, в типовых маркетинговых кампаниях от 20 до 40% клиентских профилей – это дубликаты или фейковые записи. Однако, все они учитываются при распределении рекламного бюджета, что приводит к неэффективным инвестициям [2]. В эпоху Big Data, когда всяких данных, в т.ч. основных, становится все больше, проблема эффективного управления ими особенно актуальна.
Основные данные отличаются от транзакционных большей стабильностью, меньшими объемами и усложненной структурой. Например, разные сведения о клиенте в различных бизнес-подразделениях. При этом метаданные, которые описывают непосредственно НСИ, могут меняться достаточно часто. Поэтому требуется не только сбор, но и представление мастер-данных для последующего бизнес-анализа. Необходимо работать с текущими данными и анализировать историю их изменений [3]. Например, чтобы сохранить накопленные клиентом бонусы при смене наименования фирмы или изменении паспортных данных физлица.
Таким образом, главная цель управления мастер-данными – это гарантировать отсутствие пропущенных, повторяющихся, неполных и противоречивых записей об объектах бизнес-домена во всех корпоративных информационных системах. Для этого существует целая ИТ-дисциплина – Master Data Management, которая включает целый ряд структурированных подходов, процессов и инструментов по эффективному управлению НСИ.
MDM-система как средство синхронизации разных представлений об одном объекте
Процессы и инструменты Master Data Management
Задачи MDM включают сбор, накопление, очистку, сопоставление, консолидацию, проверку качества и распространение корпоративных данных, а также обеспечение их последующей согласованности и контроль использования в различных операционных и аналитических приложениях [1]. Обычно эти операции реализуются с помощью специализированного программного обеспечения. Например, Informatica Data Quality, Microsoft Data Quality Services, Oracle Enterprise Data Quality, SAP Data Services, Talend Open Studio for Data Quality и другие коммерческие продукты, а также открытые сервисы. Аналитическое агентство Gartner составило рейтинг популярных MDM-решений, проранжировав их по удобству использования, функциональным возможностям и отзывам профессионалов [4].
С технической точки зрения внедрение MDM сводится к синхронизации и единому представлению справочных данных в разных информационных системах. Традиционно это делается с помощью следующих вариантов [5]:
Третий подход наиболее перспективен для MDM-операций с помощью инструментов Big Data. В частности, именно он позволяет использовать для этого средства искусственного интеллекта. Как это реализуется на практике, мы рассмотрим далее.
Big Data и Machine Learning для MDM
Исследовательское бюро Gartner не случайно включило расширенное управление данными в ТОП-10 трендов в области Data & Analytics. Алгоритмы машинного обучения и другие методы искусственного интеллекта могут выявить взаимосвязи между разными записями для обнаружения дублей и сопоставления различных представлений одного объекта. Так средства Machine Learning позволяют автоматизировать и сделать MDM-процессы самонастраивающимися [6]. А интерактивный полнотекстовый поиск корректных наименований справочных объектов можно реализовать с помощью Apache Solr или Elasticsearch. Например, именно так отечественный маркетплейс одежды и аксессуаров Lamoda сделал на своем сайте сервис подсказок, который помогает пользователям найти нужную вещь среди 4 миллионов товаров и 3 тысяч брендов. По сути, все эти объекты представляют собой мастер-данные или записи справочников НСИ. Подробнее об этом кейсе мы писали здесь.
Также имеет смысл интегрировать MDM-системы не только с бизнес-приложениями, но и с корпоративными хранилищами и озерами данных на базе Apache Hadoop для анализа исторической информации. В свою очередь, пакетный обмен данными между MDM-системой и локальными СУБД клиентских систем, может быть реализован с помощью ETL-процессов, например, Apache Airflow. Таким образом, технологии Big Data позволяют средствам Master Data Management отвечать потребностям современного бизнеса [7].
Компоненты сервиса подсказок на сайте Lamoda: Apache AirFlow, Solr, Docker, Prometheus, PostgreSQL, Grafana
В следующей статье мы продолжим разговор про Big Data Management и рассмотрим, что такое Data Lineage и Provenance. А как обеспечить эффективное управление НСИ с помощью больших данных и Machine Learning, вы узнаете на специализированных курсах в нашем лицензированном учебном центре обучения и повышения квалификации для разработчиков, менеджеров, архитекторов, инженеров, администраторов, Data Scientist’ов и аналитиков Big Data в Москве: