Что такое data governance
DataGovernance своими силами
Данные — это ценнейший актив компании. Об этом заявляет чуть ли не каждая компания с цифровым уклоном. С этим сложно спорить: без обсуждения подходов управления, хранения и обработки данных сейчас не проходит ни одна крупная IT-конференция.
Данные к нам поступают снаружи, также они формируются внутри компании, а если говорить о данных телеком-компании, то это для внутренних сотрудников кладезь информации о клиенте, его интересах, привычках, месторасположении. При грамотном профилировании и сегментации рекламные предложения выстреливают наиболее эффективно. Однако, на практике не все так радужно. Те данные, которые хранят компании, могут быть безнадежно устаревшими, избыточными, повторяющимися, либо об их существовании никому не известно, кроме узкого круга пользователей. ¯\_(ツ)_/¯
Одним словом, данными нужно эффективно управлять – только в таком случае они станут активом, приносящим бизнесу реальную пользу и прибыль. К сожалению, для решения вопросов управления данными нужно преодолеть довольно много сложностей. Обусловлены они в основном как историческим наследием в виде «зоопарков» систем, так и отсутствием единых процессов и подходов к управлению ими. Но что означает «управлять данными»?
Именно мы об это мы и поговорим под катом, а также о том, как нам помог opensource-стек.
Концепция стратегического управления данными Data Governance (DG) уже достаточно известна на российском рынке, и цели, достигаемые бизнесом в результате ее внедрения, понятны и четко декларированы. Наша компания не стала исключением и поставила перед собой задачу внедрения концепции управления данными.
Итак, с чего мы начали? Для начала мы сформировали для себя ключевые цели:
Но после детального анализа и изучения решений мы зафиксировали для себя ряд критичных замечаний:
Реестр отчётов
По результатам внутренних исследований в крупных компаниях, решая задачи, связанные с данными, сотрудники тратят 40—80% времени на их поиск. Поэтому мы поставили перед собой задачу сделать открытой информацию о существующих отчётах, которые ранее были доступны только заказчикам. Тем самым мы сокращаем время на формирование новой отчётности и обеспечиваем демократизацию данных.
Реестр отчётов стал единым окном отчётности для внутренних пользователей из различных регионов, департаментов, подразделений. В нем консолидирована информация по инфосервисам, созданным в нескольких корпоративных хранилищах компании, а их в Ростелекоме немало.
Но реестр — это не просто сухой список разработанных отчётов. Для каждого отчёта мы предоставляем информацию, необходимую пользователю для самостоятельного знакомства с ним:
Разработка этого модуля стала важным шагом в части демократизации данных и значительно сократила время поиска требуемой информации. Кроме сокращения времени поиска, снизилось и количество обращений к команде сопровождения на предоставление консультаций. Нельзя не отметить еще один полезный результат, которого мы добились, разработав единый реестр отчётов – предотвращение разработки дублирующих отчётов для разных структурных единиц.
Бизнес-глоссарий
Все вы знаете, что даже в рамках одной и той же компании бизнес говорит на разных языках. Да, используют одни и те же термины, но понимают под ними совсем разные вещи. Решить данную проблему призван бизнес-глоссарий.
Для нас бизнес-глоссарий — не просто справочник с описанием терминов и методологией расчета. Это полноценная среда разработки, согласования и утверждения терминологии, построения взаимосвязей терминов с другими информационными активами компании. Перед тем как попасть в бизнес-глоссарий, термин должен пройти все этапы согласования с бизнес-заказчиками и центром качества данных. Только после этого он становится доступным для использования.
Как я уже написал выше, уникальность данного инструмента в том, что он позволяет проводить связи от уровня бизнес-термина до конкретных пользовательских отчётов, в которых он используется, а также до уровня физических объектов баз данных.
Это стало возможным посредством использования идентификаторов терминов глоссария в детальном описании отчётов из реестра и описании физических объектов баз данных.
Сейчас в Глоссарии определено и согласовано уже более 4000 терминов. Его использование упрощает и ускоряет обработку поступающих запросов на изменение в информационных системах компании. Если требуемый показатель уже реализован в каком-либо отчёте, то пользователь сразу увидит набор готовых отчётов, где этот показатель использован, и сможет принять решение об эффективном повторном использовании имеющейся функциональности или о её минимальной доработке, не инициируя новых запросов на разработку нового отчёта.
Модуль описания технических трансформаций и DataLineage
Вы спросите, что это за модули? Мало просто внедрить Реестр отчёта и Глоссарий, необходимо ещё приземлить все бизнес-термины на физическую модель баз данных. Тем самым мы смогли завершить процесс формирования жизненного цикла данных от систем источников до BI-визуализации через все слои хранилища данных. Иными словами — построить DataLineage.
Мы разработали интерфейс, в основе которого лежал используемый ранее в компании формат описания правил и логики трансформации данных. Посредством интерфейса заводится всё та же информация, что и раньше, но обязательным условием стало определение идентификатора термина из бизнес-глоссария. Так мы и выстраиваем связь между бизнес- и физическими слоями.
Кому это нужно? Чем не устроил старый формат, с которым работали несколько лет? Насколько увеличились трудозатраты на формирование требований? С такими вопросами нам приходилось сталкиваться в процессе внедрения инструмента. Здесь ответы достаточно просты – это нужно всем нам, дата-офису нашей компании и нашим пользователям.
Действительно, сотрудникам пришлось перестраиваться, поначалу это привело к незначительным увеличениям трудозатрат на подготовку документации, но с этим вопросом мы разобрались. Практика, выявление и оптимизация проблемных мест сделали свое дело. Мы добились главного — повысили качество разрабатываемых требований. Обязательные для заполнения поля, унифицированные справочники, маски ввода, встроенные проверки – всё это позволило в разы повысить качество описаний трансформаций. Мы ушли от практики передачи скриптов в виде требований на разработку, расшарили знания, которые были доступны только команде, занимающейся разработкой. Сформированная база метаданных сокращает в разы время на проведение регресс-анализа, обеспечивает возможность оперативной оценки влияния изменений на любом из слоев ИТ-ландшафта (отчёты витрины, агрегаты, источники).
А причём здесь обычные пользователи отчётов, какие плюсы для них? Благодаря возможности построения DataLineage наши пользователи, даже далекие от SQL и других языков программирования, оперативно получают информацию об источниках и объектах, на основе которых формируется тот или иной отчёт.
Модуль контроля качества данных
Всё, о чём мы говорили выше в части обеспечения прозрачности данных, не важно без понимания того, что данные, которые мы отдаём пользователям, — корректные. Один из важных модулей нашей концепции Data Governance — модуль контроля качества данных.
На текущем этапе это каталог проверок по выборочным сущностям. Ближайшая цель по развитию продукта – это расширение перечня проверок и интеграция с реестром отчётов.
Что это даст и кому? Для конечного пользователя реестра будет доступна информация о плановых и фактических датах готовности отчёта, результаты отработанных проверок с динамикой, сведения по загруженным в отчёт источникам.
Для нас интегрированный в рабочие процессы модуль качества данных это:
Внедрять Data Governance пора, когда топ-менеджеры перестают доверять отчетам
Время просмотра: 3.4 мин.
Компания «Инфосистемы Джет» является надежным поставщиком решений IBM. Стратегическое партнерство компаний, ознаменованное наличием у «Инфосистемы Джет» высшего статуса IBM Platinum Business Partner и специализациями в области аппаратного и программного обеспечения, построения динамической инфраструктуры и облачных решений, насчитывает уже не один год.
Почему правильный подход к Data Governance улучшает доверие к аналитике?
Основные предпосылки внедрения этих технологий?
Чем подписка на решения Data Governance может быть лучше традиционной лицензии?
Под Data Governance (DG) принято понимать набор методологий и технологий для хранения, обработки и управления данными. Как правило, данные компании могут быть распределены по разным облачным средам, разрозненным приложениям и даже ЦОДам в разных странах, а также по дочерним организациям. Это затрудняет их объединение и анализ. Расположение данных в разных местах предполагает, что они должны соответствовать различным нормативным требованиям и требованиям конфиденциальности. Это, в свою очередь, означает, что объединение данных в единое хранилище для операций над ними может быть затруднительным процессом или просто невозможным.
Data Governance дает возможность технологически свести данные воедино и подготовить для решения бизнес-задач, в том числе при помощи систем искусственного интеллекта. IBM считает, что, благодаря инновациям в таких областях, как федерализация данных и управление ИИ, способность обучать и управлять моделями данных и ИИ в гибридной облачной среде будет расширяться, стимулируя внедрение ИИ в последующие несколько лет.
Data Governance с точки зрения инструментов — это единое окно, которое позволяет свести данные из всех систем на один экран. Если мы нарисуем ландшафт ИТ-систем, которые хранят в себе данные, получится обширная карта: источники данных, как минимум одно хранилище, различные интеграционные слои и точки отчетности, например, BI-инструменты. Между всеми этими сущностями есть точки конвертации данных. Data Governance в этом ландшафте — своего рода спрут, который охватывает своими щупальцами абсолютно все узлы. Благодаря этому пользователь получает доступ ко всем данным из одного интерфейса.
Мы считаем понятия «Data Governance» и «озеро данных» смежными. Самое важное отличие: озеро не приносит прямой практической пользы. Информацию оттуда можно использовать, но в первую очередь оно нацелено на ее накопление.
Data Governance иногда путают с Data Management. Последний термин постепенно выходит из употребления. Раньше под ним понимали совокупность систем, которые манипулируют информацией, но не всегда ею управляют. Агрегация и хранение, конвертация и миграция данных — все это называлось Data Management. Data Governance же подразумевает методологические инструменты, которые позволяют управлять этими процессами.
Data Governance иногда путают и с Big Data. Зонтичный термин Big Data, которым в свое время называли чуть ли не все, связанное с данными, в первую очередь касается конкретных кейсов. Как выстроить индивидуальную работу с клиентами, какой набор товаров и услуг им предложить — вот поле для обработки Big Data. Data Governance же — это инструменты моделирования, отчетности и построения гипотез.
Еще пять лет назад DG был прерогативой исключительно ИТ-службы. Этим занимались дата-стюарды — сотрудники, которые управляли данными внутри компании: следили за соблюдением правил работы с ними, обрабатывали и предоставляли бизнесу. Со временем запросы бизнеса (к примеру, сокращение времени выхода на рынок или повышение эффективности маркетинговых кампаний) привели к новым ИТ-потребностям. Теперь данные были нужны срочно, вот прямо сейчас. Но на деле все выглядело так: маркетинг пишет письмо в ИТ-службу, она в своем режиме начинает работать с источниками, собирает информацию и отправляет обратно. «Прямо сейчас» не получалось. Это замедляло работу бизнес-подразделений, поэтому они начали вникать в вопрос работы с данными.
Статьи по теме
Поделиться
Есть пример компании в России, которая научила SQL сотни бизнес-сотрудников, прежде не имевших никакого отношения к программированию. А всё для того, чтобы они могли работать с базами данных напрямую, не нагружая этим ИТ-службу.
Как внедрять
В 2016 г. подавляющее число проектов IBM по внедрению Data Governance в мире относилось к финансовому сектору. Дело в том, что Data Governance — в первую очередь про упорядочивание данных. Если представители фискальных ведомств, к примеру налоговой службы или казначейства, во время внешнего аудита найдут в разных источниках противоречивые значения одного параметра, они могут выставить немалую претензию. Это одна из причин востребованности Data Governance в финансовом секторе.
Сейчас инструменты DG легче «приземлить» на реальный бизнес, поэтому их используют в телекоме, логистике, на производстве. Технологии стали проще, доступнее и дешевле. Совокупная стоимость их владения (TCO) за последние годы снижается. Сейчас Data Governance включает в себя создание каталога метаданных, физическую и логическую модели, data lineage (отслеживает происхождение данных) и data quality (контролирует их качество). Выбирая нужные блоки, вы фактически формируете стоимость решения. Внедрение всего и сразу обойдется дороже, но, если вести работу поэтапно, получится не такая большая единовременная нагрузка на бюджет.
Не каждая компания готова управлять данными. Решение IBM InfoSphere Information Governance Catalog известно на рынке, поэтому нередко заказчики сами приходят к нам с запросом на внедрение. Когда мы начинаем общаться, то понимаем, что у них нет необходимой оргструктуры, ответственного за данные, даже цели DG зачастую не определены. Есть своего рода энтропия данных, которыми бизнес хочет управлять, но не знает как. Осознание проблемы присутствует, и это отлично, но с такими вводными сложно начинать проект.
Топ-менеджер крупной компании как-то сказал на рабочей встрече, что не доверяет двум третям данных в отчетах. Это признак того, что DG-проект нужен компании и решение будет успешно использоваться. Для внедрения необходимы две составляющие. Первая: в компании должна быть методология работы с информацией, формируется офис директора по работе с данными (Chief Data Officer). Вторая, самая главная: представитель топ-менеджмента (уровня директора или вице-президента) осознает необходимость внедрения инструмента управления данными. Это работает во всех случаях. Когда нет спонсора на высшем уровне, который включит зеленый свет и будет продвигать проект, внедрение может забуксовать. Если такой есть, останется решить технические задачи. Вместе с бизнес-партнером мы готовы помочь выбрать методологию и спланировать внутреннюю инфраструктуру. Главное, чтобы руководство компании осознавало всю важность будущего проекта — для чего они внедряют Data Governance.
Своеобразная фабрика данных, поддерживаемая процессами Data Governance, поможет устранить разрозненность и автоматизировать интеграцию данных, чтобы обеспечить их доступность для просмотра и анализа всеми пользователями. Данные можно обрабатывать, управлять ими и сохранять их по мере обработки, поэтому бизнес-пользователи получают единую точку доступа для поиска, формирования и использования данных в масштабах всей компании.
Data Governance и ритейл: отношения неизбежны
Розничным сетям уже не обойтись без Data Governance. Ритейл, как и телеком, ориентирован на массовых потребителей и корпоративных клиентов и занимает лидирующие позиции по объемам накопления данных и вариативности кейсов. Чековая аналитика, сегментация товаров, ценообразование, рентабельность операций — все эти аналитические задачи ритейлеры решали поэтапно, шаг за шагом. Со временем у них возникла потребность в централизованном подходе, то есть в инструментарии DG.
Для ритейла вполне привычна лоскутная система сбора данных. Например, у ритейловой сети может быть 20 разрозненных источников данных. То есть 20 потенциальных точек отказа, 20 точек администрирования и лицензирования и 20 типов информации, из которых в итоге формируются 20 разных моделей хранения данных. Это распространенная проблема. Но как всем этим разнообразием управлять?
Краеугольное правило для ритейла — высокое качество данных. Достоверная информация в отчетах позволяет строить качественные гипотезы, в том числе для маркетинговых кампаний. Согласитесь, будет неловко, если специальное предложение по мясу будет направлено вегетарианцу, который никогда не совершал подобных покупок. А это возможно, если работа с данными выстроена некорректно.
Ритейл — высокооборотная и коммодитизированная отрасль, поэтому решение, которое может повысить доход от чека даже на доли процента, может быть выгодным для бизнеса. Наш недавний кейс в российском ритейле — внедрение инструментов Data Governance в X5 Retail Group.
Data Governance: от теории к практике
Содержание
Надо сказать, что data governance – это не совсем системы. Точнее правильнее –не только системы. Это прежде всего стратегия для эффективного управления корпоративными данными. И только потом это набор инструментов, которые позволяют бизнесу понять, какими активами данных он владеет, как эти данные связаны друг с другом, кто и как ими пользуется, позволяет управлять их качеством.
Data Governance и Data Management – в чем разница?
Так как в русском языке data governance переводится, как управление данными, то часто этот термин путают с термином data management. В чем же разница?
Одним из основных различий между двумя бизнес-функциями является то, что Data Governance – это стратегия, а Data Management – тактика. Это означает, что в дополнение к созданию общей парадигмы управления данными в организации, руководители должны определить конкретные практики по управлению информацией, для того чтобы достигать своих целей. Кроме того, Data Governance не контролируется технологическими решениями. Напротив, бизнес использует технологии для того, чтобы решить основные вопросы, которые ставит перед ним план по управлению данными. Наконец, важно понимать, что Data Governance и management работают параллельно друг другу и дополняют друг друга.
Что нужно для Data Governance
В идеале для обеспечения организационного процесса управления корпоративными данными нужно создать специальную организационную единицу, которая будет заниматься управлением данными как активом организации. Это большой сложный вопрос: каким образом методологически управлять жизненным циклом данных, каким образом поддерживать корпоративную модель данных. Без такой модели, без понимания, какие данные есть в организации, как ими управлять и как они могут быть использованы бизнесом, данные не представляют никакой ценности.
Администрирование данных чаще всего объединяет в себе такие понятия, как обслуживание процессов управления данными (Data Stewardship), качеством данных (Data Quality), а также другие концепции, реализация которых способствует достижению наибольшего контроля компании над своими активами данных. Сюда также можно включить методы, технологии и тактики грамотного управления данными. Справедливо упомянуть здесь безопасность и конфиденциальность, целостность, удобство в использовании, гибкость, доступность, разграничение ролей и обязанностей, а также управление внутренними и внешними потоками данных компании в целом.
Компании, которые используют Data Governance, выделяют следующие преимущества: более низкие затраты на управление данными (Data Management) за счет переиспользования процедур, управление соответствием нормам регулятора и соблюдением compliance-практик, прозрачность любых действий с данными, помощь во внедрении обучения управления активами данных. Но если говорить совсем просто, то главное, Data Governance решает три задачи: обеспечивает доступность наших данных, прозрачность жизненного цикла данных и дает пользователям компании согласованные непротиворечивые и проверенные данные.
Важной вещью при внедрении практик Data Governance является бизнес-глоссарий. Мы все знаем, что даже в рамках одной и той же компании бизнес говорит на разных языках. Да, используют одни и те же термины, но понимают под ними совершенно разные вещи. Как раз эту проблему призван решить бизнес-глоссарий.
Это не просто справочник с описанием терминов и методологией расчета. Это полноценная среда разработки, согласования и утверждения терминологии, построения взаимосвязей терминов с другими информационными активами компании. Перед тем как попасть в бизнес-глоссарий, термин должен пройти все этапы согласования с бизнес-заказчиками и центром качества данных. Только после этого он становится доступным для использования. Уникальность такого инструмента в том, что он позволяет проводить связи от уровня бизнес-термина до конкретных пользовательских отчётов, в которых он используется, а также до уровня физических объектов баз данных.
Как внедрить практику Data Governance
Data Governance не является моделью отношения к данным, использование которой гарантирует краткосрочный успех. Приготовьтесь к тому, что процесс будет долгим и местами сложным.
Базовый шаг для создания практики Data Governance – проектирование зрелой ИТ-архитектуры. Работа с данными, которые стали стратегическим цифровым активом, требует от вычислительной инфраструктуры максимальной гибкости. Поэтому главной задачей каждого ИТ-директора становится создание архитектуры для производительной работы аналитики и платформ.
Одним из примеров работы с инфраструктурой в рамках стратегии Data Governance можно назвать создание единой виртуальной среды для работы с данными. Для этого необходимы правильно выстроенные мощности, объединяющие производительные вычислительные платформы для больших массивов информации, СХД для архива, накопители для хранения горячих данных и быстрого доступа к ним в любой момент времени.
Уже после создания готовой к переходу на Data Governance вычислительной инфраструктуры, можно решать, где хранить данные. Это можно делать внутри компании, а можно отдать в облако, во внешний центр обработки данных или частный ЦОД. Одновременно собираются в каталог данных все технические метаданные (например, данные о том, в каких информационных системах хранится информация), а для каждого бизнес-термина фиксируется в бизнес-глоссарии единое для всей компании определение.
Далее, следует скорректировать управление данными в существующих производственных системах: ввести ролевую модель и распределить обязанности и полномочия на заведение и проверку данных, чтобы их вводили и проверяли опытные эксперты, а не все пользователи систем. Дополнительно можно добавить процедуру перекрестной проверки данных между системами, например, в аналогичных системах проверять наличие данных, которые уже введены, и в свою систему вводить их подобным образом, без противоречий с введенными. Если же противоречия неизбежны, то инициировать процедуру исправления недостоверных данных.
Следующий шаг — настройка процессов извлечения данных из систем трансформации и загружать их в нужные представления (ETL, Extract, Transform & Load). То есть для корректной передачи данные нужно привести к единой системе значений и детализации. Получаемые при этом преимущества — готовые процедуры выгрузки и необходимых преобразований данных, которые можно многократно применять по запросу. Как правило, инструменты ETL позволяют быстро дополнять и менять настройки трансформации, что дополнительно сокращает издержки.
Одновременно с ETL желательно внедрить корпоративную сервисную шину данных (Enterprise Service Bus, ESB), поскольку это позволит автоматизировать процесс доставки нужных данных в нужные места к нужному времени, гарантировать такую доставку и централизовать управление интеграцией. Некоторые компании на этом ставят точку, так как дальнейшие действия для организаций определенных отраслей и размеров потребуют больших инвестиций в изменение процессов работы.
После закрытия базовых потребностей в Data Governance можно говорить о полноценном контроле качества данных. Решается это с помощью профилирования данных. Идентифицируются параметры, которые будут контролироваться и вводится понятие «качественные данные». Все эти инициативы позволяют начать полноценную работу по улучшению качества данных и поддержанию их в этом состоянии.
Поддерживать данные в качественном состоянии можно с применением процедур Data Quality. Это довольно серьезный механизм, требующий существенной проработки деталей: назначения ответственных (Data Steward), разработки методологии, использования автоматических систем. Зато при использовании этих механизмов можно говорить о качественных, непротиворечивых, достоверных, неповторяющихся данных.
Еще одним большим блоком становится внедрение инструмента управления мастер-данными (Master Data Management, MDM). MDM необходим для управления процессом сбора данных, их верификации, дедупликации и превращения обычного хранилища в хранилище чистых данных. Исполнение этой части влечет за собой существенное изменение работы предприятия с данными. Ставятся на контроль точки их заведения, регламентируются любые изменения, вводятся новые роли, для которых разрабатываются процедуры и инструменты помощи в принятии решений в случае противоречий.
И, конечно, перед всем процессом создания data governance, очень важно внедрить правила для обеспечения качества данных и провести соответствующие организационные изменения. Всё это позволит точнее и быстрее анализировать данные, формировать отчётность и принимать правильные бизнес-решения. И в итоге ответить на главный вызов – создать адекватную модель и инструменты управления данными.
Чем помочь процессу Data Governance?
Увы, в большинстве российских компаний этот вопрос пока никак не решается, хотя в западных организациях много примеров отношения к данным как к важнейшему корпоративному активу. Поэтому на рынке существует множество программных решений для управления данными.
Чтобы познакомиться с лучшими образцами, проще всего обратиться к аналитическим агентствам. Gartner регулярно выпускает Магические квадранты, в которых только в группе Лидеров указывается около десятка вендоров. Те, кому интересно посмотреть на всех, с легкостью найдут этот квадрант в сети, я лишь скажу, что последние годы лидером упорно держится Informaticа. Она же, надо отметить, на первых позициях в рейтингах IDC, вторых главных аналитиков ИТ-мира. В их исследовании по оценке производителей программных решений по каталогизации данных Informatica значительно опережает всех остальных вендоров, и единственный, кто в состоянии ее догнать, это IBM.
Но какой конкретно программный продукт использовать для управления данными вы еще успеете решить. Пока давайте просто запомним, что просто почистить данные, создать идеальную систему бизнеса-анализа недостаточно. Главное, как она будет поддерживаться. Для этого и нужен data governance.