Jakość danych

Zarządzanie Jakością Danych
Prezentacja SGH Warszawa, 06 grudnia 2016 r
Co to są dane?
Dane (ang. data, łac. datum)
– zbiory liczb i tekstów o różnych formach;
Tematyczne zbiory informacji
nazwane są bazami danych.
Zestaw danych zawierający konkretną
informację nazwiemy komunikatem.
Podziały danych
Różne dziedziny:
• dane przestrzenne
• dane przeterminowane
• dane statystyczne
• dane tajne
• dane wejściowe
• dane wrażliwe
Informatyka:
• dane alfanumeryczne
• dane binarne
• dane masowe
• dane statyczne
• dane tekstowe
Źródła danych
- systemy centralne np. transakcyjne/księgowe
- ekstrakty z aplikacji (np. kartowe, skarbowe itp.)
- pliki płaskie (raporty, inwentury itp.)
- dane z instytucji zewnętrznych (słowniki, informacje
klientowskie itp.)
Uwarunkowania prawne
Ochrona danych osobowych - regulacje prawne dotyczące tworzenia i
posługiwania się zbiorami danych osobowych, a także pojedynczymi danymi,
mające na celu administracyjno-prawną ochronę prawa do prywatności:
Rezolucja 34/169 Zgromadzenia Ogólnego ONZ: Kodeks Postępowania Funkcjonariuszy Porządku
Prawnego.
Rezolucja 45 (95) Zgromadzenia Ogólnego ONZ: Wytyczne w sprawie uregulowania kartotek
skomputeryzowanych danych osobowych
Dyrektywa 95/46/WE Parlamentu Europejskiego i Rady z dnia 24 października 1995 r. w sprawie
ochrony osób fizycznych w zakresie przetwarzania danych osobowych oraz swobodnego
przepływu tych danych (Dz. Urz. WE L 281 z 23.11.1995, tłumaczenie na język polski).
Dyrektywa 97/66/WE Parlamentu Europejskiego i Rady z dnia 15 grudnia 1997 r. w sprawie
przetwarzania danych osobowych i ochrony prywatności w dziedzinie telekomunikacji (Dz. Urz.
WE L 24 z 30.1.1998, tłumaczenie na język polski
Ustawa z dnia 29 sierpnia 1997 r. o ochronie danych osobowych (Dz. U. z 2014 r. poz. 1182, z
późń. Zm.) - GIODO
Uwarunkowania prawne
Znaczenie jakości danych w informacji zarządczej przedsiębiorstwa
- regulacje KNF
Rekomendacja D „dotycząca zarządzania obszarem technologii
informacyjnej i bezpieczeństwa środowiska teleinformatycznego w
bankach”
w tym rekomendacja 8:
„Bank powinien posiadać sformalizowane zasady zarządzania
danymi wykorzystywanymi w ramach prowadzonej działalności,
obejmujące w szczególności zarządzanie architekturą oraz jakością
danych i zapewniające właściwe wsparcie działalności banku „
Co to jest jakość danych
Definicja jakości danych
„…dane są wysokiej jakości jeżeli nadają się do użycia zgodnie z
przeznaczeniem w zakresie działania, podejmowania decyzji i
planowania. Dane nadają się do użycia zgodnie z przeznaczeniem,
jeżeli nie zawierają defektów i posiadają pożądane cechy...”
Wg. Redmana
„…jakość to zgodność z wymaganiami…”
wg Crosby’ego
„…jakość informacji to stałe spełnianie oczekiwań użytkowników
posługujących się informacją...”
wg Englisha
Definicja jakości danych
„…dane o wystarczającej jakości pewnych cech dla jednego zadania,
mogą się okazać niedostatecznie dobre do innego celu....”
Tayi, G.K. and D.P. Ballou, “Examining data quality”. Communications of the
ACM, 1998. 41(2): s. 54-57.
Jest to sygnał do tego, by podejść do zagadnienia jakości danych jako
do problemu wielowymiarowego i wielowątkowego.
Skoro te same dane mogą być jednocześnie dobrej i złej jakości z
różnych punktów widzenia, to należałoby ustalić pewne kryteria oceny
jakości danych pod kątem ich różnych cech
(np. stosunek nakładu (kosztu) jaki jest niezbędny do podniesienia jakości danych do
korzyści wynikających z poprawy danych.)
Zarządzanie jakością danych
R. Manteuffel
„Zadaniem zarządzania jest zrobienie wszystkiego co jest możliwe, aby dopilnować do
maksimum spełnienia celu jaki stoi przed przedsiębiorstwem. Jest to możliwe tylko
wtedy, gdy istnieje harmonia w posługiwaniu się środkami produkcji, technologią i
czynnikiem pracy.”
Zarządzanie jakością – to kontekst całości funkcji zarządzania,
który ustala politykę jakości, cele i odpowiedzi oraz środki
urzeczywistnienia tej działalności w ramach systemów jakości,
takich jak: sterowanie jakością, zapewnienie jakości, planowanie
jakości, doskonalenie jakości.
Zarządzanie przez jakość – jest filozofią kształtującą pozytywne relacje pomiędzy:
produktywnością, konkurencją i jakością wyrobu, ochroną środowiska, bezpieczeństwem i
higieną pracy, a także między kierownictwem organizacji a jej pracownikami oraz między
organizacją i społeczeństwem.
Zapewnienie jakości – wszystkie zaplanowane i systematyczne, a także, jeśli to konieczne,
udowodnione działania realizowane w ramach systemu jakości, służące do wzbudzania
należytego zaufania co do tego, że obiekt spełni określone wymagania jakościowe.
Definicja zarządzania jakością podana została także w dokumentach norm ISO 9000.
Na czym polega zarządzanie jakością
Jakość danych, produktów i usług nie bierze się z niczego – jest rezultatem pracy.
W zarządzaniu jakością niezwykle ważne jest uprzedzanie problemów, zamiast
reagowania na nie po fakcie. Kontrola i zapobieganie a nie poprawia jakości.
Źródła powstawania defektów danych
przyczyny
problemów
spowodowane
czynnikiem
ludzkim
błędy
użytkowników
braki
walidacji
wady aplikacji
niezgodności
długości pól
powstałe wskutek
czynników
zewnętrznych
wielokrotne
migracje
niezgodności
formatu pola
wielokrotna
integracje
danych
brak
funkcjonalności
awarie
sprzętowe
samoistne
starzenie się
danych
Zarządzanie jakością danych
ASPEKTY OCENY JAKOŚCI DANYCH – MERYTORYCZNE
Poprawność
• Przyjmowanie przez
dane prawidłowych
wartości (zgodnych z
faktami),
przedstawionych w
zestandaryzowany
sposób czyli zgodnie z
definicją, w
określonym formacie i
jednostce.
• Z brakiem
poprawności mamy
do czynienia we
wszystkich
przypadkach, gdy
wartość nie
odpowiada
rzeczywistości, np.:
błędny PESEL,
wartość netto zamiast
brutto itp.
Kompletność
• Kompletność można
rozważać dwojako:
jako kompletność
opisywanych
obiektów lub jako
kompletność
wypełnienia cech dla
tych obiektów.
• Brak kompletności to
brak niektórych
elementów
zbiorowości, np. nie
wszyscy klienci danej
firmy lub braki w
opisie tych klientów
(np. brak numeru
telefonu).
Spójność
• Odpowiednie
zaprojektowanie
danych dające
możliwość łączenia ze
sobą różnych faktów,
przy jednoczesnym
braku wewnętrznych
sprzeczności w
ramach rekordu, bazy,
domeny.
• Brak spójności to np.
sprzedaż w systemie
produktowym jest
różna od tej samej
zmiennej w systemie
księgowym lub inna
data urodzenia niż to
wynika z numeru
PESEL.
Zgodność czasowa
• Ulotność, czyli
trwałość
przechowywania i
udostępniania
informacji.
• Aktualność, czyli
opóźnienie w
uzyskaniu informacji i
jej zdolność do
reprezentacji
rzeczywistości.
Zarządzanie jakością danych
ASPEKTY OCENY JAKOŚCI DANYCH – PROCESOWE
Dostępność
• Występowanie danych
w postaci łatwej do
użycia przez
użytkownika oraz
zgodnie z ustalonymi
reżimami czasowymi.
• Sposób prezentacji
danych musi być
dostosowany do
możliwości i
umiejętności odbiorcy.
• Bezpieczeństwo danych
zgodne z regulacjami i
zasadami działania
organizacji.
Zrozumiałość
• Możliwość łatwej
interpretacji danych.
• Czytelna
charakterystyka danych
w celu ich
prawidłowego użycia.
Zrozumiałość zależy od
wielu czynników, takich
jak prawidłowe
standardy obserwacji
danych, odpowiednie
oprogramowanie oraz
właściwe udostępnienie
danych.
Użyteczność
• Dokładność,
weryfikowalność,
interpretowalność,
wiarygodność.
• Zgodność z
oczekiwaniami;
dopasowanie do potrzeb
użytkownika i/lub
realizowanego procesu
biznesowego.
Cechy Danych Dobrej Jakości
dokładność
spójna
reprezentacja
obiektywność
zwięzłość
interpretowalność
ilość danych
wiarygodność
CECHY
DANYCH
DOBREJ
JAKOŚCI
kompletność
reputacja
dostępność
relewantność
wartość dodana
aktualność
Obszary wykorzystania informacji
Rachunkowość,
operacje
Wykrywanie
nadużyć oraz
prania brudnych
pieniędzy
Analiza danych
klienckich,
wsparcie
sprzedaży
Wsparcie
planowania
strategicznego
Wsparcie procesu
kredytowego
Dane referencyjne
Wsparcie procesu
reklamacyjnego
Wsparcie
sprzedaży
Wsparcie
planowania
krótkoterminowego
Wsparcie procesu
windykacyjnego
Dane
marketingowe
Zabezpieczenia
Obsługa klienta
Raportowanie
efektywności
Sprawozdawczość
obligatoryjna
Zarządzanie i
raportowanie
ryzyka
Sprawozdawczość
wewnętrzna
Raportowanie do
zewnętrznych
organów nadzoru
Dobre praktyki
Czy dane
są zgodne
z meta danymi?
Czy dane
Czy dane
spełniają kryterium są dostosowane do
standardów jakości? reguł biznesowych?
Wartości puste
Dokładność
%
Wartości zerowe
Wyniki
Call
Center
Czy informacje
wspierają procesy?
Czy informacje są
odpowiednie do
wykorzystania
w korporacji?
Sprzedaż i
marketing w
USA
CEO
Dyr. Ds.
finansów
Struktura
Prawidłowość
Strona kodowa
Agregacja
Duplikaty
Zarząd
%
Braki
Aktualność
Wydajność
łańcucha
zaopatrzenia
%
Produkcja w
Europie
Formatowanie
Kompletność
%
Inne
Długość
Niezgodne (np.
ze słownikiem)
Weryfikacja techniczna
Związane z
danymi
fakturowanie i
kwestie
kredytowania
Istotność
%
Użytkownik biznesowy
Kierownictwo
Co możemy uzyskać dzięki sprawnemu
zarządzaniu danymi
Możliwość szerszego stosowanie
analityki predykcyjnej
Organizację zarządzaną przez dane
Podejmowanie decyzji w oparciu
o wiarygodne dane
Dostępność danych
w odpowiednim czasie
Jednoznaczna interpretacja danych
Korzyści dla organizacji
Jednoznaczna interpretacji danych
Większe wsparcie w danych
przy podejmowaniu decyzji
Wspólna baza wiedzy biznesowej
Zwiększenie możliwości wykorzystania
danych w pracach analitycznych
Modele Systemu
Zarządzania Danymi
Modele Systemu Zarządzania Danymi
Brak modelu
Nie zawiera procesów
zarządzania jakością
danych, przypisania
właścicielstwa, ról ani nie
definiuje zasad w tym
obszarze.
Model
rozproszony
Model komitetowy
(federacyjny)
Model scentralizowany
(dedykowana j. org.)
Zakłada przypisanie ról z
odpowiedzialnościami za
jakość danych w organizacji
do pracowników
istniejących jednostek.
Zakłada powołanie Komitetu
Jakości Danych złożonego z
pracowników istniejących
jednostek, którym
przypisane zostałyby nowe
role i związane z nimi
odpowiedzialności.
Zakłada powołanie
wydzielonej, niezależnej
jednostki odpowiedzialnej za
jakość danych w organizacji.
Skuteczność modelu
organizacji SZD
Model Systemu Zarządzania Danymi
Model organizacji (1): Model rozproszony
Zalety
• Bardzo dobra znajomość własnego
obszaru danych
• Stosunkowo płaska struktura
organizacyjna
• Model łatwy do powołania w Organizacji
IT
Właściciel
Właściciel
systemu
A
Właściciel
systemu
B
systemu B
Departament 1 (Biznes)
Architekt IT
Model organizacyjny:
• Rozproszony – zestaw typowych ról
związanych z jakością danych występuje w
wielu istniejących jednostkach w
Organizacji, np. Jednostka w ramach Pionu
Finansowego odpowiada za dane
finansowe i jest ich Opiekunem Grupy
Danych (Data Stewardem),
Opiekun grupy
danych - Data
Steward
(aplikacji/syste
mu/departame
ntu)
Analityk
Jakości
Departament 2 (Biznes)
Wady
• Brak wspólnych celów – trudność z
podjęciem decyzji ponad interesami
własnego Departamentu
• Brak jednego miejsca z wizją strategiczną
dla całej Organizacji
• Role dla zagadnienia Jakości Danych
przewidziane jako dodatkowe obowiązki
dla dotychczasowych – potencjalnie
niewystarczające zaangażowanie
• Brak „przebicia” w Organizacji
wynikającego z umocowania w
dedykowanych strukturach
Opiekun grupy
danych - Data
Steward
(aplikacji/systemu
/departamentu)
Analityk
Jakości
Model Systemu Zarządzania Danymi
Model organizacji (2): Model komitetowy
Model organizacyjny:
• Komitetowy – Pracownicy (IT i
Biznes), mają przypisane nowe
role w zakresie Jakości Danych i
wspólnie opracowują strategię
Jakości Danych
Reprezentacja poszczególnych
obszarów działalności organizacji
Komitet Systemu Zarządzania Danymi (SZD)
Zalety
• Stosunkowo płaska struktura
organizacyjna
• Model łatwy do powołania w
Organizacji
Dla każdego obszaru:
Opiekun grupy
Datadanych
Stewart grupy
(Data
danych
Produkt…
DataStewart)
Stewart
Systemy źródłowe
Właściciel systemu
(Biznes)
Właściciel systemu
(IT)
Architekt IT
Wady
• Rozproszona decyzyjność –
trudność z podjęciem decyzji
• Role dla zagadnienia Jakości
Danych przewidziane jako
dodatkowe obowiązki dla
dotychczasowych – potencjalnie
niewystarczające zaangażowanie
• Rozbieżne cele – odsuwanie
problemów w obrębie własnego
obszaru codziennej działalności
• Brak „przebicia” w Organizacji
wynikającego z umocowania w
dedykowanych strukturach
Analitycy
Jakości
Data Stewart
grupy
Data Stewart
danych
…
Model Systemu Zarządzania Danymi
Model organizacji (3): Dedykowana jednostka
Model organizacyjny:
• Wydzielona, niezależna jednostka
odpowiedzialna za zarządzanie
jakością danych – Zespół Jakości
Danych
Wady
• Utworzenie nowej jednostki
organizacyjnej (ZJD)
• Formalne oddzielenie Właściciela
systemu od Właściciela danych
Sponsor/Dyrektor
ds. Jakości Danych
Opiekun grupy danych
(Data Stewart) - Klient
Opiekun grupy danych
Data Stewart grupy
(Data
Stewart)
-grupy
…
Data
Stewart
danych
Produkt
danych
Architekt Informacji
Systemy źródłowe
Właściciel
systemu
(Biznes)
Właściciel
systemu
(IT)
Analitycy Jakości
Analitycy Jakości
Analitycy Jakości
Architekt IT
Zalety
• Niezależność wyodrębnionej
jednostki („siła przebicia
w Organizacji”)
• Odpowiedzialność za jakość
danych jest scentralizowana,
a nie rozproszona
• Zakres odpowiedzialności
i podział zadań jest precyzyjnie
określony
• Rozdział ról nadzorczych
i wykonawczych przekłada się na
podział na jednostki organizacyjne
Zespół Jakości Danych
Model Systemu Zarządzania Danymi
Kryterium
Model rozproszony
Model komitetowy
Dedykowana jednostka
Rozliczalność
Rozproszona
Ciało wirtualne
Jednostka organizacyjna
Sposób finansowania
Finansowanie przez wiele
departamentów
Finansowanie przez wiele
departamentów
Jednostka odpowiedzialna za
finansowanie projektów SZD
Siła oddziaływania
Brak dedykowanych struktur
Ciało wirtualne
Dedykowane struktury
Rozdział odpowiedzialności
Rozdział na poziomie ról
Dodatkowa kontrolna rola
Komitetu
Rozdział na poziomie ról oraz
jednostek organizacyjnych
Ścieżki eskalacji
W ramach dotychczasowych
struktur
Na poziom Komitetu SZD
Na poziom Dyrektora ZJD
Elastyczność
Wymaga uzgodnień z
poszczególnymi jednostkami
Wymaga uzgodnień na poziomie
Komitetu
Poprzez dostosowywanie
odpowiedzialności ZJD
Skala niezbędnych zmian
Przypisanie nowych ról w
ramach istniejących struktur
Powołanie Komitetu
Powołanie dedykowanej
jednostki
Pracochłonność procesów
Silnie rozproszenie może
skutkować wyższą pracochł.
Komitet w części równoważy
skutki rozproszenia procesu
Mniejsze rozproszenie procesu
zapewnia wyższą efektywność
Podsumowanie
Legenda
Efektywność wariantu w danym obszarze:
Wysoka
Niska
Model Systemu Zarządzania Danymi
Definicja biznesowa SZD
System Zarządzania Danymi jest sformalizowanym zbiorem zasad, ról, procesów wraz
z przypisanym właścicielstwem, dotyczących kontroli, dostarczania i poprawy danych
i informacji. Wszystkie elementy wspólnie mają na celu zarządzanie jakością danych.
Model Systemu Zarządzania Danymi
System Zarządzania Danymi obejmującego działania związane z planowaniem, wykonaniem,
monitorowaniem i optymalizacją zarządzania danymi.
W celu zaadresowania przedstawionych
problemów rekomendowane jest wdrożenie
Systemu Zarządzania Danymi obejmującego
zasady, role, procesy i przypisanie właścicielstwa.
SZD powinien objąć działania związane
z planowaniem, wykonywaniem, monitorowaniem
i optymalizacją zarządzania danymi:
• Monitorowania okresowego i oceny jakości
danych
• Bieżącego monitorowania jakości danych
• Zarządzania incydentami
• Analizy i identyfikacji przyczyn błędów
w danych
• Czyszczenia danych
Optymalizacja
• Opracowywania i wdrażania rozwiązań
technicznych zapewniających jakość danych w
systemach
• Zarządzania definicjami i architekturą danych
• Definiowania kryteriów jakości danych
• Oceny efektywności realizacji procesów jakości
danych
• Reakcji na zmiany architektury Banku
Model Systemu Zarządzania Danymi
Elementy SZD: Zasady
W zasadach zapisane są biznesowe definicje danych oraz sposoby weryfikacji ich jakości.
Zasady określają:
•
•
Grupy danych ze względu na zakres biznesowy
Kryteria poprawności danych:
Grupy
danych
•
kryteria biznesowe:
• Definicja co stanowi poprawną daną oraz
dopuszczalne poziomy poprawności danych
KPI
• kryteria techniczne:
• Sposób implementacji pomiarów kryteriów
biznesowych, reguły automatycznego
czyszczenia danych
Kryteria
biznesowe
Przykład: pole PESEL
• Kryterium techniczne – weryfikacji cyfry kontrolnej
• Kryterium biznesowe – zgodność informacji zakodowanej w PESEL z datą urodzenia i płcią
Kryteria
techniczne
Model Systemu Zarządzania Danymi
Elementy SZD: Role
Role są dobrane według trzech głównych kategorii obowiązków: Kontroli, Definicji zasad oraz Wykonywanych działań
w ramach SZD. Podział na role uwzględnia wymaganie niezależności, tzn. ta sama rola nie może być odpowiedzialna
za np. wykonywanie czynności oraz ich kontrolowanie.
Sponsor / Dyrektor Programu SZD
•
Odpowiednio umocowana osoba w organizacji
•
Zapewnia sponsoring inicjatyw w ramach Jakości Danych,
•
Nadzorowanie całościowego programu Jakości Danych,
ZASADY
Opiekun Grupy Danych (Data Steward)
•
Ekspert biznesowy z zaawansowanymi umiejętnościami analitycznymi i miękkimi
•
Pełni rolę łącznika między biznesem i IT
•
Jest odpowiedzialny za definicje kryteriów jakości danych, ich użycia i sposobu monitorowania
•
Analizuje zgłoszenia o nieprawidłowościach i identyfikuje odpowiedzialność między właścicielami
•
Całkowicie dedykowany do celów związanych z zarządzaniem Jakością Danych
Architekt Informacji
•
Jest odpowiedzialny za techniczną definicję, spójność i utrzymanie reguł jakości danych określoną w
Zasadach, w całej organizacji
Analitycy Jakości Danych
•
Osoby zaangażowanie bezpośrednio w biznesowe wykorzystanie danych, o dużej wiedzy biznesowej IT, które
monitorują na bieżąco poziom jakości danych według zasad technicznych i biznesowych
•
Są pierwszą instancją zgłaszającą problemy z jakością danych (poza użytkownikami końcowymi),
•
Wspierają raportowanie cykliczne
Pozostałe: Deweloperzy, Właściciele grup danych i systemów, Użytkownicy końcowi
Model Systemu Zarządzania Danymi
Elementy SZD: Procesy
Procesy spajają Zasady i Role poprzez przydzielenie Roli i odpowiedzialności za konkretne
zasady.
Procesy obejmują:
•
Monitorowanie okresowe i ocena jakości
danych
•
Bieżące monitorowanie jakości danych
•
Zarządzanie incydentami
•
Analiza i identyfikacja przyczyn błędów
w danych
•
Czyszczenie danych
•
Opracowywanie i wdrażanie rozwiązań
technicznych zapewniających jakość danych w
systemach
•
Zarządzanie definicjami i architekturą danych
•
Definiowanie kryteriów jakości danych
•
Ocena efektywności realizacji procesów
jakości danych
•
Reakcja na zmiany architektury danych w
organizacji
Planowanie
Optymalizacja
Jakość danych
Monitorowanie
Powyższa lista procesów obejmuje procesy wymienione jako wymagane przez Rekomendację D.8.
Wykonanie
Model Systemu Zarządzania Danymi
Elementy SZD: Właścicielstwo
Model właścicielstwa obejmuje
definicję:
Biznes
Struktura organizacyjna
właścicielstwo
Właściciela biznesowego grupy
danych (jeden)
• Jednostka/osoby biznesowe
odpowiedzialne za grupę danych we
wszystkich systemach w którym
dane powstają. Rozumieją cel i
sposób przetwarzania w całym cyklu
życia grupy danych
właścicielstwo
Struktura organizacyjna Banku
System A
IT \ Biznes
Właściciela IT i Biznesowego systemu
(dla każdego systemu)
• Osoby odpowiedzialne z grupę
danych w systemie w którym grupa
danych jest przetwarzana.
Grupa
danych 1
System B
System C
System D
Grupa
danych 2
...
Gata Governance –
zaawansowany model
zarządzania danymi
Definicja Data Governance
Data Governance (DG) – sposób w jaki przedsiębiorstwo zarządza
zasobami danych. Zarządzanie to uwzględnia reguły, polityki, procedury,
role oraz odpowiedzialności, które kierują ogólnym administrowaniem
danymi przedsiębiorstwa.
Większość programów zarządzania danymi zostało zbudowanych w celu
utworzenia i utrzymywania zgodnych definicji danych oraz reguł
biznesowych pozwalających osiągnąć w organizacji „jedną wersji prawdy”,
co pozwala na oszczędności czasu przy budowie nowych rozwiązań oraz
skuteczność podejmowania decyzji w oparciu o dane.
DG dostarcza wytyczne, które mają zapewnić, że dane są dokładne, spójne,
kompletne, dostępne i bezpieczne.
Oddziaływania Data Governance w
organizacji
Cele
Strategiczne
Misja i Wizja
Zarządzanie
Zgodnością
Nadzór
Data Governance
Wsparcie Zarządcze
Właścicielstwo Danych
Bezpieczeństwo Danych
Współpraca z Biznesem
Strategia Jakości Danych
Profilowanie Danych
Czyszczenie Danych
Wprowadzanie Danych
Walidacja Danych
Pomiar Jakości Danych
Wspólny Model danych
Standaryzacja Danych
Podstawowe Zarządzanie Danymi
Zarządzanie Metadanymi
Rozwój systemu zarządzania danymi
Wprowadzenie rekomendacji „D”
Data
Governance
Jakość danych
Zarządzanie
metadanymi
Standardy
danych
Data
Stewardship
Przykład modelu Systemu
Zarządzania Danymi
w instytucji finansowej
Model Systemu Zarządzania Danymi
Z perspektywy skuteczności zapewnienia wysokiej jakości danych wdrożono
scentralizowanego modelu Systemu Zarządzania Danymi z dedykowaną jednostką, przy
kontroli i wsparciu Komitetu Systemu Zarządzania Danych (SZD).
Odpowiedzialności departamentów
biznesowych:
Zespół Jakości Danych
• Prawidłowa rejestracja danych i/lub
poprawianie błędów
w danych
• Identyfikacja problemów dotyczących
jakości danych, we współpracy z
Opiekunem grupy danych (Data Stewards)
Opiekun grupy
Data Stewart
danych (Data
grupy
Data danych
Stewart
Stewart)
- ...
Produkt
grupy
danych
Opiekun grupy
danych (Data
Stewart) -Klient
• Identyfikacja systemów informatycznych
przetwarzających grupy danych, we
współpracy z Opiekunem grupy danych
(Data Stewards)
• oraz technicznymi opiekunami systemów
• Przekazywanie informacji zwrotnej
dotyczącej jakości danych.
Systemy źródłowe
Właściciel
systemu
(Biznes)
Właściciel
systemu
(IT)
Architekt IT
• Uwzględnienie wymagań związanych z
zapewnieniem jakości danych w ramach
realizowanych projektów
Architekt
Informacji
Komitet SZD
• Wsparcie Opiekuna grupy danych (Data
Stewards) w wypracowaniu definicji danych
Dyrektor ds.
Jakości Danych
Odpowiedzialny za
zarządzanie jakością
danych oraz
architekturą danych
Banku
Analitycy
Analitycy
Jakości
Analitycy
Jakości
Jakości
Odpowiedzialny za
kontrolę i ocenę SZD
37
Model Systemu Zarządzania Danymi
Odpowiedzialności departamentów biznesowych
Niezależnie od przyjętego modelu konieczne jest przypisanie dodatkowych
odpowiedzialności istniejącym jednostkom organizacyjnym.
W związku z wdrożeniem SZD, departamentom biznesowym zostaną przypisane nowe odpowiedzialności niezbędne z
perspektywy zapewnienia jakości danych w Banku:
•
Dbałość o jakość danych poprzez prawidłową rejestrację danych i/lub poprawianie ewentualnych błędów w
danych,
•
Identyfikacja problemów dotyczących jakości danych w obszarze kompetencji jednostki, we współpracy z
Opiekunem grupy danych (Data Stewards),
•
Wsparcie Opiekuna grupy danych (Data Stewards) w wypracowaniu definicji danych w obszarze kompetencji
jednostki,
•
Definiowanie reguł weryfikacji i walidacji danych wspierających biznesowe kryteria poprawności danych,
•
Identyfikacja systemów informatycznych przetwarzających grupy danych w obszarze kompetencji jednostki,
we współpracy z Opiekunem grupy danych (Data Stewards) oraz technicznymi opiekunami systemów,
•
Uwzględnienie wymagań związanych z zapewnieniem jakości danych w ramach realizowanych projektów (np.
reguł jakości danych),
•
Przekazywanie informacji zwrotnej dotyczącej jakości danych (np. w ramach Komitetu SZD).
Dodatkowo, w przypadku modelu komitetowego i rozproszonego, odpowiedzialności Opiekuna grupy danych
(Data Stewards) również zostają przypisane do istniejących departamentów biznesowych.
Model Systemu Zarządzania Danymi
Przykład Grupy Danych
Jednym z wymiarów podziału kompetencji w ramach SZD będzie podział wg grup danych.
Poniższa przykładowa lista grup danych została opracowana w oparciu o model FSDF,
doświadczenie rynkowe oraz dyskusję z przedstawicielami Banku.
Grupy danych źródłowych:
•
Dane klientów
•
Dane sprzedaży
•
Dane relacji z klientami (w tym kampanie)
•
Dane ubezpieczeń (bancassurance)
•
Dane rachunków
•
Dane ryzyka
•
Dane transakcji
•
Dane budżetowe
•
Dane produktów
•
Dane sprawozdawcze
•
Dane wniosków
•
Dane księgi głównej
•
Dane harmonogramów płatności
•
Dane gospodarki własnej
•
Dane zabezpieczeń
•
Dane przebiegu procesów
•
Dane windykacji
•
Dane referencyjne (w tym słowniki, dane
zewnętrzne)
Model Systemu Zarządzania Danymi
Niezbędne kompetencje Zespołu Jakości Danych
Powołanie Zespołu Jakości Danych wymaga pozyskania nowych kompetencji w Banku.
Poniżej wylistowano główne kompetencje niezbędne dla ról w ramach ZJD.
Dyrektor ZJD
• Znajomość biznesowych
i technicznych zagadnień
dotyczących danych w Banku
• Znajomość architektury danych
Banku
• Znajomość organizacji,
procesów i procedur
funkcjonujących w Banku
• Umiejętności menedżerskie,
w tym zarządzania jednostką
organizacyjną
• Umiejętność współpracy
i budowania relacji z licznymi
interesariuszami
Opiekun grupy Danych
(Data Steward)
• Znajomość grup danych,
sposobów ich powstawania
i wykorzystywania w wybranym
obszarze działalności Banku
(wiedza biznesowa)
• Znajomość sposobów
przetwarzania danych
w systemach informatycznych
i zapewnienia jakości danych
(wiedza informatyczna)
• Znajomość sposobów pomiaru
jakości danych i typowych
problemów związanych
z jakością danych
• Umiejętność rozwiązywania
problemów związanych
z jakością danych
Architekt informacji
• Znajomość zagadnień
dotyczących zarządzania
architekturą danych
• Znajomość grup danych,
sposobów ich powstawania
i wykorzystywania
(wiedza biznesowa)
• Znajomość rozwiązań
technicznych umożliwiających
zapewnienie jakości danych
(wiedza informatyczna)
• Znajomość architektury danych
Banku
• Umiejętność wypracowywania
konsensusu wokół
proponowanych rozwiązań
architektonicznych
• Umiejętność projektowania
rozwiązań informatycznych
Strategia i rola Biura Zarządzania Jakością Danych
Centrum kompetencji i wiedzy
„…organizacja, rozwój i zarządzanie systemem zarządzania danymi (SZD) w
sposób zapewniający poprawę i utrzymanie jakości danych w Banku…”
Planowanie i nadzór procesu
kontroli jakości danych
Definiowanie architektury
danych
Biuro Zarządzania Jakością
Danych
Analiza zgłoszeń
Opiekunowie
grupy
Data Stewart
grupy
danych
(
…..)
Datadanych
Stewart grupy
Architekt danych
(…)
danych
(…)
Definicja wymagań
biznesowych, reguł
kontrolnych miar jakości
oraz analiza problemów
Opracowanie koncepcji
poprawy jakości danych
Konsultowanie rozwiązań
systemowych poprawy danych
oraz wdrażanie ich w SIB
Aplikacje, systemy
źródłowe
Właściciel
techniczny
aplikacji
systemy
Architekt IT
Właściciel
biznesowy
aplikacji
systemy
Realizacja inicjatyw
poprawy jakości danych
Zgłaszanie błędów, wsparcie BJD
w wypracowaniu koncepcji
poprawy jakości danych
Właściciele Grup
Analitycy
Jakości
Danych
Analitycy Jakości
Analitycy Jakości
Analitycy Jakości
Analitycy Jakości
JO wspierające
Model Systemu Zarządzania Danymi
Czynności i odpowiedzialność w ramach SZD (przykład)
Czynność
Odpowiedzialny
Nadzorujący
Wsparcie
Definicja procesów SZD
Dyrektor ds. Jakości Danych
-
Data Steward, Użytkownicy
Biznesowi
Monitorowanie bieżące
Analityk Jakości
Architekt Informacji
Data Steward
Czyszczenie danych
Analityk Jakości
Architekt Informacji
Deweloper
Analiza i identyfikacja przyczyn błędów –
monitorowanie bieżące
Analityk Jakości, Data Steward, Data Steward
Właściciele systemów (IT i
Biznes)
Analiza i identyfikacja przyczyn błędów –
systemy źródłowe
Właściciele systemu Biznes/IT
Data Steward
Użytkownicy Biznesowi,
Właściciele systemów (IT i
Biznes)
Opracowanie definicji danych
Właściciel biznesowy, Data
Steward
Dyrektor ds. Jakości Danych
Użytkownicy biznesowi
Opracowanie Kryteriów Jakości
Data Steward
Dyrektor ds. Jakości Danych
Właściciel biznesowy, Architekt
Informacji
Wdrażanie rozwiązań technicznych
Deweloper
Architekt Informacji
Data Steward
Definiowanie procesów i procedur Jakości
Danych
Data Steward
Dyrektor ds. Jakości Danych
Architekt Informacji
Opracowanie raportów cyklicznych
Data Steward
Dyrektor ds. Jakości Danych
Architekt Informacji
Zgłaszanie potrzeby zmian w systemach
źródłowych
Data Steward
Dyrektor ds. Jakości Danych
Architekt Informacji
Data Steward
Analitycy, Architekci,
Właściciele, Użytkownicy
Biznesowi
Komitet SZD
Definicja zasad bezpieczeństwa i dostępu
Ocena jakości procesów SZD
Użytkownicy Biznesowi,
Deweloperzy, Właściciele
systemu, Właściciel Biznesowy
Użytkownicy Biznesowi,
Właściciel systemu
Dyrektor ds. Jakości Danych,
Data Stewardzi
Model Systemu Zarządzania Danymi
Przykładowe role i ich obowiązki
Właściciel grupy danych:
1. nadzór nad grupą danych (w tym dostarczanych do podmiotów zewnętrznych), której jest
właścicielem, w tym w szczególności kryteriami jakości tej grupy danych i ich spełnieniem,
2. konsultowanie opracowywanych przez BJD definicji grup danych w zakresie tych danych,
których są właścicielem,
3. określanie istotności danych, których są właścicielem,
4. definiowanie kryteriów jakości danych, których są właścicielem,
5. definiowanie oraz uzgadnianie reguł postępowania w przypadku przekroczenia
dopuszczalnych poziomów jakości grup danych, których są właścicielem,
6. konsultowanie reguł jakości danych opracowywanych przez BJD,
7. inicjowanie przedsięwzięć i występowanie zgodnie z odrębnymi przepisami Banku
o przyznanie budżetu na inicjatywy związane z jakością danych, których są właścicielem,
8. w zakresie danych pochodzących ze źródeł zewnętrznych takich jak międzybankowe
systemy wymiany informacji BIK, AMRON, ZORO: wymaganie od dostawców danych
przedstawiania potwierdzenia odpowiedniej jakości danych (popartego wynikami
niezależnego audytu zewnętrznego).
Model Systemu Zarządzania Danymi
Przykładowe role i ich obowiązki
Analityk jakości danych:
1. przekazywanie informacji o jakości danych wykorzystywanych lub przetwarzanych przez
jednostkę organizacyjną Banku i komórkę organizacyjną Centrali do Opiekuna Danych
odpowiedzialnego za daną grupę danych, z zastosowaniem ustalonych dla danej grupy
danych i/lub aplikacji reguł jakości danych w zakresie, formacie i terminie uzgodnionym z
Biurem Zarządzania Jakością Danych,
2. identyfikowanie i przekazywanie informacji o kategoriach zidentyfikowanych błędów
dotyczących jakości danych do Opiekuna Danych odpowiedzialnego za daną grupę
danych,
3. wsparcie w analizie i identyfikacji przyczyn błędów w danych w ramach działań
koordynowanych przez Opiekuna Danych odpowiedzialnego za daną grupę danych,
4. konsultowanie reguł jakości danych definiowanych przez Opiekuna Danych
odpowiedzialnego za daną grupę danych.
Model Systemu Zarządzania Danymi
Przykładowe role i ich obowiązki
Opiekun grupy danych:
1.
2.
3.
4.
5.
6.
7.
8.
koordynowanie określenia przez Właścicieli Grup Danych kryteriów jakości danych
(biznesowych, technicznych), w zakresie przypisanych Opiekunowi Danych grup danych,
opracowywanie reguł jakości danych (walidacji, czyszczenia, rekoncyliacji) wspierających
kryteria jakości danych, w zakresie przypisanych Opiekunowi Danych grup danych,
koordynowanie określenia przez Właścicieli Grup Danych reguł postępowania w przypadku
przekroczenia dopuszczalnych poziomów jakości danych, w zakresie przypisanych Opiekunowi
Danych grup danych,
koordynowanie pozyskiwania informacji od Analityków Jakości Danych dotyczących jakości
danych będących w kompetencji danej jednostki organizacyjnej Banku i komórki organizacyjnej
Centrali, w zakresie przypisanych Opiekunowi Danych grup danych,
analiza i identyfikowanie przyczyn błędów w danych, w zakresie przypisanych Opiekunowi
Danych grup danych,
definiowanie i przekazywanie zadań związanych z analizą i identyfikowaniem przyczyn błędów
w danych, jak również z zapewnieniem jakości danych do: Analityków Jakości Danych,
Opiekunów Merytorycznych dla zasobów SIB oraz Opiekunów Technicznych dla zasobów SIB,
tworzenie planów działań i raportów okresowych dotyczących rozwiązania problemów z jakością
danych w zakresie przypisanych Opiekunowi Danych grup danych. Plany działań mogą
obejmować w szczególności: czyszczenie danych, opracowywanie i wdrażanie rozwiązań
technicznych służących zapewnieniu jakości danych, opracowywanie i wdrażanie rozwiązań
organizacyjnych służących zapewnieniu jakość danych,
koordynowanie realizacji zaakceptowanych planów działań dotyczących rozwiązania problemów
z jakością danych w zakresie przypisanych Opiekunowi Danych grup danych.
Model Systemu Zarządzania Danymi
Przykładowe role i ich obowiązki
Architekt informacji:
1. opracowywanie definicji grup danych,
2. rekomendowanie Komitetowi Jakości Danych przypisania właścicielstwa grup danych do
jednostek i komórek organizacyjnych Banku,
3. koordynowanie określenia istotności danych przez Właścicieli Grup Danych,
4. inwentaryzacja i opisywanie architektury danych (z uwzględnieniem źródła / miejsca
powstawania danych, sposobu ich wprowadzania do SIB, przepływów danych,
wykorzystania danych i sposobów ich użycia),
5. opracowywanie rozwiązań w zakresie jakości i kompletności danych,
6. analiza wpływu zmian architektury Banku na architekturę danych, w tym w szczególności
zmian zgłaszanych przez Kierowników Biznesowych Projektów,
7. definiowanie standardów rozwiązań zapewniających jakość danych oraz konsultowanie ich
z komórką organizacyjną odpowiedzialną za rozwój architektury IT Banku w Pionie Rozwoju
i Utrzymania Aplikacji,
8. współpraca z Kierownikami Biznesowymi Projektów i Kierownikami Technicznymi
Projektów w celu zapewnienia zgodności wdrażanych rozwiązań ze zdefiniowanymi
standardami rozwiązań jakości danych.
Strategia działania w
procesie Zarządzania
Jakością Danych
Cele i korzyści poprawy jakości danych
Optymalizuje
koszty
Optymalizuje
działania
operacyjne
Poprawia
jakości obsługi
klienta
Redukuje ryzyko
funkcjonowania
organizacji
Kluczowe aspekty dla poprawnego wdrożenia procesu
podnoszenia jakości danych
Zarządzanie jakością danych to proces ciągły, a nie jednorazowe
zadanie
Zarządzanie jakością danych to nie jest tylko ich czyszczenie
Współpraca IT-biznes jest kluczem do sukcesu
Właściwe określenie właścicielstwa danych – wraz ze wsparciem
inicjatywy ponad właścicielami domenowymi
Działania podwyższające jakość danych muszą mieć uzasadnienie
ekonomiczne
Priorytety działania
zadania wynikające z obowiązku prawnego
(legislacja wewnętrzna oraz zewnętrzna –
przepisy, rekomendacje regulatora)
oczekiwane efekty (korzyści finansowe) w założonym
horyzoncie czasowym powinny przewyższać
szacowane nakłady*
* szacowanie wartości uzgadniane z właścicielem grupy danych i weryfikowane przez właścicieli grup danych
(zgłaszających błędy) lub dysponentów kosztów
Priorytety działania - Co w pierwszej kolejności?
Wielkość „bąbla” określa istotność
problemu wskazana przez
zgłaszających problemy z jakością
danych
korzyści
nakłady
Zadania
zakończone
Zadania w trakcie
realizacji
Przygotowanie
do realizacji
Zadania oczekujące
na realizację
Pytania?
Dziękuję za uwagę
Dariusz Gałęzowski
[email protected]
tel. 22 521 66 60
Mariusz Sienkiewicz
[email protected]
tel. 22 580 20 34