33. Omów różnice pomiędzy systemami przetwarzania transakcji

33. Omów różnice pomiędzy systemami przetwarzania transakcji OLTP a hurtowniami
danych.
System OLTP
Systemy hurtowni danych
Przechowują bieżące dane
Pamiętają szczegółowe dane
●
Dane mają dynamiczną naturę
Przetwarzania powtarzają się
●
●
Wysoka wydajność przetwarzania
transakcji
●
●
Przewidywalny schemat użycia
Sterowane transakcjami
Zorientowane aplikacyjnie
Wspierają codzienne decyzje
Służą dużej liczbie użytkowników
biurowych i operacyjnych
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
Przechowują dane archiwalne
Pamiętają szczegółowe, lekko i silnie
skumulowane dane
Dane mają przeważnie naturę statyczną
Przetwarzania są wykonywane ad hoc,
niestrukturalnie i heurystycznie
Wydajność przetwarzania transakcji
mieści się w zakresie od średniej do
niskiej
Nieprzewidywalny schemat użycia
Sterowanie analizami
Zorientowane podmiotowo
Wspierają strategiczne decyzje
Służą względnie małej licznie
użytkowników zarządzających
Może się przyda:
Definicja hurtowni danych (Inmon 1993):
„Zorientowana podmiotowo”
Oznacza, że dane w hurtowni przechowywane są w odniesieniu do
głównych podmiotów przedsiębiorstwa (klienci, produkty, sprzedaż).
„Hurtownia ma być zintegrowana”
Gromadzone dane w hurtowni pochodzą często z różnych źródeł.
Zintegrowanie oznacza ustalenie wspólnego formatu danych.
„Zróżnicowane czasowo”
Dane w hurtowni danych są dokładne tylko w stosunku do określonego
punktu czasu lub przedziału czasowego. Zróżnicowanie czasowe
danych jest widoczne przy dłuższym składowaniu danych.
„Trwałe”
Dane nie są aktualizowane w czasie rzeczywistym, ale odnawiane na
podstawie systemów eksploatacyjnych w regularnych odstępach czasu.
Nowe dane są dokładane do bazy. Przeważnie nie zmienia się danych
będących już w bazie.
Przetwarzanie operacyjne OLTP
●
●
●
●
●
Przetwarzanie transakcji w trybie on-line
Wspomaganie bieżącej obsługi działalności firmy, dla dobrze zdefiniowanych procesów
Oparty na transakcjach, które operują na niewielkiej części danych
Dostarcza rozwiązań dla problemów: efektywne i bezpieczne przechowywanie danych,
optymalizacja dostępu do danych, zarządzanie współbieżnością
Podstawowym kryterium oceny efektywności systemu OLTP jest ilość transakcji na
sekundę
34. Przedstaw graficzną reprezentację typowej architektury hurtowni danych i jej główne
składniki.
Dane operacyjne
● Dane operacyjne przechowywane w bazach danych hierarchicznych i sieciowych pierwszej
generacji. Większość korporacyjnych danych operacyjnych znajduje się w takich bazach.
● Dane przechowywane w systemach plików, oraz relacyjnych SZBD.
● Dane prywatne znajdujące się na stacjach roboczych i prywatnych serwerach.
● Zewnętrzne systemy danych, bazy danych powiązane z dostawcami lub klientami.
Operacyjny magazyn danych
Operacyjny magazyn danych jest miejscem przechowywania bieżących i zintegrowanych danych
operacyjnych używanych do analizy. Mają one strukturę i przejmują dane w analogiczny sposób do
hurtowni danych. Są elementem pośrednim dla danych, które mają być przeniesione do hurtowni.
Zarządca wprowadzania danych
Wykonuje wszystkie operacje związane z pobieraniem danych i wprowadzaniem do hurtowni. Dane
mogą być pobierane bezpośrednio ze źródeł lub z operacyjnego magazynu danych. Rozmiar i
złożoność transformacji zależą od hurtowni danych.
Zarządca hurtowni
● Analiza danych w celu zapewnienia spójności.
● Transformacje i scalanie danych źródłowych z pamięci tymczasowej w tabele hurtowni
danych.
● Tworzenie indeksów i perspektyw dla podstawowych tabel.
● Generacja denormalizacji.
● Generacja agregacji.
● Tworzenie kopii zapasowych i archiwizacja danych.
Zarządca zapytań
Wykonuje wszystkie operacje związane z zarządzaniem zapytaniami użytkowników. Konstruowany
przy użyciu narzędzi producenta realizujących dostęp do danych, narzędzi monitorowania hurtowni
danych, programów wspomagających bazy danych.
Szczegółowe dane
Moduł odpowiada za zapis szczegółowych danych w schemacie bazy danych hurtowni. Zwykle
szczegółowe dane nie są przechowywane bezpośrednio, lecz udostępniane poprzez agregacje
danych na następnym poziomie szczegółowości. Dane te są uzupełniane nowymi danymi
szczegółowymi w regularnych odstępach czasu.
Lekko i mocno skumulowane dane
Ten fragment hurtowni zapisuje wszystkie predefiniowane, lekko i mocno skumulowane
(zagregowane) dane, które są generowane przez zarządcę hurtowni. Ten fragment hurtowni ma
nietrwały charakter, gdyż jest przedmiotem ciągłych modyfikacji wynikających ze zmieniających
się profilów zapytań. Celem kumulacji danych jest przyspieszenie wykonania zapytań. Mimo że
wstępna kumulacja danych wymaga zwiększonych kosztów operacyjnych, rekompensowane jest to
przez brak konieczności ciągłego wykonywania operacji kumulujących (takich jak sortowanie lub
grupowanie) w trakcie generowania odpowiedzi na zapytania użytkowników. Skumulowane dane
są w ciągły sposób aktualizowane, gdy tylko nowe dane zostaną wprowadzane do hurtowni.
Metadane
Ten fragment hurtowni przechowuje wszystkie definicje metadanych (danych o danych) używanych
przez wszystkie procesy w hurtowni. Metadane są wykorzystywane do różnorodnych celów w
wielu miejscach, w szczególności w:
● procesach pobierania i wprowadzania danych - metadane są używane do odwzorowania
źródeł danych na wspólny model danych przyjęty w hurtowni;
● procesie zarządzania hurtownią - metadane są wykorzystywane do automatyzacji czynności
tworzenia tabel skumulowanych;
● części procesu zarządzania zapytaniami - metadane są używane przy kierowaniu zapytania
do najbardziej odpowiedniego źródła danych.
Dane archiwalne i kopie zapasowe
Ten fragment hurtowni zapisuje szczegółowe i skumulowane dane do archiwum i kopii
zapasowych. Mimo że dane skumulowane są generowane na podstawie danych szczegółowych, to
czasami konieczne jest także tworzenie kopii zapasowej z bieżących danych skumulowanych,
zwłaszcza jeśli mają być przechowywane dłużej niż okres przetrzymywania odpowiadających im
informacji szczegółowych.