Budowa i zasada działania systemów ekspertowych w zarysie

Ile ludzkiej inteligencji jest w sztucznej
inteligencji ?
Techniki inteligentne w
zastosowaniach praktycznych
Agnieszka Nowak
Instytut Informatyki, Uniwersytet Śląski
Czy sztuczna inteligencja to robotyka
?
Mózgiem każdego urządzenia, które
ma wykazywać się inteligencją jest
odpowiednio zaprogramowany
komputer.
Dział nauki zajmujący się
inteligencją przedmiotów
nieożywionych to sztuczna
inteligencja.
Wizja przyszłości:
inteligentne, autonomiczne
roboty, zdolne do samodzielnego
rozwiązywania złożonych
problemów.
Inteligencja i ekspert dziedzinowy
Inteligencja - (psych.) zespół zdolności umysłowych
umożliwiających jednostce sprawne korzystanie z
nabytej wiedzy oraz skuteczne zachowanie się
wobec nowych zadań i sytuacji
EKSPERT:
Człowiek posiadający specjalistyczną wiedzę z pewnej dziedzinie
(wiedzę dziedzinową) i umiejętność stosowania jej dla
podejmowania decyzji związanych z tą dziedziną (umiejętność
wnioskowania w oparciu o posiadaną wiedzę), nabyte w
wyniku studiów i praktyki.
Sztuczna Inteligencja - AI
Sztuczna Inteligencja - (skrót AI od angielskiego określenia
Artificial Intelligence) - jest to pojęcie stosowane w informatyce i
oznacza rozwiązywanie problemów sposobami wzorowanymi
na naturalnych działaniach i procesach poznawczych człowieka
za pomocą symulujących je programów komputerowych.
System ekspertowy – definicja…
• System ekspercki (funkcjonuje też nazwa
system ekspertowy) jest to program, lub
zestaw programów komputerowych
wspomagający korzystanie z wiedzy i
ułatwiający podejmowanie decyzji.
Systemy ekspertowe mogą wspomagać
bądź zastępować ludzkich ekspertów w
danej dziedzinie, mogą dostarczać rad,
zaleceń i diagnoz dotyczących problemów
tej dziedziny.
Inteligencja ludzka a sztuczna inteligencja ?
Zastosowania systemów ekspertowych:
•
•
•
•
•
diagnozowanie chorób
poszukiwanie złóż minerałów
identyfikacja struktur molekularnych
udzielanie porad prawniczych
diagnoza problemu (np. nieprawidłowego działania
urządzenia)
Systemy ekspertowe…
Systemy ekspertowe:
•są narzędziem kodyfikacji wiedzy eksperckiej,
•mają zdolność rozwiązywania problemów specjalistycznych, w których
duża rolę odgrywa doświadczenie a wiedza ekspercka jest dobrem
rzadkim i kosztownym,
•zwiększają dostępność ekspertyzy,
•zapewniają możliwość prowadzenia jednolitej polityki przez centralę
firm mających wiele oddziałów,
•poziom ekspertyzy jest stabilny - jej jakość nie zależy od warunków
zewnętrznych i czasu pracy systemu,
•jawna reprezentacja wiedzy w postaci zrozumiałej dla użytkownika
końcowego,
•zdolność do objaśniania znalezionych przez system rozwiązań,
•możliwość przyrostowej budowy i pielęgnacji bazy wiedzy.
Wnioskowanie
Dwie podstawowe strategie wnioskowania:
Wnioskowanie w przód, zwane też wnioskowaniem progresywnym. Polega ono na
uaktywnianiu reguł spełnionych, a więc takich, których przesłanki są w zbiorze
faktów. Uaktywnienie reguły powoduje dopisanie nowego faktu, co może
spowodować, że spełniona i potem uaktywniona może zostać kolejna reguła.
Wnioskowanie w przód nie może odbyć się bez faktów. Mówi się, że jest ono
sterowane faktami ( ang. data driven).
Wnioskowanie wstecz, zwane też regresywnym. Polega ono na potwierdzeniu
prawdziwości postawionej hipotezy, zwanej celem wnioskowania. Hipoteza jest
potwierdzona wtedy, gdy istnieje reguła, której przesłanki są w bazie faktów a
konkluzja zgodna jest z hipotezą. Ustalenie prawdziwości przesłanek może
powodować konieczność uaktywnienia wielu reguł.
Wnioskowanie wstecz nie może odbyć się bez ustalonej hipotezy, stanowiącej cel
wnioskowania. Mówi się, że jest ono sterowane celem ( ang. goal driven).
Architektura SE
Wyznaczniki dobrego systemu ekspertowego:
• Udzielanie jak najbardziej precyzyjnych i wiarygodnych
odpowiedzi
• Prostota obsługi dla każdego użytkownika
• Rozwiązywanie problemów w określonym czasie
• Umiejętność imitowania wiedzy i wieloletniego
doświadczenia eksperta
• Uniwersalność
• Rozbudowana i dobrej jakości baza danych
Reprezentacja wiedzy…
Reguły proste
Reguły złożone
Definicje AI
Automatyzacja czynności, które wiążemy z myśleniem, takich jak: podejmowanie decyzji,
rozwiązywanie problemów, zapamiętywanie... .
R. Bellman, An Introduction to Artificial Intelligence, Boyd & Frase, 1978
Badania nad zdolnościami umysłowymi poprzez stosowanie metod obliczeniowych.
E. Charniak, D. McDermott, Introduction to Artificial Intelligence, Addison-Wesley Publishing, 1985
Sztuka tworzenia maszyn, które wykonują funkcje wymagające inteligencji od ludzi.
R. Kurzweil, The Age of Intelligence Machines, The MIT Press, 1992
Dziedzina badan zajmująca się maszynami, które są zdolne wykonywać rzeczy, jakie wykonują
ludzie używając inteligencji.
M. Minsky, Society of Mind, Simon & Schuster, 1985
Dziedzina informatyki zajmująca się automatyzacją inteligentnych zachowań.
G.F. Luger, Artificial Intelligence, Structures and Strategies for Complex Problem Solving, AddisonWesley, 2002
Dwa uzupełniające znaczenia terminu Sztuczna Inteligencja: … dyscyplina inżynierii dotyczy
tworzenia inteligentnych maszyn, … empiryczna nauka, zajmująca się obliczeniowym
modelowaniem ludzkiej inteligencji.
M. I. Jordan, S. Russell, Computational Intelligence, The MIT Encylopedia of Cognitive Sciences, The MIT Press, 1999
Definicje… Definicje… dlaczego ich aż tyle ?
Sztuczna inteligencja stała się interdyscyplinarną dziedziną
naukową, zajmującą się:
 badaniem zachowań inteligentnych istot żywych,
 eksploracją dokonań różnych dyscyplin naukowych
w zakresie procesów myślenia i uczenia się,
 poszukiwaniem nowych technik i metod modelowania zachowań
inteligentnych,
 syntezą algorytmów zdolnych do rozwiązywania problemów
trudnych i uciążliwych,
 budową systemów komputerowych zdolnych do inteligentnego
sterowania maszynami i urządzeniami.
Badamy „model” ? Czy „rzeczywistość” ??
• Rzeczywistość jest zbyt bogata i różnorodna.
• „Kawałek” rzeczywistości, który nas interesuje, trzeba wyciąć z
kontekstu i opisać jakimś formalnym językiem. Ponieważ jest to
działanie bardzo podstawowe, może być stosowane w wielu
dziedzinach badań, od socjologii po biologię molekularną i fizykę
wysokich energii.
• Od modelu przechodzi się często do symulacji...
Rozwiązywanie problemów decyzyjnych odbywa się w trójkącie:
problem
model
metoda
…że niby komputer zamiast lekarza ?
Medyczny System Ekspertowy będzie jedynie wspomagał, ale nie zastąpi pracy lekarza. W
szpitalu w Ottawie, w izbie przyjęć nie dyżuruje specjalista chirurg, lecz stażyści, interniści,
a nawet wykwalifikowane pielęgniarki. Chirurg jest pod telefonem. Tymczasem trzeba
ocenić, czy konkretnemu małemu pacjentowi chirurg jest potrzebny. To nie jest takie proste.
Trafność decyzji, czy przywołać chirurga, czy skierować na obserwację, czy też odesłać do
domu, jest rzędu sześćdziesięciu procent. Czyli często się zdarza, że do domu odsyła się
kogoś bardzo chorego, a chirurga wzywa się do banalnego zatrucia pokarmowego.
Dzięki sztucznej inteligencji, maszyna może wyindukować z danych reguły decyzyjne,
jednak, na przykład w przypadku medycyny, dopiero po zrozumieniu i akceptacji tych reguł
przez lekarza reguły te mogą pretendować do miana wiedzy i prowadzić do interesującego,
potwierdzającego intuicję odkrycia.
Niewątpliwie maszyny w coraz większym stopniu będą wyręczały człowieka
w wykonywaniu pewnych intelektualnych czynności, bo są sprawniejsze
obliczeniowo, bardziej pojemne pamięciowo, nie męczą się, nie mają złych
dni itd. W związku z tym potrafią wykonywać prace, które przerastają
człowieka swoim ogromem i uciążliwością.
Fakty… liczby…
Rozmiar baz danych współczesnych systemów informatycznych osiąga
wielkości rzędu terabajtów.
Średniej wielkości hipermarket rejestruje dziennie sprzedaż przynajmniej
kilkunastu tysięcy produktów.
Puchną bazy danych systemów e-commerce, dostępnych na bieżąco, 24
godziny na dobę – wzrasta liczba ich klientów oraz liczba zawieranych
transakcji.
Fakty… liczby… (cd.)
Jednocześnie….
•Konkurencja pomiędzy firmami zaostrza się.
•Coraz trudniej znaleźć nowe obszary ekspansji, nisze rynkowe.
•Coraz trudniej utrzymać dotychczasowych klientów.
•Bazy danych zawierają ogromne ilości użytecznych informacji,
pozwalających firmom utrzymać lub wzmocnić ich pozycje rynkową.
Faktów nigdy za wiele…
Korporacyjne bazy danych kopalnią użytecznych informacji:
Użyteczne informacje są wyrażone niejawnie, są ukryte w danych, należy je
odkryć, wydobyć.
Proces ten nazywa się potocznie eksploracją danych (ang. Data Mining).
Świadomość istnienia ukrytego potencjału informacyjnego baz danych jest
znana od lat.
Jednak dopiero w ciągu ostatnich kilkunastu lat intensywnie prowadzi się
badania nad odkrywaniem metod eksploracji danych oraz wykorzystuje się te
metody w praktyce.
Co więc można się wywiedzieć z danych ?
Jaką wiedzę odkrywamy dzięki DM …
1.odkrywanie asocjacji (associations)
znajdowanie reguł typu:piwo -> orzeszki
2.wzorce sekwencji (sequential patterns)
znajdowanie sekwencji dot. np. zakupów klienta: (TV, video, kamera)
3. klasyfikacja (classifications)
klasyfikacja danych do grup ze względu na atrybut decyzyjny, np.:
klasyfikacja klientów przez bank do grup: dać kredyt / nie dać kredytu
4. analiza skupień (clustering)
grupowanie danych na wcześniej nieznane klasy, znajdowanie wspólnych cech, np.:
wyodrębnienie różnych rodzajów klientów – różnych taryf – przez sieć telefonii
komórkowej
5. podobieństwo szeregów czasowych (time-series similarities)
badanie podobieństwa przebiegów czasowych, np. wykresów giełdowych
6. wykrywanie odchyleń (deviation detection)
znajdowanie anomalii, wyjątków, np.: rozpoznawanie kradzieży karty kredytowej
(nietypowe operacje na koncie)
Mniej poważna definicja DM …
“Eksploracja
danych polega na
torturowaniu danych
tak długo, aż zaczną
zeznawać”
Data mining – eksploracja danych – jest dziedziną informatyki zajmującą się
odkrywaniem wiedzy zapisanej niejawnie w dużych zbiorach danych oraz
przedstawieniem jej w zrozumiały dla użytkownika sposób.
Pod pojęciem wiedzy rozumieć będziemy relacje, powiązania, związki i
wzorce odkrywane przez algorytmy eksploracji danych w sposób
autonomiczny.
Eksploracja danych (DM – Data Mining) określana jest również pojęciem
odkrywania wiedzy w bazach danych (KDD – Knowledge Discovery in
Databases)
Cała prawda o OLAP…
Problemy na styku OLAP a wspomaganie decyzji:
Systemy OLAP działają zwykle obliczając zagregowane wielkości na podstawie
danych pochodzących z magazynu danych.
Systemu OLAP pozwalają na analizowanie tego co się wydarzyło na podstawie
danych o przeszłości.
Działanie OLAP jest sterowane hipotezą sformułowaną przez użytkownika (ang.
query-driven eksploration), system OLAP jest pasywny.
Używając systemów OLAP można wchodzić w głąb, dochodząc do danych
bardziej szczegółowych, ale użytkownik nadal pozostaje odpowiedzialny za
identyfikowanie interesujących trendów czy powiązań.
Koncepcje postrzegania danych jako „wielowymiarowych kostek” powoduje
problemy w percepcji przeprowadzanych analiz.
Do skutecznego podejmowania decyzji potrzebna jest wiedza o prawidłowościach
rządzących daną dziedziną. Decydenci oczekują, iż systemy informatyczne
prawidłowości te odkryją, potwierdzając to, co już wiemy lub dostarczą nam nowej
wiedzy.
Różne metody – cel ten sam !!!
Jeżeli jest ładna pogoda to mam dobry humor.
pogoda=ladna → humor=tak
Jeżeli jest ładna pogoda i mam czas wolny to pójdę na spacer.
pogoda=ladna  czas_wolny=tak → zajecie=spacer
Baza danych – przykład
Tablica decyzyjna ?
Po wyodrębnieniu atrybutów warunkowych i decyzyjnych taka tabela staje się tablicą
decyzyjną. Z tablicy można próbować bezpośrednio odczytywać reguły:
Zachmurzenie=slonce 
temperatura = goraco 
wilgotnosc = wysoka 
wiatr=slaby
→
grac=nie
14 rekordów produkuje 14 reguł... . A jeżeli rekordów będzie kilkadziesiąt tysięcy?
Kto potrzebuje wiedzy w postaci kilkudziesięciu tysięcy reguł ?????
Klasyfikator wybawcą ?
Co nam daje DataMining ?
Stosując zdroworozsądkową analizę zbioru danych udało się odkryć zależności
pomiędzy polami warunkującymi a polem decyzyjnym.
Czy to już jest Data Mining ? Prawie tak, ale niech to robi komputer !
dane
Eksploracja
danych
wiedza
warunki
decyzje
grac=nie if zachmurzenie=słońce;wilgotność=wysoka
grac=tak if zachmurzenie=pochmurno
grac=tak if
zachmurzenie=słońce;wilgotność=normalna
grac=nie if zachmurzenie=deszcz;wiatr=silny
grac=tak if zachmurzenie=deszcz;wiatr=slaby
Analiza danych w bazach danych
1. wielkie bazy danych (Very Large Databases) i magazyny danych
(Data Warehouses)
2. rozmiary współczesnych systemów baz danych
• sieć sprzedaży Wal-Mart gromadzi dziennie dane dotyczące
ponad 20 milionów transakcji
• koncern Mobil Oil rozwija magazyn danych pozwalający na
przechowywanie ponad 100 terabajtów danych o wydobyciu ropy
naftowej
• system satelitarnej obserwacji EOS zbudowany przez NASA
generuje w każdej godzinie dziesiątki gigabajtów danych
• niewielkie supermarkety rejestrują codziennie sprzedaż tysięcy
artykułów
3. wielkie wolumeny danych są trudne w analizowaniu
4. informacje o dotychczasowej działalności przedsiębiorstwa, poziomie
i strukturze sprzedaży oraz cechach klientów mogą posłużyć do
wspomagania podejmowania decyzji
Data Mining - sukcesy
• Database Marketing w American Express
Database Marketing polega na analizie danych o klientach w celu
znajdowania schematów ich preferencji i następnie
wykorzystywania tych schematów dla precyzyjnej selekcji
kolejnych klientów. „Database Marketing” w American Express
doprowadził do 10-15% wzrostu zakupów z wykorzystaniem kart
kredytowych.
• Weryfikacja poprawności danych w Reuters
Reuters stosuje techniki eksploracji danych dla weryfikacji
poprawności i wykrywania prawdopodobnych przekłamań w
wysokości publikowanych kursów wymiany walut.
• Profil słuchacza w BBC
BBC przy pomocy systemu eksploracji danych przewiduje profil
widowni programów telewizyjnych w celu wyboru optymalnych pór
ich nadawania.
• Skład zespołu w Orlando Magic
trener Orlando Magic wykorzystuje data-mining do ustalania
składu zespołu rozgrywającego mecze - rezultat likwidacja
trendu spadkowego (2 wygrane mecze)
Data Mining – sukcesy cd.
 Firma American Express podała, że wykorzystanie technik
eksploracji na bazie danych klientów pozwoliło zwiększyć o 10 –
15 % użycie jej kart kredytowych.
 Bardzo duża firma handlowa dzięki ekstrakcji potrafiła określić 5cio procentowy segment tych klientów, którzy charakteryzują się
tym, że regularnie udzielają odpowiedzi na różne zapytania firmy.
Klienci ci dostarczali 60 % wszystkich odpowiedzi. Dzięki ustaleniu
tego faktu firma zwiększyła 12- krotnie stopę odpowiedzi i
zmniejszyła koszty opłat pocztowych o 95 %.
Data Mining - Zależności w bazach danych
wiek
lat prawo
kolor
poj.
kierowcy
jazdy
pojazdu
silnika
moc
razem
szkody
------------- ------------- -------------- ------------- ------ ------42
24
biały
1610
100
0
19
1
czerwony
650
24
2500
28
4
czerwony
1100
40
0
41
20
czarny
1800
130
0
21
3
czerwony
650
24
1300
20
1
niebieski
650
24
0
•
•
•
•
kierowcy, którzy jeżdżą czerwonymi samochodami o pojemności 650 ccm,
powodują wypadki drogowe
kierowcy w wieku powyżej 40 lat jeżdżą samochodami o pojemności
większej niż 1600 ccm
kierowcy, którzy posiadają prawo jazdy dłużej niż 3 lata, nie powodują
wypadków
kierowcy w wieku poniżej 30 lat jeżdżą samochodami koloru czerwonego
Drzewa decyzyjne - przykład
Drzewa decyzyjne dla przykładu
przykład
nie
nie
nie
nie
nie
Rozkład obiektów do klas decyzyjnych
zachmurzenie
temperatura
wilgotność
słonecznie
1,2,8,9,11
3N+2T
5/14
pochmurno
3,7,12,13
4T+0N
4/14
deszczowo
4,5,6,10,14
3T+2N
5/14
gorąco
1,2,3,13
2N+2T
4/14
łagodnie
4,8,10,11,12,14
4T+2N
6/14
zimno
5,6,7,9
3T+1N
4/14
wysoka
1,2,3,4,8,12,14
3N+4T
7/14
normalna
5,6,7,9,10,11,13
6T+1N
7/14
słaby
1,3,4,5,8,9,10,13
2N+6T
8/14
silny
2,6,7,11,12,14
3T+3N
6/14
wiatr
Entropia (rozkład):
Information Gain – przykład
W przykładzie golf jako pierwszy do podziału został wybrany atrybut
„zachmurzenie”, bo jego wskaźnik „gain” był największy
S – zawiera 14 elementów
2 klasy – TAK (9 elementów) i NIE (5 elementów)
E(S) = -9/14 log 9/14 – 5/14 log 5/14 = = 0.94
E(S/zachmurzenie) = 5/14(-3/5log23/5 – 2/5log22/5) + 4/14(-1log21 – 0log 20) + 5/14(-3/5log23/5 –
2/5log22/5) = 0.2
E(S/temperatura) = 4/14(-2/4log22/4 – 2/4log22/4) + 4/14(-3/4log23/4 – 1/4 log21/4) + 6/14(2/6log22/6 – 4/6log24/6) = 0.48
E(S/wilgotnosc) = 7/14(-4/7log24/7 – 3/7log23/7) + 7/14(-6/7log26/7 – 1/7 log21/7) = 0.43
E(S/wiatr) = 8/14(-6/8log26/8 – 2/8log22/8) + 6/14(-3/6log23/6 – 3/6log2 3/6) = 0.71
Gain Information(zachmurzenie) = 0.94 – 0.2 = 0.74
Gain Information(temperatura) = 0.94 – 0.48 = 0.46
Gain Information(wilgotnosc) = 0.94 – 0.43 = 0.51
Gain Information(wiatr) = 0.94 – 0.71 = 0.23
Największy zysk informacji dostarcza atrybut „zachmurzenie” i to on będzie
korzeniem drzewa…
R1: grac=nie if zachm=słońce and temp=gorąco and wilg=wysoka and wiatr=słaby
R2: grac=nie if zachm=słońce and temp=gorąco and wilg=wysoka and wiatr=silny
…
R14: grac=nie if zachm=deszcz and temp=średnio and wilg=wysoka and wiatr=silny
grac=nie
grac=tak
grac=tak
grac=nie
grac=tak
if
if
if
if
if
zachmurzenie=słońce;wilgotność=wysoka
zachmurzenie=pochmurno
zachmurzenie=słońce;wilgotność=normalna
zachmurzenie=deszcz;wiatr=silny
zachmurzenie=deszcz;wiatr=slaby
Jak zadziała SE z taką bazą wiedzy ?
?
Inne metody analizy danych DM
Metody eksploracji danych
• odkrywanie asocjacji
• odkrywanie wzorców sekwencji
• klasyfikacja
• analiza skupień - grupowanie
• szeregi czasowe
• wykrywanie zmian i odchyleń
Grupowanie jest to podział zbioru obiektów na podzbiory taki by podobieństwo
obiektów należących do jednego podzbioru było największe a obiektów należących
do różnych podzbiorów najmniejsze.
Grupowanie – analiza skupień
Na czym polega grupowanie ?
Obiekt jest przydzielony do skupienia, którego środek ciężkości leży
najbliżej w sensie odległości euklidesowej.
Analiza skupień – cluster analysis
Uczenie nienadzorowane
• dany jest zbiór uczący, w którym obiekty nie są poklasyfikowane
• celem jest wykrycie nieznanych klasyfikacji, podobieństw między
obiektami
jak znajdować podobieństwo ?
•Miary odległości,
•Miary podobieństwa.
X4 : 0 0 0 0 1 0 0 3
X22: 0 0 0 0 1 1 0 3
d ( x4 , x22 )  (0  0) 2  (0  0) 2  (0  0) 2  (0  0) 2  (1  1) 2  (0  1) 2  (0  0) 2  (3  3) 2  1  1
p( x4 , x22 ) 

0  0  0  0  0  0  0  0  1 1  0 1  0  0  3  3
(0  0  0  0  1  0  0  3 ) * (0  0  0  0  1  1  0  3 )
2
2
2
1 9
10

 0.95
10 *11 10.49
2
2
2
2
2
2
2
2
2
2
2
2
2

Analiza skupień – przykład
Problem z wyszukiwaniem informacji …
Internet to dzisiaj:
•Użytkownicy ++, dane ^ 2
•Postęp technologii
•Spadek wiarygodności
PROBLEM
użytkownik dzisiaj:
Oczekiwanie dostępności
informacji:
Łatwo, szybko i dokładnie
Coraz trudniej
jest uzyskać
wartościową
informację
Za dużo !!!
http://www.cs.put.poznan.pl/dweiss/carrot/
Analiza koszykowa… to jest to !
Up-selling i cross-selling to 2 metody maksymalizowania zysku z jednej transakcji, a tym
samym dochodów w ujęciu globalnym. Są to określenia dla działań mających jeden cel:
aby klient kupił więcej niż planował.
Analiza koszykowa - właściwy krok w kierunku cross- i up-sellingu
Maksymalizacja zysku jest możliwa dzięki:
•Zrozumieniu, które produkty (usługi) są kupowane razem?,
•Zrozumieniu, które produkty są kupowane w następnej kolejności ?.
Wykorzystanie narzędzi Data Mining pozwala nie tylko znaleźć odpowiedź na
pytanie jakie produkty zwykle występują wspólnie w koszyku, ale także znaleźć takie
produkty, których obecność w koszyku warunkuje obecność innych produktów i
określić jak wysoki jest poziom prawdopodobieństwa tego typu zdarzeń.
Analiza koszykowa…
Menedżerowie i analitycy mogą używać "analiz koszykowych", aby planować
między innymi:
kampanie promocyjne - obniżone ceny przy zakupie na kolejne ze
współkupowanych produktów, kupony promocyjne rozdawane przy zakupie
określonych produktów itp.
położenie produktów - ustawiać produkty współkupowane w sąsiedztwie jeśli
współkupowanie jest silne lub umieszczanie produktów z dala od siebie, aby
wymusić większy ruch obok półek z innymi produktami w przypadku produktów, dla
których zakup jednego zasadniczo determinuje zakup drugiego itp.
sprzedaż w czasie - jaką ilość danego produktu zamówić, jeśli ostatnio
szczególnie dobrze sprzedają się produkty, które z nim są zwykle kupowane w
sekwencjach o określonym interwale czasowym.
Analiza koszykowa… w hipermarkecie
Analiza koszykowa… w sklepie internetowym
Binarne reguły asocjacyjne - podstawowe definicje wsparcie
• Reguła X→Y posiada wsparcie s w bazie danych D, jeżeli s %
transakcji w D wspiera zbiór X ∩ Y
tidj
Tj
1
A,B,C,D
Wsparcie (A →B) = 25%
2
A,D
Wsparcie (A →C) = 50%
3
A,C
4
B,D,F
Binarne reguły asocjacyjne - podstawowe definicje ufność
• Reguła X → Y posiada ufność c w bazie danych jeżeli c % transakcji
w D, które wspierają zbiór X, wspierają również Y
• ufność (X →Y) = wsparcie (X ∩Y)/wsparcie (X)
tidj
Tj
1
A,B,C,D
2
A,D
3
A,C
4
B,D,F
Ufność (A →B) = 33%
Ufność (A →C) = 66%
Zachodzącą regułę:
A → C : wsparcie 50% , ufność 66%
możemy zinterpretować następująco: 66 % osób, które kupiły
towar A kupiły również towar C a sytuacja ta zachodzi w 50 %
wszystkich transakcji.
Jak to się dzieje ? Że dzieje się tak…?
Reguła:
Dania mrożone <= warzywa konserwowe & piwo (16533: 16.7% 0.874)
mówi nam, że:
16533 klientów włożyło jednocześnie do koszyka warzywa konserwowe - piwo
stanowi to 16,7 % spośród wszystkich klientów poddanych analizie
Jednocześnie 87,4 % kupujących warzywa konserwowe i piwo kupiło także dania
mrożone
czyli z wysoką ufnością możemy stwierdzić, iż jeśli ktoś kupuje warzywa konserwowe i
piwo to kupi też jakieś danie mrożone
Warto tym klientom przyjrzeć się bliżej
Jeśli podzielimy klientów na dwie grupy, tych którzy kupili i tych którzy nie kupili wiązki
produktów dania mrożone - warzywa konserwowe - piwo
Taka cecha posłuży do poszukiwania charakterystyk osób, które kupują produkty w
danej konfiguracji
Stosując algorytm drzewa decyzyjnego uzyskamy reguły…i opis grupy…
Wyniki analizy…
•Byli to mężczyźni o dochodach gospodarstwa poniżej 1690,-PLN.
•Spośród 16335 zakupów dokonanych przez tych klientów w ok. 84% przypadków w
koszykach znalazła interesująca nas wiązka produktów tzn. dania mrożone - warzywa
konserwowe - piwo.
•Tego typu informacje mogą być bardzo istotne zarówno z punktu widzenia planowanych
akcji promocyjnych, jak i wzajemnego usytuowania produktów na półkach.
Co będzie dalej ?
Analiza mikromacierzy DNA… tysiące genów podlega grupowaniu…
Analiza logów użytkowników i budowa profili użytkowników – personalizacja stron
WWW…
Optymalizacja systemów rozpoznawania mowy dzięki grupowaniu wyrazów, zdań…
Wnioski…
• Należy pamiętać, że początek AI to lata 60-te
• Wielki bum… SE to lata 80-te i 90-te
• Nie radziłyby sobie one dzisiaj bez DM
• DM dostarcza wielu użytecznych technik nie tylko analizy
wiedzy dla potrzeb statystycznych, ale i dla wydobywania
z danych ukrytej, użytecznej wiedzy
Literatura
Carrot2:
http://www.cs.put.poznan.pl/dweiss/
Wyszukiwarki:
Kłopotek M., „Inteligentne wyszukiwarki internetowe”, EXIT, 2001
http://data-minig.home.pl/
Grupowanie:
http://www.statsoft.pl/textbook/stcluan.html
Stąpor K. ,(2005), Automatyczna klasyfikacja obiektów, EXIT, Warszawa
Everitt B.S., (1993), Cluster Analysis (3rd edition), London
http://www.thearling.com/text/dmtechniques/dmtechniques.htm
http://spss.clementine.org
Dziękuję za uwagę…