DATA MINING

w ekonomii, finansach i towaroznawstwie



spotykane określenia: zgłębianie danych,
eksploracyjna analiza danych,
„przekopywanie” danych, „męczenie” danych
proces wykrywania zależności w zbiorach
danych poprzez połączenie metod statystyki i
sztucznej inteligencji (AI) z zarządzaniem
bazami danych
przejście od (obszernych) danych surowych
do wiedzy (Knowledge Discovery in Databases
- KDD)
2






statystyczna analiza wielowymiarowa
uczenie maszynowe (Machine Learning) /
sztuczna inteligencja (AI) / metody obliczeń
miękkich (Soft Computing)
analiza szeregów czasowych
logika matematyczna
metody numeryczne
systemy baz danych (relacyjne bazy danych)
3


eksploracyjny data mining (eksploracyjna
analiza danych, „drążenie danych”)
predykcyjny data mining (konstrukcja modeli
opisujących prawidłowości odkryte w
poprzednim etapie postępowania)
4











sztuczne sieci neuronowe (ANN)
metody sztucznej inteligencji (m. in. algorytmy
genetyczne)
drzewa decyzyjne (metoda RP)
metody logiki rozmytej
metody statystycznej analizy wielowymiarowej
(metoda składowych głównych, analiza kanoniczna,
analiza dyskryminacyjna)
analiza skupień (klasteryzacja)
skalowanie wielowymiarowe / wizualizacja danych
analiza asocjacji i sekwencji
relacyjny data mining
text mining oraz web mining
modele zespołowe / modele hybrydowe
5







podejście modelowe w rozwiązywaniu zagadnienia
podejście konfirmacyjne (statystyka) / podejście
indukcyjne (DM)
zastosowanie metod parametrycznych (statystyka) /
zastoosowanie metod nieparametrycznych (DM)
zastosowanie miar statystycznych dla pomiaru jakości
dopasowania i jakości prognostycznej modelu
weryfikacja dobroci dopasowania modelu w oparciu o
dane, które posłużyły do estymacji modelu (statystyka) /
weryfikacja modelu w oparciu o niezależną próbę testową
(DM)
podejście ilościowe do analizy danych
pośrednia (statystyka) / bezpośrednia (DM) możliwość
optymalizacji modelu w oparciu o kryterium merytoryczne
np. finansowe
6




systemy scoringu kredytowego, fraudowego
(modele zmiennej jakościowej, ANN, SVM, logika
rozmyta)
modele wczesnego ostrzegania np. przed
bankructwem (modele zmiennej jakościowej,
ANN)
Systemy transakcyjne (systemy spekulacyjne
oparte o modele AI, pair trading/ arbitraż
statystyczny, wykrywanie formacji analizy
technicznej, text mining)
grupowanie spółek akcyjnych podobnych na
gruncie analizy fundamentalnej (analiza skupień)
7





wielowymiarowa analiza rozwoju gospodarczego
krajów, regionów i innych jednostek
terytorialnych (analiza skupień, mierniki
syntetyczne, skalowanie wielowymiarowe)
aCRM (segmentacja rynku, marketing
bezpośredni)
wycena nieruchomości, ocena stanu
technicznego nieruchomości
mikroekonometria (modelowanie decyzji
jednostkowych)
modele wczesnego ostrzegania przed kryzysem
walutowym
8




SPC / QC Data Mining (badanie stabilności
statystycznej procesu, wczesne ostrzeganie
przed rozregulowaniem procesu
wieloetapowego)
chemometria (czerpie z metod statystyki
wielowymiarowej)
statystyczne zapewnianie jakości analiz
laboratoryjnych (walidacja parametrów,
kalibracja, analityczne karty kontrolne)
przetwarzanie sygnałów w analizie
instrumentalnej (analiza widmowa)
9




biostatystyka
meteorologia i monitoring stanu powietrza
(np. modele opadu-przepływu,
prognozowanie szczytowego
zanieczyszczenia)
dynamiczne badanie poparcia politycznego
(testowanie występowania procesu o długiej
pamięci ARFIMA)
oraz wiele, wiele innych
10













R – język i środowisko programowania
STATISTICA
gretl
EViews
STATA
SAS
SPSS
MATLAB
Weka
JMulTi
GAUSS
Mplus
inne
11




PMML (Predictive Model Markup Language)
SQL
MQL5 (MetaQuotes Language)/MetaTrader –
dla Algotradingu
LATEX (LeD) – sporządzanie publikacji
12
 DZIĘKUJĘ
ZA UWAGĘ!
13