Wykorzystanie i monitorowanie scoringu

Analiza danych • Data mining • Sterowanie jakością • Analityka przez Internet
Wykorzystanie i monitorowanie
scoringu
Tomasz Sudakowski
Biuro Informacji Kredytowej S.A.
StatSoft Polska Sp. z o.o. • ul. Kraszewskiego 36 • 30-110 Kraków • www.StatSoft.pl
Wykorzystanie i monitorowanie scoringu
‰ obszary
wykorzystania scoringu w Banku
‰ miejsce scoringu w procesie decyzyjnym
‰ sposoby ustalania punktu cut-off
‰ miary efektywności modelu a oczekiwania
Banku
‰ monitorowanie modelu scoringowego
© Copyright StatSoft Polska, 2007
2
obszary wykorzystania scoringu w Banku
ocena scoringowa
prawdopodobieństwo
wystąpienia modelowanego
zjawiska
110 - 120
Klienci Banku
120 - 130
130 - 140
niskie
140 - 150
150 - 160
160 - 170
średnie
170 - 180
180 - 190
190 - 200
wysokie
200 - 210
© Copyright StatSoft Polska, 2007
3
obszary wykorzystania scoringu w Banku
można zatem mówić o scoringu:
‰ marketingowym
‰ aplikacyjnym
‰ behawioralnym
‰ kontynuacji kredytowej
‰ odejścia klienta
‰ przedwindykacyjnym
‰ oceny ryzyka kredytowego
‰ aplikacyjnym
‰ behawioralnym
‰ biura kredytowego
‰ antyfraudowym
‰ ………
© Copyright StatSoft Polska, 2007
4
miejsce scoringu w procesie decyzyjnym
Klienci Banku
proces
decyzyjny
reguły
scenariusz 1
scenariusz 2
scenariusz 3
………………..
scenariusz n
© Copyright StatSoft Polska, 2007
5
miejsce scoringu w procesie decyzyjnym
scoring BIK
scoring behawioralny
oceny ryzyka
scoring marketingowy
scoring aplikacyjny
oceny ryzyka
informacja z MIG-BR
scoring antyfraudowy
raport kredytowy BIK
w tym informacja z MIG-BZ i BIG
scoring
przedwindykacyjny
ocena zdolności
kredytowej
informacja z
wewnętrznych baz
scoring kontynuacji
kredytowej
© Copyright StatSoft Polska, 2007
scoring odejścia
6
miejsce scoringu w procesie decyzyjnym
przykład procesu oceny wniosków kredytowych
reguły
informacja z MIG-BR
scoring behawioralny
oceny ryzyka
informacja z
wewnętrznych baz
/ scoring BIK
raport kredytowy BIK
scoring aplikacyjny
oceny ryzyka
w tym informacja z MIG-BZ i BIG
scoring antyfraudowy
akceptacja
ocena zdolności
kredytowej
odrzucenie
© Copyright StatSoft Polska, 2007
7
miejsce scoringu w procesie decyzyjnym
macierze scoringowe
ocena punktowa BIKSco
ocena punktowa Banku
000 –
599
600–
629
630 –
659
660 –
689
690 –
719
720 –
734
>735
Odds
dobry/zły
000 – 400
1
2
5
10
20
30
40
2
401 – 500
2
5
10
15
50
70
100
10
501 – 550
4
7
15
30
100
120
200
25
551 – 600
6
10
20
50
120
150
350
50
601 – 650
10
20
50
100
175
250
500
100
651 – 700
25
50
100
150
250
300
600
200
>700
50
100
150
250
300
400
750
300
Odds
2
5
10
30
100
250
500
dobry/zły
© Copyright StatSoft Polska, 2007
8
miejsce scoringu w procesie decyzyjnym
łączenie modeli
wiek
staż pracy
status
zamieszkania
ocena
punktowa
BIKSco
18 - 20
21 – 30
31 – 40
41 - 50
>50
brak
informacji
10
15
20
25
20
15
<1
1–3
4 – 10
>10
brak
informacji
10
15
20
15
10
własne
wynajęte
z rodzicami
służbowe
brak
informacji
30
15
20
15
20
=< 250
251 – 350
351 – 450
>450
KKU
brak
informacji
0
5
10
20
10
5
© Copyright StatSoft Polska, 2007
9
miejsce scoringu w procesie decyzyjnym
akcja marketingowa
reguły
Klienci Banku
informacja z
wewnętrznych baz oraz
MIG-BR, MIG-BZ, BIG
raport monitorujący
BIK
reguły / macierze
scorinngowe
scoring odejścia
scoring kontynuacji
kredytowej
czyszczenie danych
scoring ryzyka
scoring marketingowy
200-250
250-300
300-350
350-400
scoring behawioralny
oceny ryzyka
100-120
120-140
/ scoring BIK
140-160
160-180
scoring marketingowy
180-200
© Copyright StatSoft Polska, 2007
10
sposoby ustalania punktu cut-off
scoring oceny ryzyka
punkt odcięcia (cut-off) jest to minimalna liczba
punktów, która jest wymagana do akceptacji
wniosku (klienta)
punkt cut-off powinien być ustalony tak, aby:
⇒ zminimalizować udział „złych” kredytów w portfelu
⇒ zapewnić pożądany poziom akceptowalności wniosków
⇒ maksymalizować zyski
© Copyright StatSoft Polska, 2007
11
sposoby ustalania punktu cut-off
zbyt wysoki punkt
odcięcia
zbyt niski punkt
odcięcia
wysoka akceptowalność wniosków
niski udział złych kredytów
duży udział złych kredytów
niska akceptowalność
wniosków
niższe zyski (ewentualnie strata)
z uwagi na dużą liczbę
udzielonych złych kredytów
brak istotnych zmian w stosunku
do sytuacji, kiedy nie jest
stosowany scoring
niższe zyski z uwagi na dużą
liczbę odrzuceń potencjalnie
dobrych kredytów
© Copyright StatSoft Polska, 2007
12
sposoby ustalania punktu cut-off
% rozkład klientów wg punktacji i statusu
25
Cut-off
dobry
zły
% klientów
20
15
10
5
0
100-110
110-120
120-130
130-140
140-150
150-160
160-170
170-180
180-190
190-200
punkty
© Copyright StatSoft Polska, 2007
13
sposoby ustalania punktu cut-off
rozkład klientów wg punktacji i statusu
200
180
Cut-off
dobry
zły
liczba klientów
160
140
120
100
80
60
40
20
0
100-110
110-120
120-130
130-140
140-150
150-160
160-170
170-180
180-190
190-200
punkty
© Copyright StatSoft Polska, 2007
14
sposoby ustalania punktu cut-off
% akceptowanych klientów wg punktu cut-off
100%
Cut-off
90%
dobry
zły
80%
% klientów
70%
60%
50%
40%
30%
20%
10%
0%
100-110
110-120
120-130
130-140
140-150
150-160
160-170
170-180
180-190
190-200
punkt cut-off
© Copyright StatSoft Polska, 2007
15
sposoby ustalania punktu cut-off
zysk w zależności od punktu cut-off
300
Cut-off
200
zysk
100
0
100-110
110-120
120-130
130-140
140-150
150-160
160-170
170-180
180-190
190-200
-100
-200
-300
punkt cut-off
© Copyright StatSoft Polska, 2007
16
sposoby ustalania punktu cut-off
10%
100%
9%
90%
8%
80%
7%
70%
6%
60%
5%
50%
4%
40%
3%
30%
2%
20%
1%
10%
0%
0%
100-110
110-120
cut-off
125
poziom akceptacji 87%
udział złych
7,1%
120-130 130-140
140-150 150-160
punkt cut-off
160-170
udział złych
5,0%
cut-off
140
poziom akceptacji 69%
© Copyright StatSoft Polska, 2007
170-180 180-190
poziom akceptacji
udział złych klientów
poziom akceptacji oraz udzial złych wśród
zaakceptowanych klientów w zależności od punktu cut-off
190-200
poziom akceptacji 60%
cut-off
146
udział złych
4,5%
17
100%
skumulowany % klientów
skumulowany % klientów
miary efektywności modelu a oczekiwania Banku
model 1
80%
KS=70%
60%
40%
dobry
zły
20%
0%
100
120
140
160
180
200
100%
model 2
80%
60%
20%
0%
100
punkty
skumulowany % klientów
KS=73%
dobry
zły
40%
120
140
160
180
200
punkty
100%
model 3
80%
60%
KS=68%
40%
20%
0%
100
który model jest
najlepszy?
dobry
zły
120
140
160
180
200
punkty
© Copyright StatSoft Polska, 2007
18
100%
skumulowany % klientów
skumulowany % klientów
miary efektywności modelu a oczekiwania Banku
model 1
80%
KS=70%
60%
dobry
zły
poziom akc.
40%
20%
0%
100
120
140
160
180
200
100%
model 2
80%
60%
dobry
zły
poziom akc
40%
20%
0%
100
punkty
skumulowany % klientów
KS=73%
120
140
160
180
200
punkty
100%
model 3
80%
60%
dobry
zły
poziom akc
KS=68%
40%
20%
0%
100
120
140
160
180
który model jest
najlepszy?
200
punkty
© Copyright StatSoft Polska, 2007
19
miary efektywności modelu a oczekiwania Banku
100%
model 1
skumulowany % złych
skumulowany % złych
100%
80%
60%
40%
GINI 74%
20%
0%
model 2
80%
60%
40%
GINI 74%
20%
0%
0%
20%
40%
60%
80%
100%
0%
skumulowany % wszystkich
20%
40%
60%
80%
100%
skumulowany % wszystkich
skumulowany % złych
100%
model 3
80%
60%
który model jest
najlepszy?
40%
GINI 74%
20%
0%
0%
20%
40%
60%
80%
100%
skumulowany % wszystkich
© Copyright StatSoft Polska, 2007
20
miary efektywności modelu a oczekiwania Banku
Cut-off
skumulowany % złych
100%
80%
60%
model 1
40%
model 2
20%
model 3
0%
0%
20%
40%
60%
80%
100%
skum ulow any % w szystkich
© Copyright StatSoft Polska, 2007
21
monitorowanie modelu scoringowego
elementy, które mogą wpływać na nieprawidłowe działanie
modelu scoringowego lub nieoczekiwane wyniki jego działania to
m.in.:
‰ istotne zmiany w populacji wnioskodawców
‰ zmiana warunków oferowanego produktu
‰ wpływ konkurencji
‰ zmiana przepisów zewnętrznych
‰ zmiana stylu życia klientów
‰ zmiana możliwości kredytowania się klientów
‰ duży udział przełamań decyzji
‰ dezaktualizacja modelu – naturalna utrata zdolności
prognostycznych modelu
‰ działania przestępcze inspektorów kredytowych
‰ odtajnienie tablicy scoringowej
© Copyright StatSoft Polska, 2007
22
monitorowanie modelu scoringowego
stabilność populacji
punkty
% wniosków z
populacji bazowej
% wniosków z
populacji badanej
WSP - współczynnik
stabilności populacji
110-120
21
17
0,008
120-140
22
21
0,000
140-160
43
44
0,000
160-180
9
15
0,031
180-200
5
3
0,010
RAZEM
100
100
0,050
WSP = ∑ {[ln (%badanej / %bazowej )]⋅ (%badanej − %bazowej )}
znaczenie współczynnika WSP:
0 - 0.1 - stabilność bez zmian
0.1 - 0.25 - stabilność lekko zachwiana
>0.25 - istotnie zachwiana stabilność populacji
© Copyright StatSoft Polska, 2007
23
monitorowanie modelu scoringowego
stabilność cechy
wiek
% wniosków z
populacji bazowej
% wniosków z
populacji badanej
WSC – współczynnik
stabilności cechy
punkty
21 i mniej
10
15
15
0,750
22 - 29
15
22
25
1,750
30 - 39
40
38
35
-0,700
40 - 49
20
15
50
-2,500
50 i więcej
15
10
35
-1,750
RAZEM
100
100
X
-2,450
WSC = ∑ [(%badanej − %bazowej ) ⋅ punktacja ]
wyliczona wartość -2,45 oznacza, że wnioskodawcy z populacji
badanej otrzymali średnio za cechę „wiek” o 2,5 pkt. mniej niż ci z
populacji bazowej
© Copyright StatSoft Polska, 2007
24
monitorowanie modelu scoringowego
stabilność cechy
status
zatrudnienia
% wniosków z
populacji bazowej
% wniosków z
populacji badanej
WSC – współczynnik
stabilności cechy
punkty
na czas
określony
10
20
20
2
na czas
nieokreślony
70
90
40
4
emerytura/renta
20
0
30
-6
RAZEM
100
100
X
0
współczynnik stabilności cechy nie zawsze odzwierciedla zmiany w
rozkładzie jej wariantów, wskazuje jedynie jak ew. zmiany wpływają
na stabilność punktacji uzyskiwanej w całej populacji wnioskodawców
© Copyright StatSoft Polska, 2007
25
monitorowanie modelu scoringowego
raport końcowych (rzeczywistych) decyzji
punkty
liczba
wniosków
akceptacja
odrzucenie
%
akceptacji
100-109
60
4,0%
13
47
21,7%
21,7%
0,0%
110-119
83
5,5%
24
59
28,9%
28,9%
4,2%
120*-129
112
7,5%
99
13
88,4%
11,6%
5,0%
130-139
210
14,0%
198
12
94,3%
5,7%
3,2%
140-149
453
30,2%
432
21
95,4%
4,6%
2,9%
150-169
230
15,3%
225
5
97,8%
2,2%
2,4%
170-179
198
13,2%
194
4
98,0%
2,0%
2,0%
180 i więcej
156
10,4%
154
2
98,7%
1,3%
1,7%
RAZEM
1 502
100,0%
1 339
163
89,1%
10,9%
2,9%
< cut-off
143
9,5%
37
106
25,9%
25,9%
2,7%
>= cut-off
1 359
90,5%
1 302
57
95,8%
4,2%
2,9%
%
%
przełamań
udział
złych
* punkt cut-off = 120
© Copyright StatSoft Polska, 2007
26
monitorowanie modelu scoringowego
siła modelu
bezwzględne stosowanie punktu odcięcia
Cut-off
100%
skumulowany % złych
skumulowany % złych
100%
80%
60%
40%
20%
model 3
0%
80%
60%
40%
20%
model 3
0%
0%
20%
40%
60%
80%
100%
0%
20%
skumulowany % wszystkich
40%
60%
80%
100%
skumulowany % wszystkich
GINI = 74%
GINI = 23%
KS = 68%
KS = 24%
© Copyright StatSoft Polska, 2007
27
monitorowanie modelu scoringowego
jak zatem badać utrzymanie zdolności prognostycznych modelu?
monitorowanie założonych efektów:
‰ poziom akceptacji wniosków
‰ docelowy udział złych
‰ rentowność akcji kredytowej
‰ odpowiednie przygotowanie danych, wykluczenia analogiczne do
etapu budowy modelu np.:
‰ usunięcie kredytów wyłudzonych
‰ wyeliminowanie błędnych danych
‰ uwzględnienie powodu niespłacania kredytów
‰ pozyskanie danych o wnioskach odrzuconych
‰ śledzenie i rejestrowanie zmian mogących mieć wpływ na działanie
modelu, w tym zachwianie struktury punktowej w populacji klientów
‰
© Copyright StatSoft Polska, 2007
28
monitorowanie portfela kredytów
data udz.
kredytu
maj-06
sie-06
2,5
cze-06
2,1
udział kredytów złych na koniec miesiąca
wrz-06
paź-06
lis-06
gru-06
sty-07
2,6
3,0
3,6
4,1
5,6
2,2
2,3
2,5
3,8
4,5
5,9
1,8
2,0
2,1
2,3
2,5
2,9
1,5
1,8
2,0
2,3
2,6
1,4
1,8
2,1
2,2
1,5
1,8
2,3
1,3
1,5
lip-06
-
sie-06
-
-
wrz-06
-
-
-
paź-06
-
-
-
-
lis-06
-
-
-
-
-
gru-06
-
-
-
-
-
sty-07
2,5
lut-07
6,8
2,6
3,0
3,6
4,1
1,3
5,6
6,8
czy udzielamy coraz „lepszych” kredytów?
© Copyright StatSoft Polska, 2007
29
monitorowanie portfela kredytów
data udz.
kredytu
maj-06
sie-06
2,5
cze-06
2,1
udział kredytów złych na koniec miesiąca
wrz-06
paź-06
lis-06
gru-06
sty-07
2,6
3,0
3,6
4,1
5,6
2,2
2,3
2,5
3,8
4,5
5,9
1,8
2,0
2,1
2,3
2,5
2,9
1,5
1,8
2,0
2,3
2,6
1,4
1,8
2,1
2,2
1,5
1,8
2,3
1,3
1,5
lip-06
-
sie-06
-
-
wrz-06
-
-
-
paź-06
-
-
-
-
lis-06
-
-
-
-
-
gru-06
-
-
-
-
-
sty-07
2,5
lut-07
6,8
2,6
3,0
3,6
4,1
1,3
5,6
6,8
czy kredyty z lipca są „lepsze” od kredytów udzielonych w sierpniu?
© Copyright StatSoft Polska, 2007
30
monitorowanie portfela kredytów
data udz.
kredytu
maj-06
sie-06
2,5
cze-06
2,1
udział kredytów złych na koniec miesiąca
wrz-06
paź-06
lis-06
gru-06
sty-07
2,6
3,0
3,6
4,1
5,6
2,2
2,3
2,5
3,8
4,5
5,9
1,8
2,0
2,1
2,3
2,5
2,9
1,5
1,8
2,0
2,3
2,6
1,4
1,8
2,1
2,2
1,5
1,8
2,3
1,3
1,5
lip-06
-
sie-06
-
-
wrz-06
-
-
-
paź-06
-
-
-
-
lis-06
-
-
-
-
-
gru-06
-
-
-
-
-
sty-07
2,5
lut-07
6,8
2,6
3,0
3,6
4,1
1,3
5,6
6,8
czy kredyty z maja są „lepsze” od kredytów udzielonych w sierpniu?
© Copyright StatSoft Polska, 2007
31
rejestr zdarzeń mogących mieć wpływ na działanie modelu
data
zdarzenie
2006/02 zmiana punktu cut-off ze 130 na 125 punktów
2006/04 promocja kredytów mieszkaniowych w konkurencyjnym
banku
2006/04 zmiana reguł przeglądania wniosków (ręczna ocena
wszystkich wnioskodawców z dochodem > 5 000)
2006/09 rozpoczęcie wykorzystywania oceny BIKSco
2006/05 akcja marketingowa – list z promocyjną ofertą do klientów,
którzy spłacili kredyt w ostatnich miesiącach
2006/07 zmiana oprocentowania kredytów z 10% na 8,5%
2006/08 wprowadzenie nowej metodologii oceny zdolności
kredytowej
2006/10 zmiana przepisów zewnętrznych dot. ulgi budowlanej
2006/11 szkolenia inspektorów kredytowych dotyczące wyłudzeń
kredytów
© Copyright StatSoft Polska, 2007
32
dziękuję za uwagę
© Copyright StatSoft Polska, 2007
33