Ewaluacja jako narzędzie zarządzania i podejmowania decyzji

2010
Ewaluacja jako narzędzie
zarządzania i podejmowania
decyzji
Agnieszka Haber
[email protected]
17-18 V 2010 r. Połczyn Zdrój
Zarządzanie to działalność
polegająca na ustalaniu celów
i powodowaniu ich realizacji …
Badania rynkowe stanowią jedno z najważniejszych
narzędzi konkurencyjnych dostępnych dla
przedsiębiorstw, którego zastosowanie może przyczynić
się do zwiększenia efektywności, budowania strategii
firmy, lepszego wykorzystania nakładów, znajomości
rynku i klientów etc..
Jednym z kluczowych
dostępnych dla administracji
narzędzi zarządzania
jest ewaluacja.
Ewaluacja w zarządzaniu publicznym, podobnie
jak badania rynkowe polega na rozpoznaniu
mechanizmów rynkowych; jego struktury, stanu i
rozwoju jego elementów w celu stworzenia
założeń do podejmowania trafnych i
efektywnych decyzji.
EWALUACJA
Ewaluacja to.....
 Proces zmierzający do stwierdzenia w jakim stopniu założone
cele są rzeczywiście realizowane (R.W. Tyler; Basic Principles
of Curriculum and Instruction)
 Proces określenia charakteru, uzyskiwaniu
i
dostarczaniu takich informacji, które pozwoliłyby na ocenę
alternatywnych decyzji (D.L. Stufflebeam; Educational
Evaluation: Theory and Practice)
 Wnikliwe badanie charakterystyki i zalet ewaluowanego
programu (…) dostarczenie informacji na temat efektywności
badanego obiektu, tak by zoptymalizować jego wyniki, jakość
i sprawność działania. (A. Fink "Evaluation for Education and
Psychology")
 Systematyczne badanie wartości, zalet ewaluo-wanego
programu (Joint Committee on Standards for Educational
Evaluation)
Ewaluacja – definicja UE /
KE
Rozporządzenie Rady Unii Europejskiej nr 1260 z dnia 21 czerwca
1999 r. wprowadzającym ogólne przepisy dotyczące
funduszy strukturalnych:
 ewaluacja prowadzona jest w celu ustalenia
efektywności pomocy strukturalnej Wspólnoty oraz w
celu oszacowania jej oddziaływania w odniesieniu do
celów, a także analizy wpływu na specyficzne problemy
strukturalne
 narzędzie planowania i zarządzania pomocą
strukturalną oraz element systemu wspomagający
efektywne wykorzystanie funduszy
Definicja ewaluacji wg. Komisji Europejskiej:
 Ocena interwencji według jej rezultatów, oddziaływania
oraz potrzeb, które ma/miała spełnić. KE 2000, KE 2004
Ewaluacja a logika interwencji publicznych
efektywność?
skuteczność?
sukces?
potrzeby
jakoś?
oddziaływanie
cele
rezultaty
nakłady
działania
wyniki
Zastosowania
 wspomaganie procesu podejmowania decyzji / planowanie,
poprawa wdrażania i kontrola jakości /
 podniesienie skuteczności i efektywności działań
identyfikacja słabych i mocnych stron
 wskazanie kierunków rozwoju
 sygnalizowanie pojawiających się problemów
 oszacowanie możliwości i ograniczeń
 określanie stopnia zgodności z przyjętymi założeniami
 badanie potrzeb
 zwiększanie profesjonalizmu świadczonych usług
 demokratyzacja procesu zarządzania
 element uczenia się i samodoskonalenia
Co?
Dlaczego?
Jak?
Kiedy?
W wyniku czego?
Kto?
Co się wydarzyło?
itp.
poznawczy
instrumentalny
kontrolny
Potrzeba
informacyjna
Cel
ewaluacji
Funkcje
ewaluacji
formatywna
konkluzywna
społeczno-polityczna
administracyjna
źródło: opracowanie własne
Funkcje ewaluacji
 Formatywna – zapewnienie
postępu – funkcja stymulowania
usprawnień i rozwoju
organizacyjnego
 Konkluzywna – selekcja lub
sprawozdawczość – funkcja
rozliczenia i egzekwowania
odpowiedzialności
 Społeczno-polityczna –
kształtowanie motywacji i
uzyskanie poparcia społecznego
 Administracyjna –
sprawowanie władzy
http://www.ssc.govt.nz
w jakim celu?
w jakim celu?
• kontrolny
• instrumentalny
• poznawczy
Oś funkcji ewaluacji
Koncentracja na myśleniu
strategicznym – ocena
efektów
Koncentracja na myśleniu
operacyjnym -wdrażanie
Partnerstwo
i współwłasność
Wdrażanie i
Planowanie
bieżąca jakość
Poznanie
Rozliczanie i
wzmacnianie
odpowiedzialności
źródło: Ferry M., Olejniczak K., (2008)„Wykorzystanie ewaluacji w zarządzaniu programami unijnymi w Polsce”, s. 24, Warszawa, Sprawne
Państwo Program Ernst & Young.
Ewaluacja to…
…wiele możliwości w jednym narzędziu
Zarządzanie
Ewaluacja
Decyzje
Jak osiągnąć założone cele?
Jak osiągnąć założone cele?
 w jakich warunkach działasz?
 zobacz czego ci brakuje?
 co robisz by osiągnąć zamierzone cele?
 jak działasz?
 „mając pełen obraz dostrzeżesz wszystkie szczegóły”
 „szukaj odpowiedzi”
 W jakim stopniu podjęta interwencja przyczyniła się do obserwowanych efektów?
„tylko łącząc przyczynę ze skutkiem możesz realnie działać”
„nie zawsze jest tak jak na to wygląda”
 „pamiętaj by metodologia i narzędzia pomiaru nie wypaczyły wyniku”
 jakie są twoje wyniki?
 czy uda ci się osiągnąć sukces?
 jakie są ryzyka dla twojego projektu?
 „sięgnij po wiedzę która ma realny wpływ na twój biznes”
 „szukaj najlepszych rozwiązań”
 „posiadając bieżącą informację podejmuj właściwe działania”
Ewaluacja uniwersalne narzędzie,
ale….
…kiedy po nie sięgnąć
Kontrola-monitoring-ewaluacja
WDRAŻANIE PROGRAMU (PROJEKTU)
KONTROLA
KONTROLA
KONTROLA
MONITOROWANIE PROGRAMU (PROJEKTU)
ewaluacja
ewaluacja
CZAS
ewaluacja
.
Ewaluacja ex-ante
rozporządzenie 1260/1999art..41
ustawa o NPR– art.- 57-59
dok. roboczy KE nr. 2
 Przeprowadzana przed wdrażaniem programu.
 Ocenia na ile planowana interwencja jest trafna z
punktu widzenia potrzeb (sektora, beneficjentów)
oraz spójna w zakresie planowanych celów i
sposobów ich realizacji.
 Bada kontekst społeczny, gospodarczy, prawny.
 Służy identyfikacji potencjalnych trudności.
 Diagnozuje potrzeby i oczekiwania docelowej
grupy odbiorców.
Ewaluacja on-going
rozporządzenie 1260/1999 art. 40
ustawa o NPR– art.- 57
 Przeprowadzana w trakcie realizacji
programu.
 Służy identyfikacji aktualnych trudności
realizacji przedsięwzięcia bądź ich
kontekstu.
 Stanowi cenne źródło informacji
użytecznych przy rozwiązywaniu aktualnych,
bądź potencjalnych problemów.
 Może przyczynić się do szybkiej reakcji na
pojawiające się problemy i bieżących
modyfikacji realizacji interwencji.
 Daje możliwość bieżącej analizy
pojawiających się efektów programu.
"Jeśli wydaje ci się, że wszystko idzie dobrze, to znaczy,
że nie masz pojęcia, co się naprawdę dzieje."
prawo murphy`ego
Ewaluacja mid-term
rozporządzenie 1260/1999 art. 42
ustawa o NPR– art. 60
dok. Roboczy KE: nr 8 i 9
 Realizowana jest w połowie wdrażania
interwencji.
 Poddaje analizie osiągnięte na tym etapie
produkty i rezultaty.
 Dokonuje pierwszej oceny jakości
realizacji programu.
 Ocenia poczynione na etapie
programowania założenia (cele,
wskaźniki).
 Diagnozuje kontekst realizacji
przedsięwzięcia.
 Może przyczynić się do pewnych
modyfikacji realizacji interwencji oraz
aktualizacji przyjętych założeń.
Ewaluacja ex-post
rozporządzenie 1260/1999 art. 43
ustawa o NPR– art. 61
 Przeprowadzana po zakończeniu realizacji
programu.
 Bada długotrwałe efekty (oddziaływanie)
programu oraz ich trwałość.
 Ocenia skuteczność i efektywność
interwencji oraz jej trafność i użyteczność.
 Ocenia na ile udało się osiągnąć założone
cele.
 Stanowi cenne źródło informacji
użytecznych przy planowaniu kolejnych
interwencji.
Zarządzanie interwencją
http://www.ssc.govt.nz
Zarządzanie strategiczne
Gdzie jesteśmy?
Gdzie chcemy pójść?
Jak tam dotrzeć?
Zarządzanie strategiczne
DIAGNOZA
Opracowanie możliwych
rozwiązań
wyznaczenie decyzji
dopuszczalnych/wystarczających/optymalnych
podjęcie ostatecznej decyzji
Wyznaczenie celów strategicznych i operacyjnych
ewaluacja
Proces decyzyjny
identyfikacja sytuacji wyjściowej
Kim jesteś?
Jakich informacji poszukujesz?
Do czego potrzebne są ci te informacje?
Jakiego produktu potrzebujesz?
Czy będziesz wstanie wykorzystać
wnioski i rekomendacje?
Czy wynik końcowy ewaluacji pozwoli
ci podjąć decyzje biznesowe?
Uwarunkowania….
 potencjał instytucjonalny w zakresie zarządzania procesem
ewaluacji oraz zarządzania wiedzą
strategię realizacji procesu
/ wykorzystania / promocji;
 komunikację wewnątrz instytucji / z otoczeniem zewnętrznym
instytucji
 kulturę organizacyjną instytucji zamawiającej ewaluację oraz jej
otoczenia instytucjonalnego;
 stabilność instytucjonalną (od jak dawna instytucja zajmuje się
interwencjami podobnymi do ewaluowanego przypadku);
 pozycję w systemie polityki i w ewaluowanym programie w tym
zdolność do alokowania czy przekazywania środków oraz
możliwość dokonywania zmian;
 charakterystykę badanej interwencji ze względu na kwestie polityk
do których się odnosi oraz znaczenia interwencji dla danej
dziedziny, wielkość (środki) i skali (ze względu na okres realizacji i
skalę geograficzną), przeprowadzenia badań;
 moment dostarczenia wyników;
 sytuację polityczną;
 grupy interesów;
Uwarunkowania….
• odbiorcy wyników
• partnerzy instytucjonalni zaangażowani w proces ewaluacji
• decydenci
• zaplecze techniczne / instytucjonalne / zasoby
• wykonawca
• eksperci
• jakość i użyteczność produktu końcowego – raportu z ewaluacji
korzyści….
+ wspomaganie
procesów
decyzyjnych
I
zarządzania
strategicznego
zarządzania
projektem / interwencją
II
+ poprawa jakości działania w wymiarze:
• skuteczności
• efektywności
• poprawy jakości usług publicznych
• przejrzystości
III
+ wzmocnienie potencjału organizacyjnego
+ profesjonalizacja świadczonych usług
+ zmiana kultury organizacyjnej
więcej o ewaluacji….
http://www.parp.gov.pl/index/index/1423
więcej o ewaluacji….
VI Konferencja Ewaluacyjna
Warszawa listopad 2010 r.
Dziękuję za uwagę