Cambodia: Challenges in Scaling Up Preschools

Warsztaty szkoleniowe z zakresu oceny oddziaływania
instrumentów aktywnej polityki rynku pracy
Studium przypadku:
W poszukiwaniu grupy porównawczej
dla ewaluacji interwencji realizowanych
w Polsce
Tomasz Gajderowicz, Gdańsk, 20 lutego 2017 r.
Pytania na początek:
• Program Rodzina 500+:
– Dlaczego akurat 500 zł (a nie np. 400+ lub 600+)?
– Jak oceniane są efekty programu?
• Program kierunków zamawianych:
– Jak wyglądał proces konstrukcji programu kierunków
zamawianych?
– Jak oceniano jego efekty?
• Dotacje na rozpoczęcie działalności gospodarczej:
– Jak tworzono kryteria dostępu?
– Dlaczego akurat takie kwoty?
Agenda
• Jak w Polsce (nie)przeprowadzane są ewaluacje wpływu
• Projektowanie wartościowej ewaluacji dla realizowanych
„sztandarowych” projektów
– Rodzina 500+
– Program kierunków zamawianych
– Dotacje na podjęcie działalności gospodarczej w ramach pomocy
de minimis
Ewaluacja w Polsce: w teorii
Ewaluacja kontrfaktyczna w Polsce:
w praktyce
Ewaluacja interwencji w Polsce
Do chwili obecnej nie udało się znaleźć projektu,
którego konstrukcja byłaby oparta o rzetelny
eksperyment z grupą kontrfaktyczną.
Przykłady „najlepszych” ewaluacji
Przykłady „najlepszych” ewaluacji
Czemu tego nie zrobiono,
skoro to takie proste?
W jaki sposób można poprawni znaleźć grupę kontrolną dla
ewaluacji programu?
• Rodzina 500+
• Program kierunków zamawianych
• Dotacje na działalność gospodarczą
?
Czemu tego nie zrobiono,
skoro to takie proste?
W jaki sposób można poprawnie znaleźć grupę kontrolną dla
ewaluacji programu?
• Rodzina 500+
• Program kierunków zamawianych
• Dotacje na działalność gospodarczą
Program 500+: fakty
• Program Rodzina 500 Plus ma na celu pomoc w
wychowaniu dzieci poprzez wsparcie finansowe.
• Dofinansowanie w wysokości 500 zł na dziecko w formie
bezzwrotnego zasiłku.
• Świadczenie można pobierać na
– pierwsze dziecko jeśli spełniamy limity dochodowe oraz
– na drugie i kolejne dziecko niezależnie od osiąganych dochodów.
• Koszt programu w 2017 roku to 23 mld 166 mln zł
Program 500+: medialna ewaluacja
• „Program 500 Plus ogranicza ubóstwo polskich dzieci”
(Polskie Radio, 18.12.2016)
– Tautologia?
• „Program „Rodzina 500 plus” działa ledwie pół roku,
a już widać jego efekty pro demograficzne. Po prostu
rodzi się więcej dzieci.” (W Polityce, 13.09.2016)
– Czy na pewno obserwowany wzrost dzietności to zasługa programu
rodzina 500+?
• „Program 500 plus. 150 tys. kobiet odeszło z pracy”
(money.pl, 7.12.2016)
– Czy na pewno dezaktywizacja była efektem 500+?
Program 500+: pytania
• Czy możliwe byłoby przeprowadzenie eksperymentu z
grupą kontrolną (RCT)?
– Czy eksperyment byłby zaakceptowany społecznie? Czy Rząd mógłby
się na to zdecydować? (świadczenie dla wylosowanych w grupie)
– Jaki efekt powinien być badany?
• Zmniejszenie ubóstwa?
oczywistość
• Wzrost dzietności?
horyzont?
• Efekty dla rynku pracy?
aktywność zawodowa?
• Efekt dla wychowania dzieci? horyzont?
Program 500+: pytania
• Czy możliwe byłoby przeprowadzenie eksperymentu z
grupą kontrolną (RCT)?
– Czy eksperyment byłby zaakceptowany społecznie? Czy Rząd mógłby
się na to zdecydować? (świadczenie dla wylosowanych w grupie)
– Jaki efekt powinien być badany?
• Zmniejszenie ubóstwa?
oczywistość
• Wzrost dzietności?
horyzont?
• Efekty dla rynku pracy?
aktywność zawodowa?
• Efekt dla wychowania dzieci? horyzont?
• Dlaczego akurat 500 zł???
– Możliwości ewaluacji zastosowania innych kwot
Program 500+: pytania
• Podsumowując trudności z doborem grupy kontrolnej do
eksperymentu:
– Nie można ustanowić transferu dla wybranych obywateli
– Długookresowość skutków programu
• Wobec trudności w przeprowadzeniu eksperymentu 
konieczność zastosowania innych metod
• Czy w trakcie funkcjonowania programu możliwe jest
znalezienie grupy kontrolnej?
– Osoby które dobrowolnie nie pobierają świadczenia?
– Mieszkańcy innych krajów?
– Może osoby „ledwo” niespełniające kryterium dochodowego?
Program 500+: pytania
• Trudności z doborem grupy kontrolnej do eksperymentu
– Nie można ustanowić transferu dla wybranych obywateli
– Długookresowość skutków programu
• Wobec trudności w przeprowadzeniu eksperymentu 
konieczność zastosowania innych metod
– Czy w trakcie funkcjonowania programu możliwe jest znalezienie
grupy kontrolnej?
• Osoby które dobrowolnie nie pobierają świadczenia?
• Mieszkańcy innych krajów?
• Może osoby „ledwo” niespełniające kryterium dochodowego?
Możliwe ale niezwykle kontrowersyjne i obarczone błędami 
o tym jutro
Czemu tego nie zrobiono,
skoro to takie proste?
W jaki sposób można poprawni znaleźć grupę kontrolną dla
ewaluacji programu?
• Rodzina 500+
• Program kierunków zamawianych
• Dotacje na działalność gospodarczą
Program kierunków zamawianych: fakty
Celem programu było zwiększenie liczby absolwentów
kierunków technicznych o kluczowym znaczeniu dla
gospodarki.
Program opierał się na:
• tworzeniu systemów stypendiów dla studentów specjalności
zamawianych,
• prowadzeniu zajęć wyrównawczych z kluczowych przedmiotów
dla studentów I roku specjalności zamawianej,
• wprowadzaniu innych form dydaktycznych uatrakcyjniających
kształcenie.
W ramach programu od roku 2009 zawarto łącznie ponad
270 umów na kwotę 1,2 mld zł.
Program kierunków zamawianych:
fakty ex-post
• Program przyniósł efekt w postaci zwiększenia
naboru na wybranych kierunkach
 (trudno by 1,2 mld zł nie przyniosło żadnego efektu!)
• Nasilił się problem przerywania studiów na
kierunkach zamawianych.
• Brak dowodów na osiągnięcie celów związanych
z rynkiem pracy.
Grupa kontrolna do badania, dobrana ex-post
 brak możliwości poprawnej oceny skutków
Program kierunków zamawianych:
pytania
• Czy możliwe byłoby przeprowadzenie eksperymentu
z grupą kontrolną (RCT)?
• Jak można wyłonić grupę kontrolną? Maturzystów?
– Czy eksperyment byłby sprawiedliwy społecznie? 
mniej kontrowersyjnie niż w przypadku programu 500+…
– Jaki efekt powinien być badany?
• Wzrost liczby studentów?
udziału wybierających?
• Wzrost liczby absolwentów?
horyzont?
• Jakość edukacji?
trudność pomiaru?
• Praca zgodna z wykształceniem?
horyzont?
Czemu tego nie zrobiono,
skoro to takie proste?
W jaki sposób można poprawni znaleźć grupę kontrolną dla
ewaluacji programu?
• Rodzina 500+
• Program kierunków zamawianych
• Dotacje na działalność gospodarczą
Dotacje na rozpoczęcie działalności
gospodarczej: fakty
• Jednorazowa forma wsparcia udzielana osobom
bezrobotnym, absolwentom integracji społecznej oraz
absolwentom klubów integracji społecznej, którzy pragną
rozpocząć własną działalność gospodarczą.
– 4-6 krotność średniego wynagrodzenia w sektorze
przedsiębiorstw.
• W latach 2008-2014 na podjęcie działalności
gospodarczej przez bezrobotnych ze środków Funduszu
Pracy przeznaczono ok. 3,5 mld zł.
• Każdy Powiatowy Urząd Pracy może posiadać również
swój wewnętrzny regulamin przyznawania
jednorazowo środków na podjęcie działalności
gospodarcze
Dotacje na rozpoczęcie działalności
gospodarczej: pytania
• Czy realnie możliwe byłoby przeprowadzenie eksperymentu z grupą
kontrolną?
• Jak można byłoby wyłonić grupę kontrolną?
• Jakie efekty powinny być oceniane?
–
–
–
–
12 miesięcy działalności?
24 miesiące działalności?
Zatrudnienie nowych pracowników?
…
• Gdyby chcieć optymalizować program warto rozważyć:
– Kryteria dostępu
– Wartość przyznanych środków
– …
Te wszystkie aspekty mogłyby być efektywnie oceniane w ramach
eksperymentu z grupą kontrfaktyczną. Pozwala na to (w pewnym
zakresie) konstrukcja programu.
Quiz
Rozważmy następujące sytuacje
Program Rodzina 500+:
 czy można za grupę kontrolną uznać dziś
A. Osoby, które mają 1
dziecko i znajdują się tuż
pod kryterium
dochodowym?
B. Osoby, które nie mają
dzieci?
C. Osoby, które z przyczyn
moralnych nie pobierają
świadczenia?
D. Nie ma możliwości
poprawnego
wyodrębnienia takich
osób?
0%
A.
0%
B.
0%
C.
0%
D.
Program Kierunków zamawianych:
 czy można za grupę kontrolną uznać dziś
A. Studentów kierunków,
które były zamawiane na
uczelniach, które nie
zostały objęte
programem?
B. Studentów innych
kierunków?
C. Osoby, które przerwały
studia?
D. Grupa kontrolna mogła
być wyodrębniona
jedynie na etapie przed
wdrożeniem programu?
25%
A.
25%
B.
25%
C.
25%
D.
Program Dotacji na rozpoczęcie:
 czy można za grupę kontrolną uznać dziś
A. Osoby które ubiegały się a
nie dostały
dofinansowania?
B. Osoby, które założyły
działalność gospodarczą, a
nie aplikowały o program?
C. Osoby, którym losowo nie
przyznano dotacji (wśród
aplikujących, spełniających
wymagania)?
D. Losowo wybranych
pracodawców w regionie?
25%
A.
25%
B.
25%
C.
25%
D.
Dziękuję za uwagę!
Ocena
Prosimy o ocenę sesji
Prosimy o ocenę tempa prezentacji
A.
B.
C.
D.
Akurat
Zbyt wolne
Zbyt szybkie
Nie mam
zdania
25%
A.
25%
B.
25%
C.
25%
D.
Prosimy o ocenę
przydatności wybranego materiału
technicznego
A. Bardzo
przydatny
B. Częściowo
przydatny
C. Nieprzydatny
D. Nie mam
zdania
0%
A.
0%
0%
B.
C.
0%
D.
Prosimy o ocenę
jasności i efektywności przekazu
A.
B.
C.
D.
E.
Doskonała
Dobra
Dostateczna
Słaba
Nie mam
zdania
0%
A.
0%
0%
0%
B.
C.
D.
0%
E.
Dziękujemy!