Zapis przebiegu spotkania - Polskie Towarzystwo Ekonomiczne
advertisement
Stenogram z konwersatorium „Czwartki u Ekonomistów” nt. ”Ewaluacja Programów i Instrumentów” Debata organizowana przez Polskie Towarzystwo Ekonomiczne we współpracy z Ministerstwem Nauki i Szkolnictwa Wyższego - 15 marca 2012 r. Pani prof. Elżbieta Mączyńska, prezes PTE Dzień dobry państwu. Witam państwa serdecznie na kolejnym naszym „Czwartku u Ekonomistów”. Dzisiaj mamy taki temat dość szczegółowy, dla naukowców zwłaszcza ważny, mianowicie Ewaluacja Programów i instrumentów. Chciałam przede wszystkim bardzo serdecznie powitać uczestników naszego panelu i podziękować z góry za to, że państwo znaleźli czas, żeby do nas przyjść. Oficjalne podziękowania będą za chwilę, natomiast teraz chciałam przedstawić państwa. Zacznę tak jak mam napisane w kolejności alfabetycznej. Mianowicie: pani dr Agnieszka Bryl, Ernst & Young, znana państwu wszystkim firma; Pani Agnieszka Haber, Polska Agencja Rozwoju Przemysłu; pan Michał Kołodziejski, prof. dr hab. Stanisław Kubielas, Uniwersytet Warszawski; pani Marta Łazarowicz, Fundacja Nauki Polskiej; pani Agnieszka TokajKrzewska, Narodowe Centrum Badań i Rozwoju i pani Barbara Warzybok, Ośrodek Przetwarzania Informacji. Witamy. Oczywiście witam pana dr Jana Kozłowskiego, panie doktorze, proszę się pokazać, bo pan doktor jest głównym koordynatorem tych naszych spotkań, których już było wiele. Ja może najpierw pozwolę sobie na takich kilka spraw organizacyjnych. Proszę państwa, nasze spotkania są nagrywane i będzie z tego stenogram. Jeżeli ktoś by chciał mówić poza protokołem, bo proszę po prostu nas poinformować, wyłączymy mikrofony i obiecujemy, że nie będzie zapisu, ale przeklinać nie wolno, od razu mówię, brzydkich słów nie używamy. To po pierwsze. Po drugie. Z tych naszych spotkań po zrobieniu stenogramu czasami fragmenty umieszczamy w Biuletynie naszym, które już teraz lada moment ukaże się nowy biuletyn, więc państwo tam zobaczą te relacje, ale to oczywiście ze wzglądu na objętość, fragmenty. Bardzo często do tych naszych zapisów stenograficznych zaglądają różne osoby, a przede wszystkim doktoranci, nauczyciele, naukowcy. Mamy Olimpiadę Wiedzy Ekonomicznej, w której uczestniczy od pierwszego etapu, począwszy kilkanaście tysięcy osób od 12 do 17 tys. w zależności od rocznika i sytuacji demograficznej i ci ludzie, te młode osoby są bardzo zainteresowane tego 2 Czwartek u Ekonomistów - 15 marca 2012 r. typu opracowaniami. I teraz tak. Jeżeli państwo pozwolą, to ja na początku podziękuję za to, że państwo się u nas pojawili. My dziękujemy tym, co mamy najlepszego, czyli książkami, naszymi dziełami, a książka, ponieważ rozmawiamy ciągle o nauce, a książka dotyczy gospodarki opartej na wiedzy. Nie jest to może najszczęśliwsza nazwa, ale tak się utarła w świecie i o tyle istotne, że to jest jeden z tomów naszego Kongresu, VIII Kongresu Ekonomistów Polskich, takie wydarzenie ważne, które odbywa się raz na 5 lat mniej więcej. Teraz szykujemy się do IX Kongresu. Proszę państwa, dzisiaj mamy jak widać liczny zespół panelistów. Ja chciałam powiedzieć w sprawach organizacyjnych, że nasze debaty przewidziane są na około półtorej godziny, maksimum 2 godziny. Więc prosiłabym panelistów o króciutkie wystąpienia, takie dosłownie w punktach, a potem na stronie internetowej możemy poszerzone wypowiedzi zamieszczać. To samo dotyczy państwa, krótkie ewentualnie pytania i wystąpienia, a wszelkie poszerzone wystąpienia możemy później do protokołu zamieszczać. Proszę państwa, my mówimy o ewaluacji programów i instrumentów, czyli o ocenie tego, co jest dla nauki najistotniejsze, czyli badania rozwój, programy różnego rodzaju. Ja jestem po dwóch dniach popytu w Krakowie w Narodowym Centrum Nauki i dwa dni siedzieliśmy nad projektami dotyczącymi badań podstawowych. I to co mi przyszło do głowy i co od razu wrzucam jako problem do zastanowienia się i dyskusji przy tych ocenach, najtrudniejszą sprawą jaka wystąpiła tam, w tych ocenach, to była odpowiedź na pytanie, czy badanie spełnia warunki badań podstawowych, czy projekt spełnia warunki badań podstawowych, czy nie. I muszę powiedzieć, że do tej pory się nad tym zastanawiam i zastanawiam się, czy nie popełniłam błędu. To jest jedna rzecz. A druga rzecz, która mnie tam głębiła to ogromne rozproszenie tych wniosków. Ja się zastanawiałam, czy to nie jest marnowanie pieniędzy. Mam cały szereg jeszcze innych, szczegółowych uwag, ale to w trybie roboczym, także te moje wrażenia z Krakowa, to co prawda nie dotyczy akurat badań i rozwoju, ale one nie są, czuję niepokój, czy na pewno te środki, które są przeznaczone na rozwój badań, nauki, czy one są dobrze wykorzystywane. Ale to pytanie jest w ogóle szerokie, od lat stawiane, więc nie ma w tym nic nowego. Nie chcę tutaj narzekać, bo narzekanie 3 Czwartek u Ekonomistów - 15 marca 2012 r. jest dodawaniem zła do zła, więc nie ma sensu narzekać, tylko mówię o tym, żeby ewentualnie po prostu, zawsze refleksja może przynieść jakieś nowe pomysły, czy rozwiązania. Dobrze, wobec tego zaczynamy. Czy państwo chcecie występować w takiej kolejności w jakiej było podane. Wobec tego poproszę panią Agnieszkę Bryl. Bardzo proszę. 7 minut. Pani dr Agnieszka Bryl, Ernst & Young Chciałabym powiedzieć najpierw parę słów dlaczego myślę, że zostałam do państwa zaproszona. Otóż, nie dlatego, że możemy znaleźć nową firmę akurat, w której pracuję, czyli firmę, która zajmuje się doradztwem, ale także różnego rodzaju analizami i ewaluacją, ale przede wszystkim chyba dlatego, że w ostatnim czasie pracowaliśmy jako firma, wspólnie, m.in. Szkolnictwa Wyższego nad takim projektem z państwem z Ministerstwa Nauki i realizowanym na zlecenie Kancelarii Premiera, w ramach to którego projektu przeprowadziliśmy pewną diagnozę głównych procesów realizowanych przez administrację publiczną w naszym kraju. Ta diagnoza jest diagnozą oczywiście wyrywkową i fragmentaryczną, stąd wszelkie ograniczenia, które mogą wpływać na jej wyniki i na ich wykorzystanie, natomiast ona co do zasady dotyczyła kilku elementów i opierała się na pewnych założeniach, które mają dosyć ścisły związek z tematyką dzisiejszej państwa debaty. Otóż, to czego my poszukiwaliśmy w ramach naszych analiz? Poszukiwaliśmy istnienia w polskiej administracji centralnej tzw. cyklu polityk publicznych czy też pętli polityk publicznych. Dlaczego go poszukiwaliśmy? Bo dobre praktyki i doświadczenia wskazują na to, że jeśli chcemy, wydając pieniądze publiczne, czy też tworząc różnego przez rodzaju nas planowania, instrumenty zamierzone, określenia to polityki publicznej, powinniśmy przejść celów na podstawie osiągać przez potrzeb, jakiekolwiek pewien następnie efekty proces, proces proces doboru instrumentarium oparty o analizy, oparty o badania, oparty o dowody, które mogą nam posłużyć do wyciągnięcia racjonalnych wniosków co do instrumentarium, które chcemy zastosować. Następnie oczywiście musimy zrealizować te instrumenty i w trakcie tej realizacji, bądź po ich realizacji, dokonywać ocen, ocen o charakterze m.in. ewaluacyjnym, które nam zasilają nasz cykl, zasilają nasz cykl 4 Czwartek u Ekonomistów - 15 marca 2012 r. na początku. I dlatego ewaluacja jako takie narzędzie, które jest powszechnie wykorzystywane krajach w wielu anglosaskich, krajach, jest w szczególności stosowane także jako w krajach narzędzie skandynawskich, wymagane do a oceny spełniania oczekiwań wobec programów finansowanych ze środków Unii Europejskiej, było takim narzędziem, które pojawiało nam się w tej pętli, czy w tym cyklu dwukrotnie. Z jednej strony wtedy, kiedy mówiliśmy o doborze instrumentarium, czyli o tym w jaki sposób instrument wsparcia publicznego powinien być skonstruowany aby miał szansę osiągnąć największe efekty, ale także w trakcie realizacji i po realizacji programów, strategii, polityk czy też samych instrumentów. I tak naprawdę zastanawialiśmy się, jak to w tej chwili jest w polskiej administracji, że mamy z jednej strony struktury, procesy, procedury bardzo rozbudowane, uważane za jedne z lepszych prawdopodobnie w Europie, w odniesieniu do programów, które są finansowane ze środków Unii Europejskiej. I mamy trochę inną sytuację, różnorodną przede wszystkim, rozproszoną, w odniesieniu do tych działań państwa, które są finansowane ze środków podatników, czy to w sposób bezpośredni czy pośredni, ale jednak nie są one w taki sposób dobierane, w taki sposób programowane, planowane, oceniane jak mam to miejsce w przypadku środków, które pochodzą z budżetu podatników europejskich. Pewnie trudno szukać tak naprawdę odpowiedzi na to pytanie dlaczego tak jest, natomiast z całą pewnością doszliśmy do wniosku, że chcielibyśmy stworzyć podwaliny takiego systemu, czy też wskazać takie obszary, które pozwoliłyby nam stopniowo jednak wprowadzać taki kompleksowy system obejmujący metodami ewaluacyjnymi zarówno na etapie doboru instrumentów polityk publicznej, jak i na etapie ich oceny wszystkie działania o charakterze publicznym. I tu narzędzie ewaluacyjne jest narzędziem najpowszechniej stosowanym, jest bardzo rozbudowanym narzędziem. Są to tak naprawdę różnego rodzaju zbiory dobrych praktyk, wiedzy, metodyk, analiz, które mogą być w różny sposób wykorzystywane do tego, abyśmy wiedzieli na co wydajemy środki publiczne. W trakcie naszego projektu mieliśmy kilka tak naprawdę takich pytań ważnych, dlaczego skoro to narzędzie teoretycznie jest powszechnie uważane za odpowiednie narzędzie do tego, aby tworzyć lepsze polityki państwa, 5 Czwartek u Ekonomistów - 15 marca 2012 r. dlaczego nie jest wykorzystywane w praktyce, tym bardziej, że mamy dobrą praktykę bezpośrednią, która funkcjonuje w obszarze środków Unii Europejskiej. Doszliśmy do wniosku, że być może jest szereg górnych przyczyn o różnym charakterze, które na to wpływają. Przyczyny o charakterze mentalnym, które powodują, że trudno jest osobom podejmującym decyzje, tworzącym pewien system, tworzącym pewne procesy, zdecydować się na to, aby analizowano, ale też w domyśle krytykowano pewne dotychczas podejmowane decyzje i ich efekty, mimo, że tak naprawdę ta krytyka ewaluacyjna ma charakter konstruktywny, to jest tak naprawdę krytyka po to, aby zrobić coś lepiej, w szczególności krytyka na etapie przed wdrożeniem, czyli ewaluacja o charakterze ex kwante, służą racjonalizacji doboru działań, racjonalizacji doboru instrumentów. Niemniej jednak tego typu bariera mentalna z całą pewnością istnieje. Druga bariera, to jest bariera, która prawdopodobnie polega na tym, że chcemy osiągać szybko konkretne efekty, czy to które wskazują, że barometr politycznego poparcia rośnie, czy tak naprawdę osiągamy konkretne efekty o charakterze finansowym i mierzalnym. Ewaluacja jest procesem wspierającym. To jest wsparcie, które dostarczane do procesu tworzenia polityk publicznych po to, aby one były lepsze. Trudno jest wymierzyć korzyści, bezpośrednie korzyści z tego, że stosujemy odpowiednie do doboru instrumentów, oparte o dowody i wiedzę, którą mamy z ewaluacji ex ante, w trakcie realizacji programów, czy ewaluacji o charakterze ex post. W związku z tym wydaje się, że to jest kolejny, przekonać do bardziej tego, że chyba metody mentalny powód ewaluacyjne dla którego powinny być trudno stosowane czasem jest jako część prowadzenia polityk publicznych. Sponsorzy. Kim są nasi sponsorzy, przed chwilą mieliśmy rozmowę z panem Janem. Sponsorzy w administracji publicznej to są nasi szefowie, to są ministrowie, to są kierownicy urzędów. Oni też mają swoje cele, też mają określone oczekiwania wobec nich i sprowadzanie pewnych procesów, pewnej organizacji, pewnych procedur, które niosą ze sobą, nie da się ukryć koszty, to są pewne koszty działania, może być trudne do wytłumaczenia, jeśli nie są w stanie pokazać korzyści, bądź sami nie są przekonani co do tego, że te korzyści w dłuższym, czy w średnim, czy w dłuższym okresie mogą mieć miejsce. Kolejna 6 Czwartek u Ekonomistów - 15 marca 2012 r. sprawa, która wydaje się, jest dosyć istotna. Jednym z elementów analiz, które prowadzimy jest zastanowienie się na wybranych obszarach, wybranych dziedzinach działalności państwa, i tu ten wybór oczywiście wpływa w taki dosyć druzgocący pewnie sposób ograniczonymi na część wniosków, próbkami, nazwijmy ale to jednak naszej musimy analizy, posługiwać jest to, się że w pewnymi zasadzie prawdopodobnie mając jednak ograniczone zasoby, jak to w życiu, gospodarce i świecie bywa, musimy się zdecydować na pewne wybory, w tym musimy się zdecydować na to, co tak naprawdę chcemy ewaluować. Musimy następnie, jeśli już się zdecydujemy, spróbować przeprowadzić coś, co państwo czasami tutaj nazywanie meta ewaluacjami, ale tak naprawdę wykorzystać te wyniki. Te wyniki nie są po to, żeby leżały w książkach i opracowaniach, one w przyszłości mają służyć do tego, aby tworzyć lepsze instrumenty, ewentualnie korygować istniejące programy. Czyli, w momencie kiedy mówimy o wyborach i priorytetyzacji to mamy kilka pytań. Ewaluujemy, oceniamy poziom strategiczny, poziom programów, poziom projektów, poziom poszczególnych instrumentów. Zastanawiamy się np. z państwem m.in. w tej chwili jak w wybranych dziedzinach zdefiniować, czy określić strategię programy, instrumenty, żeby znaleźć coś, co my byśmy nazywali uniwersum naszej ewaluacji, czyli co tak naprawdę powinniśmy ewaluować. I pytanie, co wybieramy, skoro nie możemy oceniać wszystkiego, nie mamy na to zasobów, ani czasu, to jest trudne pytanie. Trudno jest znaleźć odpowiedź na to pytanie. My staramy się dojść do tego, żeby wspólnie z państwem zastanowić nad tą priorytetyzacji. Kolejna rzecz, która tak naprawdę jest dla nas istotna, jeśli już dokonujemy priorytetyzacji, ona nie jest tylko i wyłącznie pochodną potrzeb, ona jest także pochodną potrzeb rozumianych jako braki. W związku z tym to co też można zauważyć i co z całą pewnością jest elementem, nad którym można się zastanowić jako element wzmocnienia, to jest możliwość wykorzystywania różnego rodzaju analiz i działań o charakterze ewaluacyjnym, działań o charakterze analiz, działań o charakterze monitoringu do tego, aby nie powielać. Ale żeby ich nie powielać, to w zasadzie trzeba wcześniej je zaplanować wspólnie, bądź w jakiś sposób skoordynować. I teraz ta wspólnota, nawet w obszarach dziedzin, takich jak chociażby jedna z 7 Czwartek u Ekonomistów - 15 marca 2012 r. dziedzin przyjętych do naszych analiz w ramach projektu, czyli innowacyjność gospodarki, zaczyna być problematyczna. Bardzo trudno jest koncentrować się nawet na takim fragmencie działania, nawet na jednej z dziedzin tak naprawdę wspieranej przez państwo, bo okazuje się, że ona ma szereg odcieni, ona ma szereg aspektów, szereg elementów. Te aspekty na dodatek, jak to też w życiu bywa są zakłócane poprzez podziały Natomiast organizacyjne, istotne jest to, że kompetencje, jeśli mówimy interesy, o partykularyzmy, priorytetyzacji, itd. rzeczywiście powinniśmy wiedzieć co jest robione, co możemy robić dobrze sami, co powinni robić lepiej inni za nas, co możemy robić we współpracy. I to jest tak naprawdę dosyć istotny element, wbrew pozorom bardzo o charakterze takiej bardzo, to jest charakter działań czy problemów w mentalności czy świadomości. Trudno jest je przełamać, mimo, że wszyscy mamy oczywiście wiedzę i świadomość, że w zasadzie koordynując Następnie tego typu pojawiają działanie, się jesteśmy oczywiście pewne w stanie problemy osiągnąć lepsze organizacyjne. efekty. Jeśli już dochodzimy do szczegółów, to tak naprawdę powinniśmy wiedzieć kto, co ocenia i ewaluuje, w obszarach, które nas interesują. W jaki sposób to robi. Czy na tych wynikach można polegać. Jednym z elementów, który tworzymy, to jest taka baza organizacji, instytucji, które uczestniczą w ewaluacjach w danym obszarze. Zadajemy sobie pytanie, zadajemy sobie pytanie ze specjalistami z dziedziny, państwo z którymi pracujemy, są to specjaliści z dziedziny, z polskiej administracji. I tak naprawdę to pytanie, odnoszę czasem wrażenie, że zadajemy po raz pierwszy i próbujemy uzyskać na nie odpowiedź. Drugim, z kolei pytaniem, które zadajemy, to jest pytanie jakiego rodzaju strategie, programy instrumenty istnieją i jakie powinny być ewaluowane. To też tak naprawdę jest wbrew pozorom problem o charakterze organizacyjnym, tak jak tutaj to przedstawiamy dlatego, że podziały organizacyjne, podziały administracji nie usprawniają przepływu informacji i komunikacji. Natomiast znowu wracając do problemów o charakterze mentalności, czy świadomości, ta mentalność i świadomość działa w niektórych przypadkach tak, że niezależnie od ograniczeń nazwijmy to organizacji, czy tych silosów, które są tworzone w sposób określający daną organizację, czy po prostu 8 Czwartek u Ekonomistów - 15 marca 2012 r. blokujący jej mury, przepływ informacji i komunikacja istnieje. Bardzo się cieszymy, że w trakcie naszej pracy, m.in. udaje się właśnie rozmawiać w takim gronie, które myślę, że odnosi wartość też z tego, że ma szansę spotkać się w danym momencie, prawdopodobnie w takiej pracy, która jest zlecana na co dzień, trudniej byłoby bez jakiegoś impulsu zewnętrznego o takim charakterze, prowadzić tego typu komunikację. Jednym z problemów, który też mamy i pytań, jakie sobie zadajemy, to pytanie o charakterze powinniśmy oceniać instrument, powinniśmy oceniać stałe też czy programy, organizacyjnym, powinniśmy czy oceniać powinniśmy co ewaluujemy, czy programy, czy stałe przechodzić na ocenę, na poziomie strategicznym. Oczywiście odpowiedź jest dosyć prosta, to nie jest tak, że wybieramy, któryś z tych poziomów i jest to jedynym naszym pożądanym obszarem ewaluacji. Natomiast ma to ewidentnie przełożenie organizacyjne dlatego, że najczęściej agendy wykonawcze odpowiadają za instrumenty. Najczęściej ciała o charakterze tworzących polityk odpowiadają za tworzenie programów. Jeśli chodzi o strategię już bywa różnie, bo często one mają charakter zintegrowany, czyli znowu ten problem organizacyjny przekłada nam się na to, w jaki sposób dokonujemy zestawu do analizy. Analizujemy ostatecznie to na co, mamy pieniądze, co musimy ocenić i co więcej, co jest nam bliższe. Niekoniecznie robimy to z perspektywy korzyści, czy też największych możliwych korzyści szeroko określając to mianem podatnika, naprawdę to bo co jest też to po prostu widzimy, to trudne jest ze pytanie względów co organizacyjnych. ewaluujemy. Tu na I tak początku prezentacji państwo widzieli model ewaluacyjny, który w sposób taki kompleksowy, standardowy opisuje na czym polega ewaluacja. Natomiast państwo też ze swojej praktyki wiecie, że w zasadzie przeprowadzanie kompleksowych ewaluacji, które obejmują zarówno aspekty organizacji, zarówno aspekty związane z wdrożeniem, i kompleksowo traktują także ocenę rezultatów, ocenę efektów, ocenę wpływów, jest prawdopodobnie trudne do wykonania z wielu powodów. Są to długotrwałe analizy. Jeśli analiza jest uzyskiwana zbyt późno, niż potrzebne są nam jej wyniki, wiemy, że jej użyteczność tak naprawdę jest dla nas. Analizy byłyby dosyć kosztowne, być może lepiej z różnych powodów, czasem totalnie trywialnych, związanych chociażby 9 Czwartek u Ekonomistów - 15 marca 2012 r. z zamówieniami publicznymi, podzielić pewne działania. Pytanie jest takie, czy korzyści, które z tego otrzymujemy są takie jakie moglibyśmy, czasem optymalne w stosunku do tego, co w danym momencie moglibyśmy osiągnąć. Natomiast znowu, z mojej perspektywy, to czasem koncentracja na wybranych elementach może być pewnym zagrożeniem, trzeba tak naprawdę zastanowić się, czy ona nie doprowadzi nas do osiągnięcia efektów, które nie są do końca najważniejsze. I tak na dobrą sprawę po co robimy oceny. Po to, żeby zastanowić się, na ile nasze faktyczne potrzeby wynikające z problemów, mają szansę być zrealizowane, jeśli mówimy o ewaluacjach typu ex ante, czy też zostały zrealizowane i na przyszłość możemy liczyć na to, że wiedza zostanie wykorzystana do tworzenia lepszego instrumentarium. Jeśli mówimy o celach i potrzebach strategicznych, to w zasadzie takim problemem organizacyjnym, pewnie też jest konieczność bardzo silnego umocowania takiego formalnego umocowania jednostek, które odpowiadałyby za ewaluację o charakterze strategicznym. Ja tu przez odpowiedzialność, nie rozumiem wykonywania ewaluacji, rozumiem zlecenie, wykonanie, wykorzystanie. Tak naprawdę odbiorcą ewaluacji jest ktoś, kto tworzy, polityk. W związku z tym, w jakiej formule ona powstanie, tu jakby od tego całkowicie abstrahuję. Natomiast im bardziej strategiczny poziom oceny, który jest potrzebny do tego, aby zastanowić się czy faktycznie potrzeby są zabezpieczone, mają szansę być zaspokojone, potrzeby o charakterze strategicznym, tym wyższy tak naprawdę poziom strategicznej koordynacji. Jest to trudne do osiągnięcia w momencie kiedy tego typu decyzje nie są podjęte. Tu dobrym przykładem jest jednostka zajmująca się ewaluacją w zakresie funduszy unijnych. Natomiast jeśli chodzi o polskie polityki, niestety brakuje tego typu myślenia o koordynacji. Nie chcę tu mówić o metodach, mam tu znamienite przedstawicielki, analityków, ewaluatorów, nie chcę na ten temat za dużo się wypowiadać. Natomiast dobór samych metod ewaluacyjnych, w zleceniach, w projektach wewnętrznych, ewaluacyjnych, ja to tak nazywam, które realizujemy po to, żeby uzyskać efekty, też jest dosyć istotne, jest jednym z kluczowych problemów prawdopodobnie, przed którym państwo stoicie, dlatego, że metody mają swoje wady i zalety. Ja chciałam zwrócić tylko uwagę na jedną rzecz, że bardzo 10 Czwartek u Ekonomistów - 15 marca 2012 r. często w tych ewaluacjach, które przeglądaliśmy, w szczególności właśnie w zakresie polskich instrumentów, natomiast nie tych finansowanych ze środków Unii Europejskiej, jest taki duży nacisk położony na badania opinii. Nie każdy instrument, nie każdy efekt, nie każdy rezultat jest najlepiej oceniany przez zbadanie czyjejś opinii o tym, jak on został zrealizowany. Ale to jest tylko przykład, jakby dobór narzędzia w dużej mierze może wpłynąć nam na użyteczność wyniku, są z kolei instrumenty dla których tego typu oczywiście badanie jest podstawowe, jest najważniejsze do tego, żeby je oceniać. Gdybyśmy chcieli powiedzieć o kompleksowej ewaluacji, to chciałabym zwrócić tylko uwagę na jedną rzecz, że z punktu widzenia kogoś, kto ewaluuje programy, ale z drugiej strony ma także wgląd na to, w jaki sposób można oceniać instytucje i ... realizacja programu jest elementem złożonym. Z jednej strony to jest pewna publiczna matryca programu, z drugiej strony to są procesy i struktury realizacyjne. Nie można tak naprawdę zapominać o tych dwóch elementach, które są ze sobą ściśle związane. W zasadzie o pomysłach na to, na co warto zwrócić uwagę, zastanawiając się nad polskim systemem ewaluacyjnym, mam nadzieję, że to jest odpowiednie działanie i są prowadzone różne prace, które mogą doprowadzić do tego, że taki kompleksowy system obejmujący wszystkie działania publiczne powstanie. Już mówiłam w trakcie, jeśli państwo byliby zainteresowani, to zgodnie z harmonogramem, który przedstawiła pani profesor, zapraszam dalej do dyskusji. Dziękuję. Pani prof. Elżbieta Mączyńska, prezes PTE Bardzo dziękuję pani doktor. Chciałam powitać serdecznie pana Michała Kołodziejskiego z Narodowego Centrum Nauki. Proszę przyjąć nasze dzieło i od nas podziękowanie. Dziękuję bardzo. Proszę państwa, to teraz poproszę panią Agnieszka Haber. Też króciutko prosimy. Pani Agnieszka Haber, Polska Agencja Rozwoju Przedsiębiorczości Zgodnie z konwencją najpierw się wytłumaczę dlaczego pewnie tu jestem przed państwem. Zostałam poproszona, żeby trochę zastanowić się nad tym, jak osiągnąć sukces ewaluacji w instytucji i muszę się państwu wyspowiadać z trzech rzeczy. Ja w stosunku do tych osób, które dzisiaj ..., miałam potrójne szczęście. Po 11 Czwartek u Ekonomistów - 15 marca 2012 r. pierwsze, trafiłam do instytucji, w której już badania i filozofia robienia badań i opierania swoich decyzji na podstawie badań była już zakorzeniona. Po drugie, zanim jeszcze pojawiła się moda na ewaluację, jeden z moich prezesów pojechał na taką wymianę do Wielkiej Brytanii i stamtąd tą zarazę przywiózł, mówiąc zupełnie kolokwialnie, ponieważ stwierdził, wdrażany fundusze przedakcesyjne, musimy wiedzieć czy to działa czy nie. Po trzecie, miałam to szczęście, że miałam szefa, który w tych czasach, kiedy właściwie jeszcze nikt nie wiedział co to jest ta ewaluacja, co z nią zrobić i jak ją zrobić i w ogóle gdzieś tam byłam trochę z łapanki, na siłę; tu patrzę na moją szefową, moją byłą szefową, która pozwoliła mi na niejeden eksperyment w zakresie ewaluacji. Będzie mi bardzo trudno, ponieważ zajmuję się ewaluacją od 10 lat i wychodzi na to, że mam z każdego roku minutę takiej refleksji i postaram się. W trakcie dzisiejszego naszego spotkania już padło dwukrotnie, padły słowa z ust pani profesor i pani doktor - po co ta ewaluacja? Ta ewaluacja jest kosztowna, czy właściwie musimy ją robić, po co ją mamy robić i ta dyskusja trochę przypomina mi taką dyskusję sprzed 100 lat odnośnie badań marketingowych, kiedy zapytano Henrego Forda, na czym polegał sukces modelu T, Henry Ford nienawidził badań, bardzo był zły jeśli musiał wydawać pieniądze na badania, odpowiedział trochę złośliwie, że nie korzystaliśmy z badań marketingowych. Gdybyśmy zapytali naszych klientów, czy czego potrzebują, to powiedzieliby, że szybszego konia bo nie wiedzieli, czym jest samochód. Pozostając w tych samych kręgach, tego samego człowieka i jego niechęci do wydawania pieniędzy na badania, bo ewaluacja to innymi słowy, badania, on doskonale wiedział, że sukcesem to jest dobre przygotowanie. I tu jest mały odnośnik, odnośnie ewaluacji ex ante, w biznesie nikogo nie trzeba przekonywać, że zanim wydasz drugie pieniądze na cokolwiek, to najpierw sprawdź czy na pewno chcesz na to wydać pieniądze. I tenże sam Henry Ford, który nienawidził wydać pieniędzy na badania, wydawał bardzo spore pieniądze na badania, ponieważ wiedział, i to jest przykład, że wiem, że moja reklama nie działa, tylko nie wiem, która jej część. I tyle tytułem wstępu i różnych definicji. Ale oczywiście ewaluacja to jest wiedza. My mamy proste zadanie, ewaluatorzy, ludzie w 12 Czwartek u Ekonomistów - 15 marca 2012 r. instytucjach, którzy zlecają ewaluację mają przynieść wiedzę, która ma się przełożyć na decyzje i ma ochronić, bądź też wzmocnić wydawane fundusze, bo oczywiście nie tylko odpowiadamy przed naszymi szefami, ale przede wszystkim odpowiadamy przed podatnikiem, który płaci nasze pensje. I oczywiście ewaluacja, gdzieś puentując definicję i to jak postrzegam ja ewaluację, to jest wiedza, która ma odpowiedzieć na pytanie, jak coś działa, czyli, czy coś działa, jak działa i dlaczego działa, bądź też nie działa, czyli znajomość przyczyn. Moja poprzedniczka przerywnik, zaczęła że moja od kilku pytań, prezentacja, ja tak je powtórzę naprawdę i będzie teraz taki udzieleniem mały trochę odpowiedzi i trochę dorzuceniem do tej dyskusji, która mam nadzieję, że za chwilę będzie się toczyła. Ale tak naprawdę państwo chcąc zajmować się ewaluacją musicie notorycznie odpowiadać sobie na pytania, czyli zanim jeszcze wydacie jakąkolwiek złotówkę na ewaluację, musicie zadawać sobie ciągle pytania, zanim ogłosicie przetarg, zanim pójdziecie do szefa, że może warto tą ewaluację do naszej instytucji wprowadzić, bądź też ewaluacja czasami jest na siłę wprowadzana do instytucji, to też bywa. To nie jest najszczęśliwsze rozwiązanie, stąd tłumaczyłam się państwu, że ja miałam łatwiej, bo miałam to szczęście, że mogłam testować, mogłam dosyć swobodnie i z pewnym luzem uczyć instytucje, czym jest ewaluacja, i że to narzędzie naprawdę być może przynieść wam sukces w waszych działaniach. Kilka pytań. To oczywiście, musicie sobie państwo na początku zadać pytanie, czy istnieje potrzeba informacji w waszych instytucjach, jaki jest cel ewaluacji, po co ją robicie i oczywiście jakie funkcje ewaluacja będzie pełniła, ale to nie koniec. Oczywiście poruszacie się państwo w szeregu różnych zagadnień, od podejmowania decyzji, po takie elementy demokratyzacji czy uczenia się, samouczenia się instytucji, ale tak naprawdę mówimy o dwóch wymiarach. O wymiarze takim, o myśleniu instytucji opartym na działaniu operacyjnym i działaniu strategicznym. Z tym drugim jak wiemy w naszym kraju troszkę gorzej. Ale musicie państwo pamiętać, że ewaluacja często jest traktowana jako ta maszynka od wszystkiego, właściwie bardzo wielofunkcyjna, bo mamy te różne typy, przeróżne typy to są takie podstawowe, elementarne, od ex ante do ex post i to jest trochę 13 Czwartek u Ekonomistów - 15 marca 2012 r. tak jakby była maszynką do produkcji wiedzy. Naprodukowaliśmy tej wiedzy w zakresie funduszy europejskich całe ... ile z tego skorzystały instytucje, na to pytanie jeszcze nikt nie zna odpowiedzi, ale jeżeli państwo i tu poza protokołem, jeżeli państwo przeróżnych zapytacie instytucjach, osób, to które długo odpowiedzą, że się zajmują jest z tym tym zagadnieniem ciężko i w trudno wykorzystać ewaluację. Dlaczego? Będziemy o tym mówili. Otóż, ewaluacja nie jest maszynką do produkcji wiedzy dlatego, że potwornie dużo by to kosztowało. Ewaluacja nie jest łatwym, przyjemnym dla instytucji produktem, ale też jest bardzo kosztownym Oczywiście, jeżeli produktem. Ewaluacja dobrze zaprojektuje, się to jest tu potwornie się odwołam droga do sprawa. już takich systemowych rozwiązań, może byś bezkosztowa i takie w mojej instytucji się robi i czasami się to udaje, ale oczywiście trzeba o tym pomyśleć wcześniej. Wracamy do tych pytań, które państwo musicie ciągle sobie zadawać. Żeby ewaluacja mogła dobrze funkcjonować w waszych instytucjach, musicie zadać sobie pytanie, a właściwie musicie zadać pytanie klientowi, któremu macie przynieść wiedzę, kim on jest, jakiego produktu potrzebuje, jakich informacji poszukuje i do czego te informacje są potrzebne. Musicie państwo wiedzieć, że te pytania bardzo rzadko są w procesach ewaluacyjnych aktualnie zadawane. I to nie wszystko. Tych pytań do końca mojej prezentacji będzie naprawdę całe mnóstwo. Dobrze jest też dobrze poznać tą drugą stronę, czyli odejść od takiego podejścia, że no dobrze, musimy zrobić ewaluację, zróbmy cokolwiek, coś tam na jakieś przetestowanie, miejmy jakieś pierwsze koty za płoty. Trochę jest to pewnie konieczność, pewnie tego się nie da uniknąć, bo jest to proces, który trwa bardzo długo. Ja mimo bardzo sprzyjających warunków istnienia ewaluacji w mojej instytucji, cały czas muszę pracować nad instytucją, nad moimi odbiorcami, bo tych odbiorców jest bardzo dużo, od tych oczywiście moich szefów prezesów, poprzez szeregowego pracownika do którego prędzej, czy później docieram, bo muszę od niego zebrać jakieś dane, jakieś informacje i muszę od niego poznać poprzez tego szeregowego pracownika muszę poznać beneficjentów jego klienta, interwencji bo on publicznej. z I kimś pracuje. oczywiście Mamy musimy odbiorców, wiedzieć w mamy jakich 14 Czwartek u Ekonomistów - 15 marca 2012 r. warunkach działają, czego im brakuje, jak chcą osiągnąć sukces, jakie są ryzyka w jego projekcie, co nie jest łatwą sprawą, bo ludzie niechętnie się tym dzielą. I teraz kilka, jeżeli mogę państwa poprosić o taką drobną refleksję, jeżeli możecie przeczytać te twierdzenia i jeżeli wasze instytucje działają i twierdząco jesteście w stanie odpowiedzieć, że tak sięgamy po wiedzę, która ma realny wpływ na nasze działania, podstawie, to jest szukamy naprawdę najlepszych takie rozwiązań. bardzo Bieżąca elementarne informacja stwierdzenia, na bieżąca informacja a podstawie badań i analiz pozwala nam podejmować właściwe działanie i wiemy w jakim stopniu podjęte interwencje przez nas przyczyniają się do obserwowanych efektów, to jesteście naprawdę bardzo daleko. Wasze instytucje są bardzo zaawansowane i to jest dla was dobra wiadomość, ponieważ będzie wam zdecydowanie łatwiej realizować i łatwiej sprzedawać ewaluację i wybaczcie mi proszę państwo na ten sprzedażowy język, ale używam go nie bez powodu. Do tego jeszcze wrócę. OK. Mały głód, dlaczego on się w ogóle pojawił. Jeżeli państwo chcecie w instytucjach mieć ewaluację, to niestety na waszych barkach leży pobudzenie tego głodu. Waszym zadaniem jest wykreowanie potrzeby na ewaluacją, na wiedzę i również na uczenie instytucji jak ona funkcjonuje. Czyli, pojawiają się kolejne pytania, bo to nie wszystko. Oczywiście łatwo zachęcić ludzi, czy zadać im parę prostych pytań i oni oczywiście powiedzą, tak, chcemy tej wiedzy, powiedz jak to, odpowiedz nam na nasze podstawowe pytania. To nie jest takie bardzo trudne. Natomiast trudniej już podjąć dyskusję z waszymi odbiorcami wyników ewaluacji, czy będą w stanie wykorzystywać tę wiedzę, wnioski i rekomendacje płynące z ewaluacji i czy wynik końcowy ewaluacji pozwoli im podjąć i znowu trochę język zaczerpnięty z biznesu, podejmować decyzje biznesowe. OK. Mały wykres, jeżeli państwo pozwolicie, umieściłam go dlatego, żeby zwrócić uwagę na pewien ważny aspekt. Jeżeli mówimy o ewaluacji w instytucji, to musimy pamiętać, że ewaluacja zaczyna się znacznie wcześniej zanim ewaluator zewnętrzny wkroczy do instytucji, czyli zanim państwo zlecicie ewaluację, zanim ten ewaluator się pojawi w waszej instytucji, musicie wykonać bardzo dużą pracę, żeby ta ewaluacja się u was zaimplementowała i żebyście mieli zysk z tych grubych pieniędzy, które 15 Czwartek u Ekonomistów - 15 marca 2012 r. na nią wydacie. Zwracam również uwagę na koniec tego wykresu, kiedy wykonawca, wasz ewaluator wychodzi, zamyka, dostaje fakturę i sobie idzie w świat, to wasza praca nadal w instytucji trwa i nadal macie jeszcze sporo do zrobienia, jeżeli chodzi o sukces ewaluacji. OK. Podsumowując tę część właściwie jedno zdanie, sukces waszej ewaluacji będzie mierzony tym, czy siła wniosków ma implikacje dla procesu decyzyjnego, od tego tak naprawdę zależy. Kilka problemów, na które państwo natkniecie się w swojej pracy zawodowej z ewaluacją. Pierwszą taką największą bolączką, która się właściwie toczy jeszcze u zarania programów, w moim przypadku przedakcesyjnych, to jest problem ze wskaźnikami. My mamy notorycznie problem ze wskaźnikami. Mamy problem na poziomie GUS, mamy problem na poziomie poszczególnych instytucji i nie tylko jest to związane oczywiście z interwencjami publicznymi. Tak wygląda taka bardzo podstawowa tablica, portfel wskaźników dla jednego z działań, które moja agencja wdraża. I jest to coś, co pozwala nam wystartować z ewaluacją, zarówno ..., jak i ex post. Z tym się spotkaliśmy, kiedy skonstruowany, że program wchodził zapomniał już w w życie, kolejnej to znaczy, edycji, program pamiętamy, został że tak mieliśmy przedakcesyjne, pierwszą transzę środków już z okresu 4-6 i trzecia próba w poważnych instytucjach, które mają swoją ciągłość, jak gdyby zapomniano o tym, że jest coś takiego jak ewaluacja i dobrze by było się przyjrzeć jakie to przynosi efekty. Chodzi o to, żebyście państwo zobaczyli jaką pracę trzeba wykonać na dzień dobry, bo tego portfela wskaźników wyjściowo na ogół nie mamy, trzeba go stworzyć, w związku z tym nie może być sytuacji, w której zatrudniamy ewaluator i nagle okazuje się, że ewaluator ma wyczarować wam cały portfel wskaźników, żebyście mogli uzyskać odpowiedź na to pytanie, które stawiacie. Druga bolączka, która się pojawia w pracy ewaluatorów i również instytucji to są systemy danych, które są wadliwe, nieprzystosowane ograniczonym dostępem do do ewaluacji, danych. a Trzecim przede wszystkim zagadnieniem, są które to systemy jest z dosyć kłopotliwe, jeżeli chodzi o ewaluację, to jest jakość usług ewaluacyjnych. Ja pozwoliłam sobie zacytować wyniki takiego najświeższego sondażu, wśród osób, 16 Czwartek u Ekonomistów - 15 marca 2012 r. które zajmują się od dłuższego czas w instytucjach publicznych różnego typu zlecają badania i ewaluację, te wyniki pochodzą z tego katalogu, jest jeszcze parę sztuk, chętnie się podzielę też swoją i zapytano moich kolegów i koleżanki z instytucji, czy firmy ewaluacyjne działające w Polsce dostarczają usługi wysokiej jakości i niestety tylko co piąta osoba powiedziała, że tak. Zapytaliśmy również naszych kolegów o użyteczność badań ewaluacyjnych i poprosiliśmy ich o potwierdzenie, bądź też zaprzeczenie takiemu stwierdzeniu, że generalnie Pani prof. Elżbieta Mączyńska, prezes PTE Przepraszam, ja od razu mówię, że to PTE to nie jest ... Pani Agnieszka Haber Bardzo przepraszam, Polskie Towarzystwo, na seminaria którego również serdecznie zapraszam. Czy generalnie ewaluacja i badania cechuje duża użyteczność i niestety tu troszkę było lepiej, ale znowu co piąta osoba powiedziała, że się nie zgadza, to znaczy mamy problem z jakością badań ewaluacyjnych. Nie tylko z jakością badań ewaluacyjnych, ale również z ekspertami i znowu pozwolę sobie przytoczyć, idąc tą samą drogą, historia Henrego Forda, taki mały kejs z jego życia, bardzo jest podobny do tego, co dzieje się w naszych ewaluacjach, tych, z którymi ja się zetknęłam. A więc Henry Ford wynajął kiedyś eksperta w dziedzinie wydajności pracy, żeby ocenił jego firmę. Po paru tygodniach ekspert wrócił do Forda, jego ocena była nadzwyczaj pochlebna z wyjątkiem jednego słabego punktu i mówi, to tamten człowiek, naskarżył ekspert, kiedy przechodzę przez jego gabinet, widzę, że on wyciągnięty z nogami na biurku i zażywa drzemki, on marnuje pańskie pieniądze panie Fort. Na co Ford odpowiada, ach ten człowiek kiedyś wpadł na pomysł dzięki któremu zaoszczędziliśmy miliony dolarów, a jego nogi znajdowały się w tedy dokładnie w tym samym miejscu co teraz. I mamy ekspertów, którzy przynoszą jakąś wiedzę, ale ta wiedza nie jest osadzona w kontekście instytucji, jest to takie pobieżne prześlizgiwanie się. I oczywiście słusznie punktowana krytyka w kierunku wielu raportów, które opierają się tylko i wyłącznie na opiniach, mamy zalew sondaży, a właściwie nie ewaluacji a sondaży. Jeszcze mając taką krótką refleksję, żeby nie mówić tylko, że to brak ekspertów, kiepscy 17 Czwartek u Ekonomistów - 15 marca 2012 r. wykonawcy, ta wina troszkę leży w nas. Kiedy naszych kolegów tych właśnie bardzo zaawansowanych, zlecających badanie ewaluacyjne i w ogóle badanie dla sektora publicznego, o najważniejsze cechy, trzy najważniejsze, które dla nich są ważne w ich pracy, cechy wykonawcy, to oczywiście na pierwszym miejscu znalazła się informacja, że umie przekładać wyniki badań na praktyczne rozwiązania. Ale, pragnę zwrócić państwa uwagę, że tylko co trzecia osoba to powiedziała, niestety. Także niestety, instytucje publiczne jeszcze dużo muszą się nauczyć i nie możemy niestety wszystkiego zwalić na zamówienia publiczne, chociaż pewnie byśmy bardzo chcieli. Obiecałam państwu, że taka krótka refleksja na temat sukcesu ewaluacji. Jak ten sukces ewaluacji w ogóle w instytucji osiągnąć, to przede wszystkim musicie państwo pamiętać, że jeżeli nie będzie rzetelnej informacji, nie będzie pogłębionych wniosków i użytecznych rekomendacji, to niestety nie możemy mówić o sukcesie ewaluacji, ale może się też zdarzyć tak, że mamy świetnych ekspertów, znajomość biznesu naszego, klienta naszej instytucji, ale nie mamy umiejętności komunikacyjnych. Ja państwa przepraszałam za ten taki żargon trochę ze sprzedaży, troszkę tak jest. My musimy umieć komunikować, opierać się o nasze wyniki, bo niestety mamy tendencja do pisania opasłych raportów i tak je wręczamy, i uciekamy. Tak to mniej więcej wygląda w praktyce. Niestety mamy różnych klientów, potem będę jeszcze mówiła za chwilę, różnych odbiorców na różnym poziomie, również intelektualnym. W tym gronie możemy absolutnie o tym mówić, że polskie społeczeństwo niestety nie potrafi czytać wyników badań i to na różnym poziomie instytucjonalnym. Jeżeli tego nie będzie, nie możemy mówić o sukcesie ewaluacji. Możemy mieć wysokiej jakości produkt, możemy mieć bardzo użyteczne rozwiązania dla klienta, ale nie będziemy potrafili go sprzedać i znowu poniesiemy fiasko. Na koniec w sumie chciałabym powiedzieć o kilku ograniczeniach, o których państwo musicie pamiętać, zanim w ogóle zaczniecie robić ewaluację. Przede wszystkim musicie wiedzieć do kogo tę ewaluację kierujecie, kto będzie odbiorcą i nie tylko decydenci, nie tylko podatnicy, ale również ci szeregowi pracownicy, środowisko naukowe, bo z niego będziemy w przyszłości czerpać również ekspertów. Ludzie, którzy się zajmują wdrażaniem danej interwencji, ale również media. Z nimi 18 Czwartek u Ekonomistów - 15 marca 2012 r. niestety jest najgorzej. Bardzo polecam pewną debatę, która się odbyła bodajże dwa lata temu, zaprosiliśmy na jedno ze spotkań dziennikarzy, z którymi chcieliśmy porozmawiać tak trochę dlaczego oni właściwie nie chcą skorzystać z tej ewaluacji. Takie fajne ciekawe raporty, właściwie jest o czym pisać, a oni w ogóle nie chcą pisać. I oni odpowiedzieli wprost, ... się sprzedaje, my musimy sprzedać gazetę. Amen. A po drugie nasz też spunktowali, że tak piszecie te raporty, że nikt nie ma czasu ich czytać i informację, którą nam przekazujecie niestety jest dla nas bezużyteczna, bo my rano przychodzimy do pracy, mamy szybko napisać artykuł i nie mamy czasu czytać 250 stron. To co jest jeszcze ograniczeniem w procesie realizacji ewaluacji to, o ile jest to możliwe, musicie państwo unikać takiego psychobosa, który mówi, Iksiński, żeby ci źle nie wyszło z tej ewaluacji, ma być wszystko pięknie. To jest bardzo duże ograniczenie ewaluacji i niestety instytucje publiczne nie są od tego wolne. Czego jeszcze trzeba unikać. Oczywiście ewaluacji, która jest do szuflady i najlepiej zróbmy taką ewaluację, żeby nikt się o niej nie dowiedział, zróbmy ją dla siebie, ale też gwoli jakiejś dyskusji i debaty, nie jestem zwolenniczką, że każdy rodzaj ewaluacji powinien być upubliczniony. Na to niestety nie mamy wpływu, bo mamy takich szefów, którzy nie chcą słuchać wyników i oczywiście możemy nad nimi pracować, jest to ciężka praca, ale nie zawsze mamy to szczęście, które ja miałam. I oczywiście procesem, ograniczeniem procesu komunikacji, w ogóle sukcesu ewaluacji jest to, że często po drugiej stronie siedzi kosmita, który po pierwsze nie rozumie naszego biznesu, czyli ten ewaluator, przychodzi z jakimiś rozwiązaniami, które w ogóle są, przepraszam za kolokwializm, od czapy, w dodatku mówi jakimś naukowym, dziwacznym, naukowym językiem i co my mamy z tym zrobić. Płacić, nie płacić. Jak nie wiemy co on do nas mówi, to oczywiście pewnie ze względów formalnych musimy zapłacić, ale czy jest to dla nas użyteczne. Dzieje się trochę tak dlatego, że język raportów, została zrobiona taka analiza u prof. Miotka, językoznawców, dlaczego oni mają ten problem z tymi raportami, dlaczego my się nie możemy przebić do mediów, to tak przyjrzyjmy, gdzie my się splasujemy z tymi raportami i nagle okazało się, że języki raportów są tak językiem 19 Czwartek u Ekonomistów - 15 marca 2012 r. hermetycznym i naukowym napisane, że po prostu nikt nie jest w stanie, nikt kto nie jest specjalistą w danej dziedzinie ich zrozumieć i przeczytać i to jest podstawowe zadanie dla ewaluatorów i dla nas, żeby ten język trochę uprościć i tak bardziej do ludzi. Bardzo polecam tę ekspertyzę, został wydany raport przez Ministerstwo Rozwoju Regionalnego, taka mała podpowiedź i również na stronach konferencji oczywiście ewaluacyjnej, procesem prezentacja ograniczeniem, w całości procesu pana ... komunikacji, jest ale dostępna. również I naszego sukcesu są te opasłe raporty, dlaczego te opasłe raporty powstają, to taki mały żarcik. Jedno zdjęcie ewaluacja mogła produktem i zastosuję. osiągnąć sukces, decydentami, ale Podsumowując, to nie również sam to co tylko warunki jest produkt brzegowe, z istotne, to i nad praca których żeby tym ewaluacja funkcjonuje. Pierwszym podstawowym, to jest potencjał instytucjonalny, również bardzo ważne są, jaka komunikacja jest wewnątrz instytucji, ale również jaka komunikacja kultura jest dla naszej organizacyjna instytucji instytucji, z szalenie otoczeniem zewnętrznym, ważne, muszę nie jaka jest państwu tego tłumaczyć, mam nadzieję. I oczywiście kolejna lista pytań, to przede wszystkim państwo musicie sobie odpowiedzieć na pytanie, jaka jest rzeczywista rola, jaką ewaluację pełni w sektorze publicznym, w państwa instytucji. Komputer odmówił współpracy, ja postaram się zreferować. Musicie państwo jeszcze zwrócić uwagę na takie aspekty jak stabilność instytucjonalna waszej instytucji. Ja mam to szczęście, że moja instytucja trwa, i co 5 minut mi się nie zmieniają warunki brzegowe działania, ale już w mojej historii przeszła lawinę od projektów skierowanych do ryku pracy i osób bezrobotnych, po budowę dróg, mostów i projekty środowiskowe typu budowanie oczyszczalni ścieków czy oczyszczanie jezior. Także to są niestety infrastrukturalne, warunki bardzo brzegowe. krótko, Na nie szczęście zdążyłam te się wszystkie wdrożyć, projekty nie jestem specjalistką od tego, bardzo trudny temat. Oczywiście jeszcze istotną rzeczą dla funkcjonowania ewaluacji jest również to jakie są warunki polityczne. Oczywiście ewaluacja będzie kwitła, jeżeli będą środki z funduszy europejskich, ale jeżeli one się skończą, czy tak naprawdę będzie takim super modnym i użytecznym 20 Czwartek u Ekonomistów - 15 marca 2012 r. narzędziem co do tego nie jestem przekonana. OK. I ostatnia lista pytań, na zupełne zakończenie, jeżeli mogę państwa z czymś zostawić, to oczywiście to jest zadanie dla was, musicie się zastanowić co jesteście wy w stanie zrobić, osoby, które sięgają po ewaluacją, żeby wasz klient zwrócił uwagę i skoncentrował się na przekazie płynącym z ewaluacji, zrozumiał w ogóle jakie rozwiązania my mu proponujemy wynikające z tej ewaluacji, dostrzegł korzyści i przyjął te korzyści i rozwiązania jako swoje rozwiązania, których chce użyć, wdrożył proponowane przez ewaluatorów rozwiązania i to najważniejsze, mógł się wypowiedzieć. OK. To tyle, jeżeli chodzi o tą bardzo krótką refleksję z tego 10-letniego doświadczenia w zakresie ewaluacji. Ja zapraszam państwa na stronę Polskiej Agencji Rozwoju Przedsiębiorczości, Dzisiaj miałam tam okazję znajdziecie przywieźć trochę zupełnie refleksji gorącą w postaci książeczkę, publikacji. która przyszła dzisiaj rano z drukarni. Wydajemy je raz w roku. To jest taka refleksja na temat tego, co robimy, jak robimy. Do tej refleksji zapraszamy najlepszych specjalistów w dziedzinie, a tę książkę, którą dzisiaj państwu przekazałam, to jest ta czerwona, bordowa książeczka, to jest nasza refleksja na temat metodologii, ale we wcześniejszych znajdziecie publikacjach, państwo również które refleksję są na dostępne temat na stronie funkcjonowania internetowej, ewaluacji w instytucji, na temat różnych typów ewaluacji, także bardzo polecam i zachęcam do odwiedzenia strony konferencji. W tym roku będzie VIII Konferencja Ewaluacyjną, którą PARP organizuje wspólnie z Ministerstwem Rozwoju Regionalnego. Bardzo dziękuję i liczę na dyskusję. Pani prof. Elżbieta Mączyńska, prezes PTE Bardzo dziękuję. Teraz poproszę, według kolejności, 7 minut, Pan Michał Kołodziejski, Narodowe Centrum Nauki. Pan Michał Kołodziejski, Narodowe Centrum Nauki Będę się starał nawet krócej, ale zanim zabiorę głos, to ... Pani prof. Elżbieta Mączyńska, prezes PTE Proszę państwa, zanim pan się zainstaluje, czy są jakieś może pytania, uwagi, prośby. Proszą bardzo, tylko proszę się przedstawić. Proszę pana, proszę się 21 Czwartek u Ekonomistów - 15 marca 2012 r. przedstawić z imienia i nazwiska do mikrofonu, ponieważ będzie to stenogram z tego. Pan Leopold Rolek Mały przedsiębiorca, innowator. Chciałem zaprezentować i przekazać do sprawdzenia ewaluację w moim najistotniejszy, wykonaniu. zmniejszenie Ona emisji dotyczy tego problemu, dwutlenku węgla i który ograniczenie jest zużycia energii. To są dość pokaźne ilości, bo w przypadku tego oszacowanego przeze mnie projektu, jest to ograniczenie zużycia energii 10 terawatogodzin, a zmniejszenie, ograniczenie dwutlenku węgla 12 mln ton rocznie. I chciałbym to przekazać z prośbą o ewentualne przeanalizowanie, ewentualnie wsparcie i do współpracy. Pani prof. Elżbieta Mączyńska, prezes PTE Dziękuję bardzo. Jeszcze dopuścimy pana prof. Jana Solarza i potem panu oddamy głos. Proszę bardzo. Pan prof. Jan Solarz Ja chciałbym powiedzieć o tym kontekście politycznym. Chcę powiedzieć w ten sposób, że miałem przyjemność rozmawiać z szefową audytu Komisji Europejskiej. Zapytałem ją dlaczego nie stosuje metod, analizy, nakłady, efekty, jak to wygląda wydatkowanie środków. Ona mi odpowiedziała w ten sposób, proszą pana my nie dogadamy się żadnej jednej metody, musimy scedować to na kraje członkostwie, na beneficjentów i państwa muszą opracować. Wobec czego wyraźna niechęć do próby znalezienia jednej metody tak jak Amerykanie proponowali, mieli i stosowali, po prostu w Europie to wywołało awersję i w związku z czym zdecentralizowano i powstał ten rynek ewaluacji. Więc chcę pokazać, że przyczyna jest podstawowa, wyboru celu się nie dyskutuje. I tu chciałbym zwrócić uwagę, że z tej metodologii nie ma ewaluacji wyboru celu. Cel się przyjmuje komentarz. Pani prof. Elżbieta Mączyńska, prezes PTE Bardzo dziękuję panie profesorze. Proszę bardzo. Pan Michał Kołodziejski, Narodowe Centrum Nauki zadany, objawiony. Taki 22 Czwartek u Ekonomistów - 15 marca 2012 r. Dobry wieczór. Michał Kołodziejski. Bardzo przepraszam za spóźnienie, tak się składa zaufałem tak naprawdę po raz kolejny, myślę, że nie ostatni. Natomiast ja dwa słowa. Wywodzę się, gdzieś tam w części z Polskiej Agencji Rozwoju Przedsiębiorczości, gdzie spędziłem kilka lat pracy, więc te ewaluacyjne jakby PARP-u podejście do rzeczy bynajmniej nie jest mi obce. Natomiast dwa słowa na temat działalności Narodowego Centrum Nauki i tematyki ewaluacji w działalności tej świeżej, bo istniejącej od ponad roku agencji wykonawczej, która zajmuje się finansowaniem badań podstawowych. Jej utworzenie pod koniec 2010, rozpoczęcie działalności, tak powiedzmy niemalże z marszu w 2011 r. wprowadziło szereg nowych rozwiązań w dotychczasowym modelu finansowania nauki. Można by się nad tym długo rozwodzić. Jedyną rzeczą, na którą chciałem zwrócić uwagę, ponieważ to może się przewinąć później w toku mojej wypowiedzi, to fakt, iż jakby całe spektrum nauki podzielono na 25 paneli dziedzinowych, które to panele jakby podzielone nieco inaczej, niż dotychczasowa klasyfikacja, która funkcjonowała w Ministerstwie Nauki i Szkolnictwa Wyższego, w zamiarze mają objąć cały obszar wiedzy. Także już ten fakt uzmysławia nam, jak szeroką tematyką zajmuje się Narodowe Centrum Nauki, że jest to bardzo obszerna kwestia i zaraz wskażę skalę działań Centrum w 2011 r. Jak państwo widzą tu podałem kilka liczb. Przygotowano i ogłoszono 11 naukowych konkursów, w 2011 r. zakończono 4 pierwsze z nich, przyjęto prawie 15 tys. nowych projektów badawczych, a jednocześnie przejęto z MNiSzW ponad 11 tys., ponad 11,5 tys. projektów jakby już trwających, które albo są zakończone, albo jeszcze są finansowane. Kontynuowano finansowanie nauki, to był jeden z głównych celów, które, czy wyzwań, które się pojawiły przed NCN już w samym momencie jego powstania, to znaczy by zachować tą ciągłość finansowania badań, która jest z roku na rok utrzymywana i w związku z tym w ramach prowadzonych prac już później nad projektami, współpracowano z bardzo szerokim gronem ekspertów zewnętrznych i recenzentów zewnętrznych, to w zależności od jakby danego, w zależności od etapu oceny danego projektu. Przy czym wprowadzono także obligatoryjnie recenzentów zagranicznych, których udało się pozyskać na razie w stopniu 10 proc. w stosunku do wszystkich ekspertów. Krótki slajd pokazujący jakby budżet Centrum, poglądowo 23 Czwartek u Ekonomistów - 15 marca 2012 r. dla państwa nie ma co nad nim rozwodzić. Krótka statystyka dotycząca pierwszych konkursów NCN, które zostały zakończone w 2011 r. Złożono prawie 8 tys. wniosków, wybrano dofinansowania prawie 2 tys. wniosków, kształtuje się na poziomie jednej czwartej dla całej populacji wnioskodawców. Podpisano prawie 2 tys. umów. Cały budżet tego konkursu wynosił prawie pół miliarda złotych. Jak państwo widzicie tutaj pojawia się nazwa ..., to są nazwy konkursów NCN, nie wszystkich. Niektóre jako, że centrum obligatoryjnie, z mocy ustawy wspiera, co najmniej 20 proc. swoich środków przeznacza na finansowanie osób rozpoczynających karierę naukową. Dwa za tych konkursów, Preludium i konkurs Sonata są przeznaczone właśnie dla osób rozpoczynających karierę naukową, czyli jak państwo widzicie 33 proc. w ramach całego tego tortu zostało przeznaczone właśnie dla osób, nie licząc osób, które złożyły projekty w ramach konkursu Opus czy Harmonia, młodych naukowców, którzy złożyli w ramach tych konkursów swoje projekty badawcze. Dwa słowa na temat procesu oceny kwalifikacji projektów badawczych do finansowania. Ten obrazowy slajd ma za zadanie uzmysłowić, że prócz takiej oceny wstępnej formalnej tego progu, który należy przeskoczyć, znaleźć się w gronie projektodawców ocenianych pod kątem już merytorycznych ekspertów NCN, mamy dwa etapy oceny merytorycznej i po każdym z nich są prowadzone takie spotkania panelowe, na których projekty są dyskutowane. Po ostatnim spotkaniu panelowym ustala się listę rankingową. I teraz już przechodzę do kwestii ewaluacyjnych. Jakie możemy mieć te poziomy, na jakich poziomach możemy rozpatrywać ewaluację w Narodowym Centrum Nauki. Czyli ewaluacja samej jakby instytucji, czyli jakości działania i tego, czy wypełnia założone dla tej instytucji jakieś wskaźniki, czy cele. Następnie ewaluacja samego procesu, wyboru projektu do finansowania. Jak państwo sobie na pewno zdajecie sprawę sam proces jest niezwykle istotny, zwłaszcza w tak wrażliwej dziedzinie jaką jest finansowanie badań naukowych, a zatem jest to jeden z tych wymiarów, w którym ewaluacja na pewno byłaby możliwa i wskazana. Ponadto ewaluacja jakby samych konkursów, których jest aktualnie siedem rodzajów, a zatem prowadzonych już w tym momencie cyklicznie, czy założonych, organizowanie będzie cyklicznie, ale ta cykliczność gwarantuje też taką dosłownie dopieszczanie 24 Czwartek u Ekonomistów - 15 marca 2012 r. tych konkursów, albo też reagowanie elastyczne na to co wyszło w trakcie ich realizacji, jesteśmy w takim pionierskim etapie, pierwszy rok działalności, w którym centrum działało w pewnym sensie z marszu i jakby już to widać, że w stosunku do tych konkursów, które są organizowane zmieniają się trochę zasady kolejnych konkursów, nawet tych samych rodzajów konkursów. Wreszcie ewaluacja samych projektów badawczych na podstawie danych sprawozdawczych, czy raportów końcowych. Jakie mamy doświadczenie. Przede wszystkim moja obecność tutaj, to także poświadczenie faktu, że jesteśmy otwarci na doświadczenia płynące także od innych, którzy zajmują się finansowaniem w ramach różnych konkursów działalności badawczej. Póki co, z konieczności ewaluacja nasza to pewna analiza sytuacji, pewna wstępna diagnoza działalności i należy ją rozumieć jako ewaluację prowadzoną także do celów sprawozdawczych, która dotyczy jakby analizy stopnia osiągniętych wskaźników dla samego Centrum. Jeżeli chodzi o samo finansowanie tego spektrum nauki, o którym mówiłem, które się mieści w tych trzech głównych działach nauki, nauk o życiu, nauk humanistycznych, społecznych i o sztuce oraz nauk ścisłych i technicznych i mieszczących się w ramach tych trzech głównych działów 25 paneli, to warto pamiętać o tym, że np. jeżeli chodzi o proces wyboru projektów, to jest to tak, to są tak różne rzeczywistości tak naprawdę, gdzie spotykają się humaniści, ludzie nauk ścisłych i oni dyskutują, że bardzo trudno znaleźć ten wspólny mianownik, który nie byłby jakby w dużym stopniu ogólności dla zbadania, pamiętać, że dla taka jakiej takiej ewaluacja już przekrojowej bardziej ex ewaluacji post tego będzie procesu. ... w Należy dłuższej perspektywie czasowej. Jeżeli podpisaliśmy umowę pod koniec ub. roku, to projekty ruszyły, skończą się najwcześniej, większość ich będzie trwała pewnie rok, dwa, trzy lata, albo i dłużej, a zatem należy pamiętać o tym, że jeszcze publikowanie wyników prac naukowych będzie trwało trochę, uzyskiwanie tych informacji. Więc widzimy, że to jest dość odległa perspektywa czasowa. I oczywiście ostatnia rzecz, o której chciałem powiedzieć, to że ten system ewaluacji jest wciąż tworzony, tak jak i tworzone są doprecyzowane są z konkursu na konkurs założenia 25 Czwartek u Ekonomistów - 15 marca 2012 r. konkursów w NCN. Jakby to, jest trochę czas na przygotowanie właściwego gruntu dla ewaluacji w tych różnych wymiarach. Dziękuję. Pani prof. Elżbieta Mączyńska, prezes PTE Dziękuję bardzo. Teraz proszę panią Martę Łazarowicz, Fundacja Nauki Polskiej. Pani prof. Elżbieta Mączyńska, prezes PTE Może w międzyczasie jakieś pytania. Pan prof. Starzyk. Pan prof. Kazimierz Starzyk Jeżeli można jeszcze, później w dalszej części zadać pytanie, teraz mam pytanie do pana dr dzisiejszej Kozłowskiego, naszej jeżeli dyskusji. można, Skąd do macie bardzo ciekawego kompetencje wprowadzenia transferowe badaczy. do Na trzeciej stronie, w ostatnim akapicie jest takie stwierdzenie i mam też taką uwagę, ewentualnie chciałem pytanie później, ale może teraz już to pytanie zadam. Właściwie to nie jest pytanie, tylko komentarz, bo w tej informacji, którą żeśmy otrzymali jest takie stwierdzenie, że na ewaluację przeznacza się od jeden do trzech procent nakładów na B+R. To jest bardzo ciekawa informacja, bo to oznacza, że lepiej jednak zająć być może ewaluacją, niż samymi badaniami, ale to tak na marginesie. Dziękuję. Pani Marta Łazarowicz, Fundacja Nauki Polskiej Ja od razu przepraszam, będę przeskakiwać niektóre slajdy, żeby rzeczywiście trochę skrócić swoją prezentację. Chciałabym powiedzieć króciutko o .... Kontekst naszych działań i naszej ewaluacji jest trochę inny, niż to o czym do tej pory była mowa. Chciałam powiedzieć jakie robimy ewaluacje i jakie wyzwania w związku z tym musimy podejmować. Fundacja na rzecz nauki polskiej jest największą organizacją pozarządową finansującą naukę. Powstała w 91 r. W ciągu tych 20 lat wydatki na naukę przekroczyły 460 mln zł. Dla nas to jest mnóstwo w porównaniu z instytucjami innymi, to jest drobna skala. Obecnie wydatki nasze na naukę są znacząco wyższe dzięki środkom strukturalnym Unii Europejskiej. Korzystamy z nich od 2008 r. i to jest ogromny zastrzyk. Także np. w ubiegłym roku nasz budżet to było 100 mln zł mniej więcej, 104 powiedzmy, z czego 90 mln to są właśnie środki strukturalne Unii Europejskiej. To trochę zmienia naszą sytuację jeśli chodzi o 26 Czwartek u Ekonomistów - 15 marca 2012 r. ewaluację i o tym jeszcze wspomnę. Podstawowe formy działalności. My wspieramy przede wszystkim indywidualnych naukowców. To jest dosyć specyficzne również ze względów na ewaluację, to są stypendia i nagrody, różnego rodzaju subsydia dla indywidualnych naukowców. To się trochę inaczej ewaluuje, niż granty. Wspieranie, to co ważne, to wspieramy działalność obejmuje komplikacja jeśli naukowców wszystkie chodzi o na wszystkich dziedziny ewaluację, nauki, bo etapach to oznacza też kariery jest to, że i bardzo tak nasza duża naprawdę w działalności na stosunkowo niewielką skalę mamy ogromną różnorodność ocenianych działań. Mamy w tej chwili 17 programów właśnie cyklicznie realizowanych, co oznacza duże rozproszenie i też jest to również wyzwanie ewaluacyjne, bo jest kwestia tego, co ewaluować, czy wszystkie te programy, czy niektóre, jak koszty ewaluacji, w jakim stopniu rozsądne jest wydawanie pieniędzy na ewaluację. To jest taka próbka przedstawiania naszych programów, to jest siatka, te programy się na siebie nakładają, one mają rozmaite cele, ich jest po prostu bardzo dużo. Podstawowym zadaniem ewaluacyjnym jest tak naprawdę określenie mocnych i słabszych stron naszej działalności po to, aby móc się skupić na tym, co wychodzi nam najlepiej i w czym nasze działania są unikatowe. Zasady działania fundacji, przede wszystkim przejrzystość to myślę są i otwarte ewaluacja, konkursy kodeksy i ... niezależny i system ewaluacja recenzencki, jest takim ważnym elementem budowania wiarygodności i podnoszenia jakości tych naszych działań. Mówiąc o ewaluacji, działań, ja nie nazywamy procesem ja mówię mam o na myśli ewaluacji recenzji, to ewaluację wniosków, różnie, w ex które różnych post do i nas ewaluację naszych napływają, instytucjach się bo to określa. W każdym razie to czym ja się zajmuję, to jest ewaluacja naszych działań i to polega na monitoringu prowadzonych konkursów, na ewaluacji poszczególnych programów, na ewaluacji łącznej, całego naszego ... programowego i ewaluacji procesów, np. oceny recenzenckie. To jest taka ewaluacja, która idzie jakby przekrojowo przez wszystkie programy i przyglądamy się temu, w jaki sposób traktowane są, oceniane, napływające do nas wnioski w zależności od tego, czego dotyczą, sposobu oceny wniosków. To jest bardzo trudne zadanie jak wiadomo i 27 Czwartek u Ekonomistów - 15 marca 2012 r. trzeba mu się przyglądać. Jeśli chodzi o ewaluację programów, to pytanie ewaluacyjne, które sobie zazwyczaj stawiamy, one się różnią w zależności od programu, to jest to, czy prowadzone działanie odpowiada potrzebom środowiska. Czy założenia programu, takie już operacyjne odpowiadają jego celom, czy program przyciąga najlepszych, możliwych kandydatów. Takich kandydatów na jakich nam zależy. Czy nasze z kolei procedury prowadzą do wyboru najlepszych kandydatów. Zawsze ciekawią nas propozycje zmian, to jest to trochę sondażowe podejście, ale trzymamy się go, bo rzeczywiście z tego podejścia jakościowego wyciągamy bardzo dużo wniosków. I badanie efektów programu. To jest największy problem, zaraz będę o tym mówić więcej. Te efekty programów są po prostu bardzo subtelne, one są rozłożone w czasie, one są uzależnione od bardzo wielu różnych czynników, to nie jest coś co można po prostu w pewnym momencie policzyć i przedstawić w tabeli. Wskaźniki, oczekiwane efekty naszych działań, ponieważ finansujemy indywidualnych naukowców, to są ich osiągnięcia. My liczymy na to, że oni uzyskawszy nasze finansowanie, zresztą finansowanie to działa trochę jak dźwignia, że oni po prostu będą robić dobrą naukę. I teraz jak to zmierzyć. Można oczywiście patrzeć na ich publikacje. Tu się wystrzegamy podejścia ilościowego, ale można ich policzyć, można ich spróbować ocenić ich jakość. To z kolei można zrobić licząc ... To już jest ryzykowne z kolei, bo to jest tak delikatna sprawa w zależności od specjalności badawczej naukowców. Wiadomo, że to jest narzędzie, które trzeba bardzo ostrożnie stosować. Najchętniej byśmy prawdopodobnie mogli, dobrym narzędziem byłoby takie podejścia jakby recenzji ex post, to znaczy pokazania tych publikacji, dorobku naukowców, których żeśmy finansowali do powtórnego, do oceny przez fachowców. Ale to już się robi bardzo kosztowne z kolei. I teraz jest taki problem właśnie kosztów ewaluacji. Jeżeli jest program, bo mamy takie programy, gdzie się przeznacza ogromne pieniądze stosunkowo na kilka projektów, to wtedy rzeczywiście można się zaangażować w bardzo dogłębne ewaluowanie ich. Natomiast mamy też projekty, gdzie wspiera się np. stosunkowo młodych naukowców, niewielkimi kwotami, to są bardzo masowe programy, wtedy pozwolenie sobie na to, żeby metodą ..., metodą recenzencką oglądać ich dorobek, chyba nie jest rozsądne. 28 Czwartek u Ekonomistów - 15 marca 2012 r. W każdym razie przyglądamy się cytowaniem, publikacjom, to jest jednak podstawowy wskaźnik. aczkolwiek Patenty komercjalizacji, charakter finansowanych muszę powiedzieć, przez nas działań że mamy na to ogół na to są uwadze, jednak projekty dotyczące nauk podstawowych i tam nie ma za wiele komercjalizacji. Wewnętrzne finansowanie, to jest dla nas ważny wskaźnik, na ile osoby, na ile naukowcy, których wspieramy są w stanie potem pozyskiwać zewnętrzne granty. Na ile są w stanie finansować swoje projekty badawcze i w związku z tym rozwijać swoją działalność badawczą. Współpraca zagraniczna, to jest też ważny wskaźnik, zwłaszcza, jeżeli bada się go właśnie przez pryzmat publikacji, współautorów, to już jest taka współpraca rzeczywiście udokumentowana, jakaś realna. Wspieranie młodych badaczy, patrzymy co się dzieje z młodymi badaczami, którzy są promowani np. przez naszych laureatów. To jest też ważny wskaźnik. Metody. Robimy ankiety, robimy wywiady. Stosujemy bibliometrię, stosujemy ją bardzo ostrożnie, ciekawi nas to jak publikują nasi beneficjenci, a jednocześnie nie bardzo jesteśmy w stanie robić z tego raporty, ponieważ to jest właśnie to, że jeżeli mamy naukowca, który jest geologiem, matematykiem, fizykiem, biologiem molekularnym, czy lekarzem to po prostu nie da się ich porównać, sposobów publikowania i dynamiki, cytowań. Każdy przypadek jest indywidualny, w związku z tym czasem te narzędzia bibliometryczne pozwalają zobaczyć jak ktoś w ogóle nie publikuje, albo że publikuje bardzo dobrze, to są bardzo dobre tytuły, natomiast to jest trudne do zrobienia w ramach sinego raportu. Zrobiliśmy ewaluację ... programowego, może tylko przedstawię to, żeby pokazać pytania, jakie żeśmy sobie postawili. Do zrobienia tego, tej ewaluacji zaprosiliśmy zewnętrznych ekspertów z zagranicy. Czy nasza oferta programowa jest adekwatna do celów i roli fundacji, czy odpowiada potrzebom środowiska. Jakie ważne potrzeby środowiska naukowego nie były dotychczas, a powinny być adresowane przez fundację, z jakich obszarów fundacja mogłaby się wycofać. Powstały dwie ogromne agencje, być może nie musimy robić tego samego, zwłaszcza, że my działamy na skalę bez porównania mniejszą. Jakie działania najlepiej odpowiadają możliwościom i celom. W jaki sposób możemy wykorzystywać swój status organizacji pozarządowej w kreowaniu oferty 29 Czwartek u Ekonomistów - 15 marca 2012 r. programowej. Pokazuję to jako przykład pytań, które sobie zadajemy, bo to jest, jak o tym żeśmy mówili punkt wyjścia do ewaluacji. I teraz wyzwania. Przede wszystkim jak mierzyć i z czym porównywać efekty naszych działań. Zakładamy, że te efekty to są sukcesy naszych beneficjentów, oczywiście sukcesy naszych beneficjentów wynikały z bardzo wielu innych czynników poza naszym finansowaniem i byłoby to nadużycie, jakby chwalić się tym jako naszym osiągnięciem dlatego mówimy o naszym przyczynianiu się do ich sukcesów i z tego czerpiemy jakby satysfakcję bo nie możemy ich wymieniać jako własnych osiągnięć. Tym niemniej to jest nasz cel, żeby oni mogli osiągać właśnie te sukcesy. Ale to jest jeszcze taki problem powiedzmy ogólny i najłatwiejszy do pokonania. Najtrudniejsza jest ocena jakości, a nie ilości tej pracy naukowej. Mowa była o wskaźnikach. Te wskaźniki jeśli chodzi o badania jakości w nauce stosowane przez OECD, stosowane w Stanach Zjednoczonych, stosowane w Europie, one mniej więcej wiadomo jakie są, to nie jest trudno, trudność nie polega na tym, żeby je zebrać i sobie uświadomić, problem polega na tym, na ile one są adekwatne do tego o co nam naprawdę chodzi. W tej chwili my realizując programy finansowane ze środków strukturalnych toniemy we wskaźnikach i nieustannie każdy projekt jest obudowany całą masą wskaźników, efektywności i szczerze mówiąc pierwszy raz przekonałam się o tym, jak niewiele te wskaźniki mówią o jakości prowadzonych działań i to jest duży problem, bo najchętniej byśmy przedstawiali sprawozdania, w których byśmy robili wykresy, tabele, bo to jest namacalne, te wskaźniki mają tę wartość, że są mierzalne, ale tego na ogół właśnie, to niewiele często mówi. Kolejna rzecz, to jest zróżnicowanie dyscypliny specjalności badawczych. Rzeczywiście w naszych konkursach występują naukowcy prezentujący rozmaite dziedziny, my ich nie potrafimy porównywać ze sobą jeśli chodzi o ewaluowanie ich wskaźników. Jeśli chodzi o recenzenci ich i wybór panele do finansowania ekspertów, to jest natomiast po łatwiejszy, tym bo oglądanie tym ich się zajmują dorobku i porównywanie to jest tak, że na ogół rzeczywiście przyglądając się temu dorobkowi można stwierdzić, to jest imponujące, a to jest takie sobie, ale trudno to z kolei ująć we wskaźniki. Teraz, kwestia czasu. Mowa była o tym, że ewaluację 30 Czwartek u Ekonomistów - 15 marca 2012 r. dobrze jest wykorzystywać do zmian i oczywiście zgadzam się z tym w zupełności. U nas to akurat jest łatwe bo jesteśmy małą instytucją, więc wyniki ewaluacji są na bieżąco dyskutowane jakby w gronie zarządu i rady Problem polega opublikował na takie tym, że badanie, i zmiany są wprowadzane. efekty inwestycji w że po latach to trzech naukę widać ich po zdaniem latach. widać, NSF że publikacje na ogół się ukazują do trzech lat po zakończeniu projektu. Cytowania jakby chcieć obejrzeć, a te cytowania są kluczowe, to jest kolejnych ileś lat, to wszystko jeszcze zależy od dyscypliny badawczej. I tu jest jeszcze kolejny problem. My po pierwsze możemy zaobserwować po jakimś czasie, co z kolei oznacza, że wprowadzanie zmian już jakby dotyczy innych programów, ale poza tym, jest tak, że my tracimy kontakt z czasem, z naszymi beneficjentami. Dopóki oni korzystają z naszego finansowania lub są świeżo po, to możemy im zadawać miliony pytań i dowiadywać się bardzo wielu rzeczy o tym jak oni działają. W momencie, gdy minęło trzy lata, czy cztery, czy pięć, oni na ogół są zajętymi ludźmi i nie będą odpowiadać na nasze szczegółowe zapytania, to nie jest tylko problem nasz, to jest problem wielu podobnych fundacji finansujących naukę, to jest problem z dostępem do danych. Jeśli chodzi o bibliometrię możemy przeszukiwać ..., ale jeśli chodzi o wszelkie inne informacje, o tym jakie pozyskują granty, gdzie aktualnie pracują, jakie mają zespoły, to tego się po prostu po jakimś czasie bardzo trudno dowiedzieć. I już chyba będę kończyć. Dziękuję. Pani prof. Elżbieta Mączyńska, prezes PTE Bardzo dziękuję. Poproszę teraz również na 7 minut panią Agnieszkę Tokaj- Krzewską, Narodowe Centrum Badań i Rozwoju. Proszę państwa, proszę się częstować kawą, herbatą. Pani Agnieszka Tokaj-Krzewska To ja dokonam samoograniczenia na 5 minut, żeby dać szansą innym i poza tym do dyskusji. Ja powiem tak, że co wystąpienie to ja coraz bardziej nie wiem co ja tutaj robię nie wiem poczwórnie. Po pierwsze, moja agencja raczkuje, co zaraz państwo zobaczą w kwestii ewaluacji. W zeszłym roku dział, któremu teraz szefuję nie zrobił ani jednej ewaluacji, za to teraz mamy trwających siedem i mam przed 31 Czwartek u Ekonomistów - 15 marca 2012 r. sobą jeszcze mnóstwo innych, więc to jest pierwsza rzecz. Druga rzecz, mamy tak rozproszone i blokowo i liczbowo programy, że trudno je czasami ogarnąć, ja zaraz pokażę mniej więcej jak to wygląda. Mamy jak gdyby trzy takie bloki związane z ewaluacją. Pierwsza część dotyczy ewaluacji programów z funduszy unijnych po prostu, które przeszły do nas, razem na szczęście z załogą z Ministerstwa Nauki i Szkolnictwa Wyższego. To, czym ja się zajmuję, to jest ten drugi kwadracik, ewaluacja programów Centrum, czyli te programy, które są ze środków krajowych i które są albo same, że tak powiem wymyślane przez centrum, albo realizowane jako programy strategiczne, międzynarodowe, także albo tych jako spraw programy jest dość krajowe. dużo. Mamy Poza tym jeszcze agencja projekty nawet w stosunku do bliźniaczego, zaprzyjaźnionego, narodowego centrum nauki z Krakowa dysponuje takim budżetem, że nie będę się tu chwalić, ale on jest na pewno dużo, dużo większy. Program, który teraz dostałam do ewaluacji na przykład, zakłada uruchomienie po prostu 800 mln zł, to jest tylko jeden program realizowany przez agencję. Po raz kolejny większość rzeczy dotyczyła ewaluacji, programy, które albo trwają, albo się zakończyły, natomiast my. Jeszcze odnosząc się do tego skąd się bierze ewaluacja. W naszym przypadku skąd się bierze ewaluacja, to znaczy rozporządzenia, które nakłada na centrum obowiązek prowadzenia ewaluacji ex ante, więc to z tym ja się stykam i czego jest najwięcej to jest 90 proc. w tej chwili aktywności ewaluacyjnej centrum, to jest ewaluacja programów, które mają być uruchomione i ewaluujemy założenia tychże programów. Od razu powiem, żeby zejść na ziemię z tych wszystkich wielkich opowieści, które tu były, z czym my się naprawdę bijemy, że tak powiem. Co rozumieć przez założenia programu. Ja muszę mieć coś, żeby dać komuś, żeby to zewaluował. Teraz, co ja mu mogę dać? Moi koledzy siedzą i pieszczą te swoje dzieci wychuchane, pt. opis programu i co mogą dać więcej, to nie chcą dać, bo jeszcze nie, bo jeszcze ewaluator źle oceni, bo po co tworzyć dokumenty, to my nie wypuszczajmy, poczekajmy co ewaluacja powie, to wtedy dopiszemy resztę. W związku z tym powyższym dostajemy np. dokument, który liczy sobie 11 stron, mówi o światłych i wspaniałych celach, które zamierzamy osiągnąć. A najlepiej w ogóle we wszystkich możliwych dziedzinach 32 Czwartek u Ekonomistów - 15 marca 2012 r. życia, zrobimy wszystkim dobrze, przy pomocy bliżej nieznanych mi wielkości przyjętych pt. 10 projektów, 20 projektów, 50 projektów za 100 mln. A) Nie wiem skąd się wzięły te wielkości. B) Nie wiem, czy to są wielkości docelowe na zawsze, a z czego startujemy w ogóle, czyli gdzie jest początek, gdzie jest koniec. To jest podstawowa rzecz. Ja się czuję powiem bardzo dziwnie, jak proszę szacownych ewaluatorów niekoniecznie mnóstwo łaskawym, telefonów, ale z tytułami tylko co wszelakimi, krytycznym mamy tu okiem oceniać, żeby i oni spojrzeli dokonali przecież tu oceny, nie jest na to i dostaję napisane. Pierwsza sprawa, która jest, co musimy mieć, jakie dane musimy mieć, co my jako centrum np. czy wszelkie inne instytucje powinny wiedzieć na wyjściu, żeby dać komuś móc ocenić, dawać te 800 mln zł teraz, czy nie, czy cel jest tak szczytny i tak wspaniały z każdej strony go można obejrzeć pod lupą, i będzie taki, że dajemy czy nie, czy się zastanawiamy. Tu się pojawia jeszcze jeden problem, to a propos tego wywołania sprawy mentalności, czy takiego podejścia. Ja wychuchałem, wypieściłem to dziecko, jest taki ładny programik napisany i przychodzi jakiś wstrętny człowiek i mówi, że to dziecko wychuchane przeze mnie ma krzywe ząbki, tak nie może być, w ogóle nie wolno robić takiej ewaluacji, to nie może tak wyglądać, trzeba zmusić i przekonać tego człowieka, który robi ewaluację, żeby on jednak zmienił zdanie, że te ząbki nie są takie krzywe, można założyć aparacik i będzie. To jest jeszcze jeden problem. Kolejny problem to jest taki, kiedy ewaluować, kiedy robić tą ewaluację. Ma mamy coś takiego jak radę centrum, organ opiniodawczy, który formułuje jakieś tam cele strategiczne, itd. Zdarzyło mi się już dwukrotnie zlecić wykonanie ewaluacji po tym, jak rada pozytywnie zaopiniowała program. To ja się pytam po co? Tu jest napisane po co, dlatego, że mamy ewaluować założenia. Musimy się cofnąć do początków i tak jak się instytucja tworzy to budować od początku system, który tak nie będzie. To znaczy, po to robimy takie ewaluacje, żeby one miały ręce i nogi, nie lądowały w szufladzie. Jeżeli będziemy tak robić, to one dokładnie będą lądowały w szufladzie i z nich nic nie będzie. Będzie sztuka, nawet nie musi być to ..., bo sobie wywiesimy bardzo ładną prezentację na stronie internetowej, będziemy mieli zakładkę 33 Czwartek u Ekonomistów - 15 marca 2012 r. ewaluacyjną i tam sobie będziemy to podwieszać, tylko co dalej. Jeżeli wewnątrz instytucji, to też jest poza protokołem, jest coś takiego, zróbmy wszystko tak, żeby nie trzeba było modyfikować programu, to znowu wracam, po co jest ewaluacja ex ante, po to, żeby ewentualnie właśnie ten program zmodyfikować i zrobić go lepszym. Punkt wyjścia jest nienajlepszy. Jak to wygląda. W 2011 r. programów centrum w ogóle nie ewaluowaliśmy, były dwa, w ramach ... zrobione, w tej chwili jestem w sytuacji, w której mam siedem uruchomionych jak mówiłam. Jedna jest zakończona ex ante programów badań stosowanych, pozostałe trwają. Planowanych jest też mnóstwo. I kolejny problem. Ja mam ustalony plan ewaluacji na dany rok. Ja się przygotowuję, robię budżet, ale jestem w tej szczęśliwej sytuacji, że dzisiaj się dowiedziałam, że mój budżet jest nieograniczony. Mogę się radośnie podzielić, że jest nieograniczony i ja mogę robić, tylko problem polega na tym, że ja wypisałam instytucji, to dla czy państwa, nie będzie ja np. tak, nie że wiem, ja czy znowu jak usłyszę ja tak jutro jak wrócę w do zeszłym tygodniu, ale zapomnieliśmy o dwóch programach, bo jeszcze dwa programy będą uruchamiane i koniecznie trzeba na kolejną radę zrobić ewaluację. Tempo, czas i wrzutki. Cały czas coś się takiego dzieje, więc my się musimy wszyscy zastanowić na tym, czy my się będziemy sztywno trzymać litery prawa, pt. ... coś zrobić, byleby zrobić, czy to ma mieć sens. Jaki jest problem? Dlaczego ta ewaluacja trwa tak długo. Nikt się nie pyta dlaczego kosztuje, chcesz tyle, to masz tyle, dlaczego to trwa tak długo. Ja muszę ten program uruchomić za dwa tygodnie, dlaczego ty mi nie możesz zrobić ewaluacji w dwa tygodnie. Nie da się, wszystko można zrobić, tylko po co, po to, żeby sztukę robić. Wielość projektów. Ja się nie znam, podobnie jak koleżanka na takich rzeczach, niestety muszę się znać a inicjatywach technologicznych, teraz mam program medyczny, mamy naprawdę spektrum, przekrój tego co ewaluujemy, w jakim czasie bardzo duży, więc to jest kolejna ważna rzecz, bo to chodzi też o sposób. A) Ścieżkę postępowania. U nas jest coś takiego, że nie bardzo można zlecić ewaluację po prostu firmie zewnętrznej, tak jak się przyzwyczaiłam to robić w Polskiej Agencji Rozwoju Przedsiębiorczości, gdzie wyłanialiśmy w drodze przetargu, itd. itd. Mamy czasami 34 Czwartek u Ekonomistów - 15 marca 2012 r. takie programy, które wymagają wysokiej klasy wąsko wyspecjalizowanych osób. I teraz mamy albo szukamy na własną rękę, przeszukując nasze bazy danych, te osoby, one w trybie takim eksperckim po prostu oceniają dany program, albo narzucamy firmom, że muszą wybrać jakiś konkretnych ekspertów. Z czym jest jeszcze problem. A) że to są wąskie specjalizacje, a b), że nie może być tzw. konfliktu interesów. Czyli, jeżeli dana osoba będzie później chciała aplikować o te środki, to ona nie może uczestniczyć w ocenie programów, to nie jest wcale takie łatwe, żeby takie osoby znaleźć. Punkt c) brzmi, a za chwilę będzie NIK i zapyta się dlaczego, tyle razy powtarza się dana osoba. Ano dlatego, że jest specjalistą w takiej dziedzinie dlatego, że nie chce aplikować o środki, dlatego, że może to ocenić i nie mamy jak gdyby wyjścia, więc to jest takie sprowadzenie pewnych rzeczy na ziemię. Z moich doświadczeń wynika coś takiego, żeby zakończyć. Czyli, tryb postępowania. Przy ewaluacjach ex ante dla mnie to jest największe ograniczenie, czyli na co się zdecydować. Na taką wersją właśnie, że szukam wąskich specjalistów i one mi oceniają program i zawsze może być zarzut, że to jest recenzja programu, a program już wcześniej recenzowany. Czy droga firmowa, wtedy jest kłopot, bo nie ukrywajmy, że sporo tych firm, które robią ewaluację, to raz, że robią ewaluację wszystkiego, b) robią badania wszystkiego, c) jak przygotują ofertę to nawet czasami zapominają napisać, jakiego to projektu dotyczy, czy programu, bo przyklejają z poprzednich ofert te składy zespołów i wszystko, więc jest to dość trudne. Jeśli chodzi o zamówienia publiczne, ja w ogóle bardzo przepraszam, ale jestem wrogiem zamówień publicznych, jeśli chodzi o badania, bo to jest dla robót budowlanych, dla cateringu i różnych takich rzeczy, a nie dla badań społecznych, czy badań ewaluacyjnych. Kolejne rzeczy, to są związane, no właśnie, każde badanie ewaluacyjne jest inne. Tak jak bardzo długo tłumaczyłam, że nie można zrobić czegoś takiego, żeby na początku roku w styczniu zamówić ewaluację wszystkiego, że tych ewaluacji będzie X, za kwotę Y, bo to już się nie da, każda jest inna. Będzie musiała ta biedna firma wybierać za każdym razem jakieś zespoły ekspertów, po prostu każda ewaluacja jest inna, jak grochem o ścianę, trudno. Niemniej, z drugiej strony są pewne rzeczy, które wydaje mi się, 35 Czwartek u Ekonomistów - 15 marca 2012 r. że warto by było, żebyśmy jakoś tam wszyscy sobie wypracowywali, np. jeśli chodzi o te standardy przygotowywania specyfikacji. Ja widzę z jednej strony takie dążenie do tego, żeby wszystko absolutnie oceniać do samego, za doświadczenie takie 1,5 punktu, za doświadczenie jakieś, to się kwalifikuje do tego, żeby jedynym kryterium oceny była cena wtedy, a ja całą specyfikację przygotowałam, to w ogóle oceniam tylko jeśli chodzi o cenę. Teraz znaleźć złoty środek, między tym, żeby te firmy zmusić trochę do myślenia, żeby dały nam swoją wiedzę, a takim dążeniem do samoograniczeń. I ostatnia rzecz, czyli to co najbardziej boli, czyli wypracowywanie rekomendacji. Dlaczego ewaluacje są nielubiany. My jesteśmy traktowani w agencji trochę jak piąta kolumna, bo na pewno chodzimy, węszymy, prosimy o papiery i znowu coś chcemy nie tak, na pewno gdzieś tam zajrzymy. Ja np. słyszałam, a czym to grozi jak ja coś powiem, co mnie za to spotka. Więc ja się bardzo dziwię, jak to co spotka. Jak ja napiszę, że nie przyjmuję tej rekomendacji ewaluator, to jakie dla mnie są konsekwencje, to jest taki sposób myślenia, niestety z tym się trzeba zmierzyć i ja bym jeszcze raz weszła do tej samej rzeki, bo to już kiedyś było, a ja teraz mam to jeszcze raz, tylko w zwiększonym wymiarze, to trzeba wiedzieć. A z drugiej strony już naprawdę tylko raportów przejrzałam i przeczytałam, że ja rozumiem moich kolegów, że jeżeli oni dostają rekomendację na poziomie ustawodawcy to co oni mogą zrobić, zmiana w ustawie, to przecież nie wdrożą takiej rekomendacji. Mogą powiedzieć, no dobra, no i co? Albo coś, co np. jest w ogóle niezgodne, też się zdarza z funkcjonowaniem danej instytucji, po prostu ta instytucja czegoś nie robi. Ja miałam taką rekomendację, żeby dany program uczynić bardziej regionalnym. Ludzie, przecież to centrum powstało po to, żeby te programy miały charakter centralny, od takich działań są np. programy operacyjne, albo inne. Więc to jest niezrozumienie z dwóch stron, takie zderzenie dwóch światów, dwóch kultur, nie mówiąc o tym, że jak przychodzi ewaluator, to on wie wszystko na dany temat. Kończąc, momencie, jest a) początek, czyli bo my jesteśmy na państwo starcie i złapali tych mnie naszych chyba w niewłaściwym doświadczeń, to są doświadczenia rozbiegówki, my mamy 60 m przebiegnięte, czeka nas jeszcze dość 36 Czwartek u Ekonomistów - 15 marca 2012 r. długi maraton. Dwa. Jak mówię, może jedyna nadzieja, że uda się przebić z takim pomysłem, żeby te ewaluacje ex ante miały ręce i nogi i nie były tylko robione dlatego, że jest coś takiego napisane. Liczę na współpracę wszelaką i taki dobry PR i wymuszanie pewnych zachowań. Pani Barbara Warzybok, Ośrodek Przetwarzania Informacji Nie byłabym sobą, jakbym czegoś nie zmieniła w swojej prezentacji ad hoc. Pani prof. Elżbieta Mączyńska, prezes PTE Też siedem minut. Pani Barbara Warzybok Tak, 7 minut, natomiast będziecie państwo świadkami troszeczkę pracy twórczej. Nazywam się Barbara Warzybok, dziękuję bardzo za zaproszenie, reprezentuję Ośrodek Przetwarzania Informacji, gdzie od ponad roku zajmuję się ewaluacją, ale nie z racji tego, że Ośrodek Przetwarzania Informacji zmienił profil i teraz robi badania ewaluacyjne, aczkolwiek niespodzianka na końcu i o tym powiem na samym końcu. Natomiast chcieliśmy się przyjrzeć w ramach projektu akurat tutaj finansowanego z MNiSzW w ramach projektu systemowego, m.in. ewaluacji tej właśnie przedmiotowej, nie instytucjonalnej, która jest już prowadzona m.in. przez ... znany dobrze państwu, natomiast naszym zadaniem było ... się troszeczkę na przedmiotową ewaluację, czyli ewaluację, o której dzisiaj mówimy, czyli ewaluacja o programach, ewaluacja programów, instrumentów wsparcia, bo takie też istnieją, natomiast oczywiście przez ten pryzmat mikro, czyli projektów, ponieważ program jest jednym dużym działaniem w ramach którego funkcjonuje ileś komórek. Ja oczywiście nie będę omawiać tych schematów, to jest tylko moja jakby podpowiedź, o czym chcę dzisiaj państwu powiedzieć i przyznam, że pan dr Kozłowski troszeczkę mnie sprowokował swoim wstępem do odniesienia się właśnie do tych pewnych rzeczy, stąd takie a nie inne slajdy. Na tym slajdzie, który teraz państwo widzicie, postarałam się troszeczkę też spojrzeć na to systemowo, ponieważ też tak lubię o czymś opowiadać, a jak już o czym opowiadam to chciałabym rzucić hasła, ale one mają systemowy charakter. Jeżeli mówimy o mierzalności, bo tutaj dzisiaj już badało to zagadnienie i o wskaźnikach, i o tym jak coś mierzyć, żeby był efekt, 37 Czwartek u Ekonomistów - 15 marca 2012 r. to powiem szybciutko taką anegdotkę, która jest z życia wzięcia. W zeszłym roku również w ramach projektu systemowego przeprowadziło badania projektów B+R i na pytanie o sukces projektu B+R znaczna część osób odpowiadała, że sukces projektu B+R to nie jest innowacyjnego innowacja, związku, który to nie może jest być wdrożenie, później to wdrożony nie w jest opracowanie praktyce, to jest rozliczenie projektu i to jest sukces projektu. Tak, czyli jeżeli patrzymy na takie odpowiedzi, to musimy sobie zdawać sprawę, dlaczego ludzie tak odpowiadają. Dlatego, że z tym się borykają, borykają się z rozliczaniem projektów. Ja oczywiście mam świadomość, że fundusze strukturalne, które również tutaj jakby prowokują do tego rozliczania i wymuszają to rozliczanie nie są odpowiedzialne za takie odpowiedzi, zastanowić, no natomiast właśnie, co jeżeli chcemy mówimy o mierzyć. wskaźnikach, Czy chcemy musimy mierzyć się też rzeczywiście rozliczalność projektów, czy tak ustawiamy wskaźniki, żeby pokazać coś w dłuższej perspektywie czasu, z czym też, jak się okazuje mamy problem. W związku z tym trzy strzałeczki na samym dole pokazują pewną koncepcję różnych sposobów mierzenia tych efektów. Ja oczywiście również nie jestem zwolennikiem jednej ścieżki, jednej drogi, lubię coś miksować, lubię sobie dopasować, żebym miała modne słowo ... metod, natomiast dobrze jest spojrzeć na to też wcześniej, przy ex ante również, czyli spojrzeć na pewną całość. Jeżeli projektujemy jakieś założenia do programu, czy do projektu, bo również to jest skala mikro, to chcemy jakby zaprojektować od ogółu do szczegółu, lub od szczegółu do ogółu jak komu wygodnie, ale patrzymy na to kompleksowo. I tak szybko jeszcze o orientacji właśnie badań ewaluacyjnych, które też już dzisiaj padały, więc nie będę się nad tym rozwodzić. Natomiast pamiętajmy, że jak mamy orientację na wdrażanie i procesy, czyli jak coś działa, to nie pytamy już później o efekty dlatego, że, po pierwsze, robi się nam zbyt duży worek; po drugie, zbyt dużo kosztuje i po trzecie, jak wszystko to nic, a jak nic to wszystko. Więc jakby ważna jest ta orientacja. O funkcjach ewaluacyjnych nie będę opowiadać, bo panie się rozgadały na ten temat. Uzupełnię tylko to, o czym mówię, nie wiem czy to widać wyraźnie, na pewno będziecie mieć to państwo w materiałach, natomiast ja jestem poniekąd 38 Czwartek u Ekonomistów - 15 marca 2012 r. zwolenniczką jakiejś logiki interwencji w programach i jestem zwolenniczką układania klocków w jedną całość i niekoniecznie może Komisja Europejska jest tutaj super modelowym przykładem, ale jest to próba i jest to próba podjęcia się z układaniem projekcie, tych klocków idziemy dalej w i jedną całość. budujemy Jeżeli produkty. mówimy Jeżeli o działaniach w mamy produkty to zastanawiamy się, co ten produkt nam przyniesie, czyli jaki rezultat. Ale na tym nie kończymy, ponieważ ten rezultat w okresie długiego horyzontu czasowego, dłuższej perspektywy daje nam jakieś oddziaływanie, z którym mamy największy problem, jeżeli chodzi o mierzenie, ale o którym nie możemy zapominać, ponieważ on za parę lat będzie musiał być zmierzony, a raczej powinien być zmierzony, więc projektując jeszcze pewnego rodzaju założenia do naszych działań, musimy myśleć też o tym, co za 5 lat i czy chcemy za 5 lat coś zobaczyć. To oczywiście nie jest sprawa do rozwiązania na dzisiaj, ale tą kwestię też chciałam również tutaj podnieść. I tak szybciutko o tym, dlaczego OPI prezentuje teraz coś o ewaluacji. Dlaczego, że po pierwsze, mają mam nadzieję państwo przed sobą naszą publikację. Pani prof. Elżbieta Mączyńska, prezes PTE Ale którą. Pani Barbara Warzybok Publikacja fioletowa z puzlami, systemowa z puzlami, więc robimy promocję naszej publikacji. Natomiast to jest jakby pierwsza część naszego projektu. Ta część się zakończyła z końcem chcieliśmy wyjść z roku. I właśnie monitoringiem, z zakończyła ewaluacją się w publikacją, stronę ponieważ projektów, które niekoniecznie tylko podlegają funduszom strukturalnych. Ponieważ tutaj mamy już jakieś praktyki i doświadczenia i jest to można powiedzieć w miarę opanowany obszar. Natomiast wszelkiego innego rodzaju inicjatywy finansowane ze środków publicznych i działania finansowane ze środków publicznych, nie są poddawane, albo są bardzo rzadko poddawane ewaluacji. Zrobiliśmy nawet skan wszystkich raportów ewaluacyjnych, więc ktoś je czyta, ktoś je ogląda, ktoś je przegląda i okazuje się, że, zresztą Polską jest pionierem jeżeli chodzi o publikowanie raportów ewaluacyjnych podobno, więc jeżeli ktoś na to spojrzy przez pryzmat 39 Czwartek u Ekonomistów - 15 marca 2012 r. jakościowego obszaru, czyli czemu są poświęcane ewaluacje to sektor B+R i szkodnictwo wyższe to jest 6, może raptem 7 ewaluacji, z czego wszystkie to są ewaluacje funduszy strukturalnych, czyli przez pryzmat funduszy. Druga rzecz, która jest bardzo ważna dotyczą tak naprawdę tylko pośrednio tematu innowacyjności, zazwyczaj jest to odbiór od strony przedsiębiorstw, ponieważ te środki idą na współpracę z przedsiębiorstwami, więc beneficjentami głównie są przedsiębiorstwa. Mało jest rzeczywiście takich zagadnień związanych ze szkolnictwem wyższym, dlatego my, jako ośrodek przetwarzania informacji w tej chwili, chcielibyśmy się zająć też innymi aspektami ewaluacyjnymi i tutaj bierzemy pod uwagę program ramowy, który jeszcze w Polsce nie był ewaluowany. Na tym etapie jesteśmy już w takiej koncepcji, w fazie metodologicznej, a tak naprawdę już wiemy, ile mamy projektów w roku, z którego możemy wylosować projekty do badania ewaluacyjnego i to badanie, od razu mówię, jest ustawione już w konkretnym kierunku. Ja nie będę omawiać dokładnie metodologii, bo to nie o to chodzi, ale w tytule już mają państwo ten kierunek, to jest badanie ewaluacyjne rezultatów, to nie jest badanie ewaluacyjne procesu jak konstruowany jest program ramowy i co mogę podpowiedzieć Komisji Europejskiej, żeby mi ustawiła ten program za dwa lata na inny, tylko badanie rezultatów, ponieważ my chcemy się dowiedzieć, czy tak naprawdę, czy piąty program ramowy, szósty program ramowy i częściowo siódmy, czyli te projekty, które są już w ostatnich fazach działania, przyniosły jakieś rezultaty i chcemy to zbadać, chcemy się dowiedzieć. Ale, żeby to zrobić, to również trzeba myśleć o pewnych kryteriach i dlatego nastawiliśmy się na te trzy kryteria, które mają państwo wytłuszczone, a które są dosyć istotne, bo one już decydują o tym, w którą stronę też pójdziemy z naszym badaniem. I produktem finalnym oczywiście będzie raport z badania, mam nadzieję, że również będzie publikowany we wrześniu 2012 r., czyli w bieżącym roku. Jeszcze tak szybciutko o tym badaniu. Taka orientacja merytoryczna z naszej strony to jest właśnie faza projektowania i planowania produktów i zaraz mi ktoś zarzuci, ale przecież mówiła pani, że o tej fazie nie będziemy dyskutować. Natomiast wyłączamy proces wdrażania, my po prostu chcemy zobaczyć co beneficjent myślał jak projektował 40 Czwartek u Ekonomistów - 15 marca 2012 r. pewne produkty i rezultaty, a później z czego się rozliczył i trzeba to wziąć w cudzysłów, ale też później oczywiście jak wyglądają dokładnie te efekty w praktyce, czy za tym poszły jakieś inne działania i czy była rzadko pomijana, a wydaje mi się, że jednak bardzo często powinno się brać pod uwagę tzw. komplementarność tych działań, te działania nie powinny być ad hoc, działamy w sektorze B+R i tutaj pomimo, że czasami się coś dzieje ad hoc, bo na szybko trzeba reagować na rynek, to pewne działania są jakby początkiem następnych i tutaj trzeba brać to też pod uwagę. I tak szybko jeszcze na koniec. Tu akurat pokazujemy, że będziemy brać metody ilościowe, jakościowe i dobrze pojmowany ..., ponieważ każdy program się charakteryzuje odmiennymi aspektami działania i różnymi bankami finansowania. Tak jeszcze na koniec podsumuję to wszystko i jeszcze nawiążę też do tego, z czym się musimy borykać również jako instytucja, która będzie przeprowadzać badania ewaluacyjne. Przede wszystkim z tym, że dostąp do danych jest ograniczony i jakby wszyscy o tym wiemy. Natomiast jest możliwe i muszę przyznać i pochwalić, ponieważ mam tu na sali przedstawicielkę KPK, czyli Krajowego Punktu Kontaktowego, z którym jesteśmy w ścisłej współpracy, bo bez nich i bez bazy ..., która dostarcza pewnych informacji myślę, że też mielibyśmy największy problem z tym jak zebrać te dane. Czyli oprócz tego, że będziemy męczyć beneficjentów mamy już jakiś punkt wyjścia do ustawienia badania brzydko mówiąc kolokwialnie do wprowadzenia go na właściwe tory. Dziękuję bardzo. Pani prof. Elżbieta Mączyńska, prezes PTE Bardzo dziękuję. Proszę państwa, ja za chwilę oddam głos panu prof. Stanisławowi Kubielasowi, który tym bardziej się cieszę, że pan profesor jest z nami, bo jest laureatem nagrody takiej ważnej z tradycjami im. Edwarda Lipińskiego, którą to nagrodę bardzo trudno jest uzyskać i dlatego tym bardziej się cieszę, że nasze kontakty się utrzymują. Chciałam zanim, znam pana prof. Kubielasa jako o osobę, która ma umiejętność syntezy i dlatego, żeby potem nie przedłużać już spotkania, bo wiem, że jak przedłużymy zanadto to liczba panelistów, tak to bywa, przekracza liczbę słuchaczy i to byłoby niedobrze, i dlatego chciałabym państwa zaniepokoić swoimi niepokojami. Otóż, i prosić ewentualnie pana prof. Kubielasa o próbę 41 Czwartek u Ekonomistów - 15 marca 2012 r. odniesienia się, państwa zresztą też, tylko tak jak mówię są te ograniczenia czasowe. Miałam okazję zetknąć się w różny sposób co prawda i z Narodowym Centrum Nauki i Narodowym Centrum Badań i Rozwoju, miałam okazję się temu troszeczkę przyjrzeć i uważam, że to są potwornie zapracowane instytucje. Na tle innych instytucji, które zajmują się różnego rodzaju funduszami europejskimi też troszkę się temu przyglądałam, to jest niesprawiedliwe obciążenie, ja to tak postrzegam. Ale z drugiej strony, to zastanawiałam się dlaczego tak jest. Otóż, mam ten niepokój, to nie jest oczywiście żaden zarzut do kogokolwiek tu z obecnych, tylko pytanie do systemu, czy ten system, który przejęliśmy z Unii Europejskiej, która na narzuciła kreatywności, Unia Europejska, który jest czy niezbędny to w jest, nauce, bo my czyli zamiast wzorzec paradygmatu kreatywności, przechodzimy na paradygmat działalności biurokratycznej. I to jest po prostu według mnie niesłychanie niebezpieczny trend i dlatego ja nie wiem, tu jest komfort zarządzania bez konieczności zrozumienia w zasadzie można powiedzieć, że możemy zarządzać czymś, czego kompletnie nie rozumiemy. Mało tego. Ja sama wpadłam w tę pułapkę jako recenzent w tym Narodowym Centrum Nauki, bo przy pierwszych selekcjach projektów, ja musiałam się zajmować czymś, czego nie rozumiałam, co oprotestowałam, ale wyjścia nie miałam. Musiałam powiedzieć, od strony formalnej, merytorycznie, itd. Więc ja wrzucam to i to prosiłabym do protokołu, żeby było, nie wiem czy jest jeszcze pani redaktor Iwona Dudzik, to jest pani redaktor Dudzik, zajmuje się kontaktem potem z państwem, bo tu były zastrzeżenia, że coś jest poza protokołem, ani słowa, które jest poza protokołem, ani słowa, które jest poza protokołem nie znajdzie się w stenogramie. W stenogramie będzie zapisane, ale pani redaktor Dudzik do państwa wyśle, żeby państwo wykreśli to co trzeba przed umieszczeniem tego na stronie internetowej. Czyli, moim zdaniem, te sprawy idą absolutnie w niezbyt dobrym kierunku, z punktu widzenia kreatywności. I teraz, jest coś takiego, jak innowacje idące w kierunku antypunkcji. Znają państwo to, że lodówka ma służyć dwa lata, a komputer rok i ani chwili więcej, a jak się popsuje, to nie ma sensu tego reperować i mamy mnóstwo różnego złomu w domu, który kupujemy coraz to nowy, za słusznie minionego 42 Czwartek u Ekonomistów - 15 marca 2012 r. ustroju jakaś tam lodówka typu Mińsk 40 lat, niektórzy jeszcze ją mają. Więc teraz pytanie, czy my przypadkiem w badaniach nie idziemy w kierunku tych antypunkcji innowacyjnych, bo jeżeli tak króciutkie, takie mamy krótkie, łatwe do rozliczenia projekty, ja się wcale nie dziwię, ja sama jestem autorką grantu i też za ogromny sukces sobie poczytywałam każdorazowo, jak się z grantu rozliczyłam. Ja w ogóle nie byłam dumna z moich wyników, chociaż one mnie w trakcie bardzo pasjonowały, natomiast na końcu to najbardziej dumna byłam z tego, że się rozliczyłam co do złotówki, ani złotówki nie musiałam zwracać. Ale czy to o to chodzi? Moim zdaniem nie. W związku z tym, krótko mówiąc, ja jestem bardzo zaniepokojona tym co się dzieje wokół nauki i zaniepokojona tym, że nieduże bardzo pieniądze, jakie są na naukę, bo to jest 0,7, 0,6 PKB, już sama nie wiem ile, po prostu są marnotrawione przy ogromnym wkładzie i zapale ludzi. Ja znam trochę ludzi, to są młodzi ludzie, zapaleni w tych instytucjach, świetnie pracujący, doskonale. Przyjrzałam się przez dwa Krakowowi, to naprawdę szapo ba, tylko, no właśnie i panie profesorze, ratunku. Proszę bardzo. Pan prof. dr hab. Stanisław Kubielas, Uniwersytet Warszawski Dziękuję za zaproszenie. Cieszę się, że mogę tu właśnie przy głowie Edwarda Lipińskiego, coś powiedzieć o innowacjach. Napisałem książkę o innowacjach. Lipiński kiedyś powiedział, że na wschód od Łaby powstała tylko jedna oryginalna innowacja, samowar. Wszystko, reszta, została ściągnięte z tego co wynaleziono na zachód od Łaby. Jeśli chodzi o sam problem ewaluacji, ja w tej chwili się tym nie zajmuję, ale przez 10 lat byłem członkiem takiej sieci europejskiej ..., gdzie właśnie zbierali się eksperci od ewaluacji, obserwowałem co się dzieje na tym polu, a nawet uczestniczyłem w zeszłym roku w ewaluacji projektu, VII projektu ramowego i widziałem to trochę od kuchni. To są prace, to jest można powiedzieć ewaluacja jest działalnością pracochłonną i to nie tylko pracochłonną, mus kosztować a jednocześnie muszą to być ludzie, którzy się znają na tych rzeczach, które ewaluują, w związku z tym ponoszą pewne koszty alternatywne, trzeba ich skądś wyciągnąć. Spotkałem się z taką opinią, że w Stanach jedna z osób, która zajmuje się ewaluacją, w Ameryce mówiła, że u nas w tym wąskim gardle to są 43 Czwartek u Ekonomistów - 15 marca 2012 r. eksperci, którzy ... ewaluacji, nie można tych ludzi, mamy pieniądze i możemy ich wydać, bo brakuje nam w tej chwili ludzi przerobu po prostu ewaluacyjnego. Już niezależnie od tego, że trzeba im dużo zapłacić, ta ewaluacja rzeczywiście dużo kosztuje, to jest od 1 do 3 proc. Ja w tej chwili sobie zrobiłem szacunek tego projektu, wydaliśmy 8 mln euro na projekt, było pięć chyba zgłoszeń, czy sześć, sześć osób, plus dyrektor z komisji, rzeczywiście ponad 1 proc. poszło w same koszty osobowe. Ja nie licząc kosztu funkcjonowania komisji, która uczestniczyła w organizacji tego projektu. To tyle kosztuje. Powstaje pewien problem taki, nad którym się zastanowimy, w pewnym sensie można odpowiedzieć na pytanie dlaczego u nas tak powolnie z tą ewaluacją się rusza i tak się ociągamy, czy to jest kultura, czy nie, jest pierwsza sprawa, żeby ponieść te koszty trzeba mieć co ewaluować, muszą być fundusze odpowiednie wydane na tą naukę, nie 6 proc., ..., wtedy rzeczywiście możemy rozwinąć działalność. Tu mamy pewne koszty stałe, czyli dopóki praktycznie niewielkie środki wydawano na badania, to z jednej strony można patrzeć nawet jak się ich nie będzie ewaluowało, przepadły, to jeszcze nie jest tragedia, natomiast jak się wydaje kilka procent dochodu narodowego, to jest już problem. W związku z tym nacisk na ewaluację on się pojawił w gruncie rzeczy jak te środki rozmiarów i wydawane powstał z budżetu problem, żeby na nie badania zostały one urosły wydane do pewnych dużych bezproduktywnie. Można powiedzieć, że wiele problemów z ewaluacją właściwie na zachodzie są takie same jak u nas. Ewaluację zaczęto praktycznie stosować na szerszą skalę w sposób systematyczny gdzieś w latach 90., to jest 1993 rok, pojawia się w Stanach Zjednoczonych taki ..., czyli taka ustawa, która nakazała ewaluować wszystkie rodzaje działalności w administracji amerykańskiej i oni musieli to robić. ... zawsze występowała, z tym, że ona zmusiła po pierwsze do ewaluacji w tym sensie, że każdy podmiot musiał zdefiniować cele swoich działań i wydatków. Pierwsza sprawa, że wydatki nie były ... na cokolwiek, musiała zdefiniować cele i najlepiej, żeby to były cele mierzalne i wtedy mamy już ..., możemy się do tego odnosić i oceniać. niemierzalny Jeżeli powstaje nie pewien mamy problem, zdefiniowanego a więc celu wówczas i jak jeżeli on pokazywano jest pewne 44 Czwartek u Ekonomistów - 15 marca 2012 r. projekty, człowiek na księżycu. Jak człowiek wyglądał na księżycu, rzeczywiście mogliśmy się rozliczyć z realizowanego ... sprawa była jasna. Ale nie wszędzie można było wszystko środowisku, pomierzyć zwłaszcza i ta naukowym, ustawa ona ona wywołała jeszcze już powiedzmy znaczny sobie opór w w innych departamentach, może była akceptowana, ale naukowcy bardzo często byli nastawieni negatywnie, że ona próbuje coś mierzyć, że jest niemierzalne, albo co jest niemierzalne, albo co nie jest policzalne, co nie jest przewidywalne właściwie i w związku z tym powstał pewien opór. Niestety wydatki na naukę jak rosną, one muszą być w jakimś sensie oceniane. Ewaluacja jest właściwie takim, można powiedzieć immanentnym elementem wszelkiej innowacji. Ewaluacja to nie jest co się nagle pojawiło, ona właściwie podczas każdej innowacji musi być na każdym etapie przedsiębiorstwa, czyli to jest pewien element właściwie procesu innowacyjnego, im te wydatki są większe, tym ta ewaluacja musi być bardziej dokładne i bardziej jest skomplikowana. ... porównywać wydatki na naukę jako pewną inwestycję z innymi rodzajami inwestycji, bank udziela np. kredytu hipotecznego. Kredyt hipoteczny na mieszkanie, póki ceny nieruchomości rosną, jest bardzo prosto udzielić, to może zrobić dziecko, które liczy, może powiedzieć, ile ta nieruchomość, która jest zabezpieczeniem jest warta i o ile wzrośnie jej cena za rok i udzielamy kredytu na 50 proc., nie ma problemu. Kredyt obrotowy jest już troszkę bardziej skomplikowany, inwestycyjny to już jest bardziej ... Natomiast udzielenie odpowiedniego kredytu, czy wydatku, poniesienie wydatków na takie niepewne przedsięwzięcia jak badania ..., to jest sprawa skomplikowana. Ewaluacja tego musi kosztować i tutaj nie ma za bardzo odwrotu. Ewaluacja też nie pojawiła się nagle i jakby ostatnio zupełnie, bo ona zawsze w tym sensie istniała. Klasyczna ewaluacja była wykonywana ad hoc, od czas do czas, przez jakieś tam instytucje zajmujące się, mieliśmy ..., gdzie te ewaluacje wykonywano od czasu do czasu, natomiast pewien proces, który nastąpił w ostatnich latach, polegał na tym, iż zmuszono jakby instytucje do systematycznego ewaluowania. Pewien proces poszedł tak bardzo daleko, że w Stanach Zjednoczonych pojawiła się w ′27 r. wręcz koncepcja, że musi powstać specjalny ośrodek na 45 Czwartek u Ekonomistów - 15 marca 2012 r. zasadzie funkcjonujący tak jak bank centralny, który reguluje politykę pieniężną, ośrodek, który będzie jak realizował politykę naukową i będzie odpowiadał za finansowanie ewaluacji projektu naukowego. To powstało w ramach narodowej fundacji nauki, taka inicjatywa ... i ona jest w tej chwili kontynuowana, czyli doszliśmy do pewnego momentu, że nie możemy tego procesu ewaluacyjnego uniknąć. Pojawił się problem, że tak przelecę kilka punktów, które są związane jakby z takich najbardziej pułapek, czy problemów ewaluacyjnych, z ewaluacją związanych. Pierwsza sprawa to jest proszę państwa kwesta umocowania ewaluatorów, a więc stworzenia pewnego konkurencyjnego rynku ewaluacji. Powstaje problem, jeżeli ewaluator działa na zlecenie i jest w pewnym sensie podporządkowany w swoich ocenach temu, kto go finansuje, czy jest administracyjnie podporządkowany, gdy przestaje być niezależny, wówczas ten ewaluator może działać w sposób zupełnie bezpieczny, produkując uspokajające ewaluacje i będzie to działało na zasadzie tego mechanizmu biurokratycznego, który opisywał jeszcze ... i który znamy, gdzie sprawozdania z wykonania planu przesyłano do władz naczelnych, te władze naczelne były zachwycone, akceptowały, wypłacały premier, podwyższano nam plan na następny rok, którego i tak nie mogliśmy wykonać, znowu produkowano fałszywy plan, a więc mamy wtedy błędne koło powiedzmy sobie, gdzie ewaluacja może działać właściwie w odwrotnym kierunku i w związku z tym bardzo istotne jest umocowanie tego systemu tak, aby funkcjonował na zasadach konkurencyjnych i jako, ewaluacje miały charakter ewaluacji niezależnych, obiektywnych. To jest bardzo ważny problem. W tej chwili bardzo dużo się u nas wykonuje ewaluacji, w związku z funduszami europejskimi, które narzucają pewien przymusi ewaluacyjny, więcej niż kiedykolwiek wcześniej, ale widzimy zjawisko takie, że im więcej tych wydatków innowacyjnych ponosimy z funduszy unijnych, tym mniejsza jest u nas stopa innowacyjności, bo różne raporty pokazują, że ta stopa spada a nie rośnie, więc coś tu jest nie tak. Także jest problem jakości tego procesu ewaluacji, aby on był Pani prof. Elżbieta Mączyńska, prezes PTE 46 Czwartek u Ekonomistów - 15 marca 2012 r. Mieliśmy piąte miejsce od końca, teraz mamy czwarte od końca, jeśli chodzi o innowacyjność. Pan prof. dr hab. Stanisław Kubielas, Uniwersytet Warszawski A więc tu jest pewien problem, ponieważ ten system jakby wykonania realizacji procesu ewaluacyjnego musi być pod tym względem sprawny, niezależny, w jakimś sensie obiektywny. Druga rzecz, to jeżeli chodzi o metodologię. Tu bym się nie zgodził, że mamy jakby jedną metodę ewaluacyjną, ponieważ dokonujemy ewaluacji w nauce, czy w zakresie procesów innowacyjnych bardzo różnych rzeczy, to są właściwie tzw. rzeczy związane z określonym czasem i miejscem, jak to ... mówił ..., to są bardzo specyficzne, stąd postuluje się, żebyśmy odeszli od jakiejś ortodoksji metodologicznej i wykorzystywali wszystkie możliwe metody, ... ekumenizmie ewaluacyjnym, o synkretyzmie ewaluacyjnym, bo po prostu są to rzeczy tak dziwne, że właściwie nieraz trzeba podchodzić od jakiejkolwiek tylko można strony, nie stronicą od żadnych metod, aby móc dokonać dobrej ewaluacji, przede wszystkim trzeba innowacji, czy rozumieć tej branży tą dziedzinę na zasadzie na takiej takiego ... zasadzie, ma taką czy specyfikę definicję, aby zrozumieć funkcjonowanie społeczeństwa nie wystarczy tylko popatrzeć, że ludzie się ruszają, funkcjonuje. ale Więc trzeba tu zobaczyć potrzebna na jest tle ich specjalna motywacji, wiedza. jak to Ewaluacja wszystko może być dokonywana z jednej strony w pełnym kontekście, że jeżeli ma być dobrze zrobiona i jednocześnie służy czemuś, co czasami jest nazywane strategiczną inteligencją rozwoju społeczeństwa, planowania, itd. Ona właściwie funkcjonuje razem z czymś, co nazywa się forsaitem, ..., wymaga pewnych teoretycznych podstaw, pewnych baz danych, pewnych badań, obserwacji polityki naukowej, rozumienia narodowych systemów innowacyjnych, rozumienia sektorowych systemów innowacyjnych, rozumienia modeli innowacyjnych, musimy mieć pewne koncepcje, wiedzieć o co chodzi. W naszym przypadku istotnie jest rozumienie funkcjonowania luki technologicznej i dyfuzji technologii, a więc te wszystkie jeszcze, a więc potrzebna jest pewna baza, co mnie niepokoi, że tutaj trochę ad hoc rozwija się pewne elementy, a jednocześnie w międzyczasie zlikwidowano Instytut Polityki Naukowej w tym kraju, to jest 47 Czwartek u Ekonomistów - 15 marca 2012 r. ciekawe, że w pewnym momencie nie ma właściwie instytucji, która zajmuje się polityką naukową, więc tutaj mamy takie stawianie jakiś tam słupów, ale nie są one ze sobą za bardzo powiązane te rzeczy niestety. Problem bardzo ważny przy procesach ewaluacyjnych to jest kryterium zdefiniowanego celu. Tam mamy trzy rzeczy właściwie. Pierwszy jest tzw. cel ..., czyli odnosimy struktura pewnych celów założeń ogólnych. Później mamy całe cele bezpośrednio zawarte w projekcie, zadania wyspecyfikowane i teraz się zastanawiamy, czy to wyspecyfikowanie pozycji odpowiadają tym ..., to jest pierwsza sprawa zgodności. Druga sprawa, patrzymy, czy te zadania założone w projekcie będą efektywnie realizowane, czy są na odpowiednim poziomie sformułowane. Później mamy, czy będą efektywnie zarządzane. Później mamy, jaki będzie produkt, czy ten produkt jest dobrze zdefiniowany. Później mamy jakiś wynik tego produktu, i później mamy jaki będzie ..., czyli wpływ tego wszystkiego, który się później pojawia. A więc mamy, ile warstw tych ewaluacyjnych jest, także to proces dosyć skomplikowany. Bardzo ważne jest sformułowanie tego, jeżeli jest zdefiniowana misja bardzo wyraźnie, to mamy pewne określenie, czynienia z zdefiniowane, finansowaniem nie ma badań, specjalnie czy problemu, innowacji, czy ale czasami działań, mamy do mają za które zadanie wpłynąć, stymulację pewnych zachowań, a więc mają ułatwić pewne rzeczy, stworzyć pewne przyszłych zaplecze problemów wiedzy, praktycznych. do rozpoznawania Matematyka jest pewnych czymś bieżących, takim, czy matematyka używana jest do różnych rzeczy, tzw. zdolności cyfrowej cywilizacji. Tu mamy coś, co musimy finansować, co czasami nie ma jasno zdefiniowanego, jednoznacznego celu. Jest pewien problem, że te cele są wielowymiarowe, i to jest bardzo duży nieraz kłopot, w procesach ewaluacyjnych. Jest konflikt tych celów. Proszę zwrócić uwagę, bardzo często te cele znajdują się w konflikcie, mamy jakąś stopę zastąpienia jednego ..., które trzeba określić z punktu widzenia portfela innowacyjnego, bo mówiliśmy często o projektach, samych projektach, czy oceny instytucji, ale tu mówimy też o ewaluacji programów i ewaluacji instrumentów, to jest bardziej skomplikowana rzecz. Tam, jeżeli weźmiemy portfel taki, to mamy zawsze konflikt celów, bo polega na tym, że mamy ograniczone zasoby w sumie, jest 48 Czwartek u Ekonomistów - 15 marca 2012 r. jeden cel ... i musimy znaleźć stopę jakąś zastąpienia i stąd pojawia się pewien problem. I oczywiście mówiliśmy o ewaluacji ex ante i ex post. Jeśli chodzi o ewaluację ex ante to ona jest trochę łatwiejsza, bo tutaj jest nacisk głównie na mierzalność, czy definiowanie impetów, a więc tego co wkładamy i adekwatność tego do założeń ... Natomiast ewaluacja ex post jest znacznie bardziej skomplikowana, ponieważ bardzo często ten cel jest nie do końca, efektywność trudno zbadać, a więc efektywność osiągnięcia celu trudno zbadać, zwłaszcza trudno zbadać jest ..., bo ten wpływ, czy te skutki tej innowacji czy badań, one mogą być albo trudno mierzalne, co często jest problemem, albo mogą być po prostu odłożone w czasie. ... koncepcję, że mamy taką ..., mamy taką lukę czasową co musimy ocenić i właściwie praktycznie ewaluację powinniśmy wykonywać dopiero po 10, po 20 latach, a jest presja polityczna, żeby ją zrobić dzisiaj, albo przynajmniej przed wyborami i tu pojawia się problem, czy to chodzi o ... Jeszcze może dwie rzeczy. Impakt jest często współdziałaniem różnych źródeł, czy różnych procesów badawczych, różnych instytucji, a więc w gruncie rzeczy często, trudno jest wyodrębnić, czy ten wpływ wynika z tego projektu, czy z dziesięciu różnych projektów i na ile będzie można przypisać jednemu czy drugiemu, nie mówiąc o tym, że mamy dziedziny, gdzie mamy jasno zdefiniowane problemy, cele, zagadnienia i mamy dziedziny tzw. płynne, nauki humanistyczne i społeczne. Nie możemy zastosować tych samych wskaźników, powstaje pewien problem. W tej chwili ja słyszę, że jest u nas zalecenie, by stosować listę filadelfijską jako ocenę publikacji do wszystkich dziedzin. Proszę państwa w dziedzinach takich jak historycy, przypuszczalnie nawet historycy w Filadelfii, który tam mieszkają w kolebce historycznej Stanów Zjednoczonych nie słyszeli o liście filadelfijskiej, w ogóle ich to nie obchodzi, to nie jest ten indeks, także nie możemy tego samego indeksu zastosować wszędzie, bo to byłoby bardzo niestosowne. Proszę państwa, może powiem tylko jeszcze o jednej rzeczy, która wydaje mi się ważna, jeżeli chodzi o naszą rzeczywistość i ten pewien problem, który zawsze się wiąże jakby z przekładaniem idei i wdrażaniem do praktyki. Jest wąskie gardło dla ewaluacji, a jest to kluczowy problem takich krajów rozwijających się, trudności 49 Czwartek u Ekonomistów - 15 marca 2012 r. przetłumaczenia pewnych idei projektów badawczych na rozwiązania praktyczne, które by się nadawały do komercjalizacji. Oczywiście nie jest to tylko nasz problem, tylko na całym świecie, nazywamy jest europejskim problemem. Europa ma dużo pomysłów, idei, nauka się rozwija, ale Amerykanie to wdrażają, bo nie jesteśmy w stanie. Powstaje jakaś taka, nazywają - dolina śmierci, którą mamy, pomysły, pomysły wspaniałe i później nagle jest dziura przed komercjalizacją, właśnie w tej fazie rozwoju, przekształcenia tych idei w bardzo konkretny użyteczny jakiś produkt, tu jest problem. Jest cały szereg programów, nawet w Stanach Zjednoczonych, przynajmniej dwa programy, jeden nazywa się ..., drugi to jest ..., ale one są głównie nacelowane na to, żeby pomóc tą dziurę, tę dolinę śmierci, żeby jakiś most nad nią zrobić, żeby te idee mogły trafiać do praktyki. I tu bardzo ważna jest odpowiednia również instrumentalizacja ewaluacyjna, ażeby móc wyodrębnić te projekty, te pomysły, które się nadają, żeby je dalej w kierunku rozwoju i komercjalizacji popychać i sfinansować, podczas gdy, bo tam jest taki problem, w tym właśnie obszarze cyklu innowacyjnego jest bardzo mała stopa sukcesu, nawet fundusze ... nie chcą tam inwestować. ..., który prezentował w Kongresie Stanów Zjednoczonych mówił o tych wynikach, że jest 15, 13 proc. udanych sukcesów, to oni powiedzieli, kto to finansuje, chyba komuniści, żeby wydawać publiczne pieniądze, na coś, co w 70 proc. jest po prostu stratą, to jest straszne. A więc tu jest ten pewien moment, który mi się wydaje, że ewaluacja i te techniki ewaluacyjne, powiedzmy sobie szczerze, zastosowane by wspomóc instytucje również finansowe, czy również budżetujące jakby w zamknięciu tej luki procesu innowacyjnego. Pani prof. Elżbieta Mączyńska, prezes PTE Dziękuję bardzo panie profesorze. I pomyśleć jak bardzo proroczy był Ajnsztajn, że na drzwiach swojego gabinetu wywiesił napis, że to co się daje, to co się liczy nie daje się policzyć, a to co daje się policzyć, się nie liczy. Więc mamy coraz bardziej ten problem, że to co się liczy jest mało ważne, a to co możemy policzyć, jest nie tak ważne, a to co nie umiemy policzyć jest coraz ważniejsze i to będzie narastało, więc ten problem ewaluacji będzie coraz trudniejszy i źle 50 Czwartek u Ekonomistów - 15 marca 2012 r. wróżę tutaj wszystkim, którzy się tym zajmują, znaczy źle, albo dobrze, będą coraz przepracowani, bo będzie coraz więcej dylematów. Ja mam taką, proszę państwa nieprzyzwoicie długo przeciągnęliśmy to nasze dzisiejsze spotkanie, z 1,5 godziny zrobiło się 2,5, więc wszyscy są już na pewno bardzo zmęczeni, zwłaszcza nasi paneliści, więc ja mam taką prośbę, byli tu profesorowie różni i ponieważ zawsze przyzwyczajeni są do dwóch godzin, to stopniowo sala, że tak powiem się kurczy, ale niewykluczone, że do państwa będą pytania jeszcze dodatkowe. Pan prof. Starzyk zadał pytanie w korytarzu w drodze do pociągu pana, który jechał do Krakowa, więc przepraszam za to, że ten czas jest taki ograniczony, ale chciałam mimo wszystko zrobić tak, że pan Jan Kozłowski, pan dr Jan Kozłowski, że prof. Starzyk pytał, natomiast do państwa, jeżeli to po jednym zdaniu, jeżeli jest taka potrzeba a do państwa pytania, ale to prawdopodobnie nie będzie czasu na odpowiedź. Jedno pytanie, ale króciutko, pani na piśmie proszę złożyć pytanie. Pan Marek Wiśniewski, Polska Grupa Konsultingu Ja się nie zajmuję zawodowo ewaluacją, jestem konsultantem biznesowym, pochodzę z gospodarki realnej, natomiast z uwagą wysłuchałem pani referatu, pani doktor, na temat ewaluacji w instytucjach publicznych i przyznaję się, ponieważ biorę czasami udział, jestem zapraszany jako ... do ewaluacji pewnych programów w biznesie, więc wysłuchawszy pani referatu, jestem zasmucony, ponieważ proszę państwa okazuje podejmują się, wielkie że instytucje programy, poszczególnych etapów instytucjach, w publiczne natomiast zwymiarować, organizacjach ani wydają nie potrafią ich ocenić, biznesowych. gigantyczne ani co Natomiast tych pieniądze, programów i jest niespotykane w pani wspomniała na zakończenie swojego referatu, że największą wartością ... zostaną wykorzystane. Głos z sali Przełożone na biznes. Marek Wiśniewski, Polska Grupa Konsultingu Ja natomiast bym powiedział co innego, w instytucji publicznej mówię, nie mówię o nauce. Natomiast moim zdaniem największą wartością działalności ewaluatorów w 51 Czwartek u Ekonomistów - 15 marca 2012 r. instytucjach publicznych byłoby to, gdyby nauczyli daną instytucję publiczną, żeby na przyszłość ewaluowała się sama, to będzie działała o wiele bardziej efektywnie, a nie czekała na tych, którzy przyjdą z zewnątrz i będą starali się ją oceniać, przy wszystkich problemach o jakich pani powiedziała. Pani prof. Elżbieta Mączyńska, prezes PTE Dziękuję bardzo. Pani Sztobryn, PLL LOT System tych doświadczeń zagadnień LOT-u o których wygląda państwo następująco. mówią ... na jako podstawie również współczynnik pewnych intelektualny powinien być skorelowany z poziomem intelektualnym państwa danego, to widać, że patentowość nieco Polski spadła, ponieważ jest to wspólny mianownik dla wszystkich państw świata. Druga sytuacja to jest ..., analiza powinna być te cztery grupy, określonych które ma oceniona przedziałach i te według punktów przedziały i te powinny punkty powinny integrować te być w decyzje strategiczne, które są właściwie ocenione, natomiast eliminować do tzw. modułu zarządzania ryzykiem, te które permanentnie państwu nie wychodzą, a to tutaj, że tak powiem to prawdopodobieństwo zostało ocenione jako wysokie. I tym zarządzaniem ryzykiem powinna się zajmować grupa. Jak państwo oceniają programy, które są w LOT-cie stosowane do zagadnień rentownościowych ... oraz ... stanowisk jak również pracy ludzi z korelacją w wyniku której powstaje filtr i koszt jednostkowy, czyli ocena konkretnie państwa programów. I ostatni temat, którym się dwie panie zajmują, mianowicie, ocena korespondencji oraz odpowiedzi respondentów ankiety jest w ... za rozszerzeniem ..., specjalny program, który świetnie ... bardzo duże ilości materiałów i ... podobne bardzo dobre wyniki robi. Te wszystkie zagadnienia są w LOT-cie stosowane praktycznie i duże efekty osiągają. Pani prof. Elżbieta Mączyńska, prezes PTE Dziękuję bardzo. Ja tylko się zastanawiam jak brzmi pytanie długie, jak to było krótkie. Proszę bardzo pan prof. Starzyk. Pan prof. Kazimierz Starzyk 52 Czwartek u Ekonomistów - 15 marca 2012 r. Ja jeżeli można to chciałem prosić panią Agnieszkę Tokaj-Krzewską o wyjaśnienie jednej kwestii, a myślę dla nas wszystkich jest bardzo ważne, jak rozumieć badania stosowane w ekonomii. Ja rozumiem, że Centrum się zajmuje badaniem ..., a centrum krakowskie badaniami podstawowymi. Ja podam przykład, jest projekt ekonomiczny, który z założenia będzie zawsze projektem ... badań podstawowych, czy np. jeżeli tym projektem jest zainteresowane Ministerstwo Gospodarki, bo jest to ... problem polityki handlowej Polski w stosunku do określonego kraju, czy to oznacza dla państwa, że to jest projekt kwalifikujący się do finansowania, czy nie. Pani prof. Elżbieta Mączyńska, prezes PTE Dziękuję. Proszę państwa pan dr Jan Kozłowski dosłownie jedno zdanie, przepraszam panie doktorze. Pan dr Jan Kozłowski Przygotowujemy badaczami w się na publicznym nowy etap kariery instytucie, zawodowej przygotowujemy zawczasu się do kiedy tego, jesteśmy żeby być administratorem nauki, menedżerem, ewaluatorem, popularyzatorem lub żeby podjąć pracę badawczą w przemyśle, zaczynamy to jeszcze na poprzednim stanowisku. To tyle. Pani prof. Elżbieta Mączyńska, prezes PTE Dziękuję bardzo. Czy państwo jeszcze chcieliby do pani Agnieszki. Proszę bardzo. Pani Agnieszka Tokaj-Krzewska Ja szybko może odpowiem, bo bardzo mi przykro, że tak pana zasmuciłam, takie miałam zadanie, żeby mówić o problemach i co z robić, żeby był sukces, ale mam nadzieję, że pana pocieszę, że z instytucjami publicznymi, przynajmniej te, z którymi moja instytucja współpracuje, a są to właściwie cztery ministerstwa, nie jest tak źle. Polska ewaluacja w Europie w ogóle związana oczywiście ewaluacja związana z funduszami europejskimi jest bardzo ceniona, jest bardzo na wysokim poziomie. Oczywiście bardzo niewiele instytucji realizuje ewaluację wewnętrzną z różnych powodów. autorefleksyjna, Ja tylko realizujemy mogę odpowiedzieć, projekty badawcze, że robimy moja je instytucja sami, robimy jest taką 53 Czwartek u Ekonomistów - 15 marca 2012 r. autorefleksję na różnych poziomach, natomiast z punktu widzenia ewaluacji ta refleksja na pewnych poziomach nie jest wskazana, na co wskazywał pan profesor, że ona musi być niezależna, zewnętrzna, po to, żeby była obiektywna. Pani prof. Elżbieta Mączyńska, prezes PTE Dziękuję bardzo. Proszę bardzo. Głos z sali: To ja, żeby nie być gołosłownym, tam na górze jest nasza definicja programu, z programu badań stosowanych. Programem badań stosowanych obejmuje swoim zakresem obydwa podejścia podejmowane w wynikające celu zdobycia z finansowania wiedzy w nauki, określonej czyli dziedzinie prace badawcze nauki. Tu mamy wymienione dziewięć dziedzin. Badania materiału itd., jak i podejmowanie badań pozwalających zastosowanie informacje wyczytać, na osiągnięcie nowych możemy nie ma z rozwiązań znaleźć sensu na góry w założonych określonych naszej przedłużać. stronie, Natomiast celów praktycznych, branżach. absolutnie taka jest Wszystkie tam poprzez dodatkowe można wszystko definicja przyjęta bezpośrednio z ustawy o zasadach finansowania nauki. Jest tam też pod spodem regulamin, który jasno mówi, które koszty do czego można zaliczyć, także śmiało proszę tam zaglądać, naprawdę tam jest multum informacji. Głos z sali Ale tam nie ma nauk ekonomicznych. Są nauki ekonomiczne, czy jakie? Głos z sali: Nie. Jest nauki chemiczne, geologia i górnictwo, budownictwo, technologie informacyjne, energetyka i elektrotechnika, materiały i technologie materiałowe, mechanika i transport, nauki medyczne i farmaceutyczne, nauki biologiczne. Nie ma. Głos z sali: Nie ma, czyli właśnie tu jest problem. Pani prof. Elżbieta Mączyńska, prezes PTE To jest problem, ja uważam, że to jest problem i trzeba by się nad tym zastanowić, ale to oczywiście trzeba to, my z naszych spotkań wysyłamy sygnały i 54 Czwartek u Ekonomistów - 15 marca 2012 r. w związku z tym możemy złożyć takie zapytania, nie wiem, do tych obydwu centrów i do ministerstwa nauki, bo to jest problem. Sama robiłam badania na zlecenie ministerstwa skarbu i to były typowe stosowane badania, a nie żadne podstawowe. To był produkt zamawiany. Proszę państwa, bardzo dziękuję państwu serdecznie. Przepraszam, że nie dotrzymaliśmy terminu, bo na pewno dzieci w domu i rodziny czekają, przepraszam bardzo, jutro rano praca czeka. Wszystkim państwu bardzo serdecznie dziękuję i zapraszamy na nasze spotkanie, 29 jest dyskusja na temat niepewności w gospodarce globalnej. Będzie bardzo ciekawie. Koniec spotkania
