Ewaluacja narzędziem badania efektywności polityk publicznych

Na niedawnej konferencji prasowej w Ministerstwie Rodziny, Pracy i Polityki Społecznej Robert Kwiatkowski, prezes zarządu PFRON, zapowiedział szereg zmian, które czekają Fundusz. Nowy prezes PFRON chciałby, by był on instytucją faktycznie wspierającą osoby z niepełnosprawnością, a nie jak dotychczas: „larwą, która zajmuje się sama sobą”. Mówiąc o dotychczasowych uchybieniach w funkcjonowaniu Funduszu, prezes otwarcie przyznał, że programy, które prowadzi PFRON, nie są monitorowane w zakresie efektów końcowych, co jego zdaniem należy zmienić. Jak? Podpowiadamy.

Czym jest ewaluacja?

Ocena procesu realizacji polityk publicznych może opierać się na wykorzystywaniu różnych narzędzi analitycznych. Jednym z nich jest ewaluacja.

Ewaluacja  – najprościej rzecz ujmując – jest badaniem oceniającym skuteczność polityk publicznych. Kładzie ona nacisk przede wszystkim na pozyskiwanie praktycznej wiedzy, której zastosowanie ma wpływ na treść decyzji politycznych oraz proces wdrażania polityk publicznych.

Iwona Reichardt z Instytutu Nauk Politycznych i Stosunków Międzynarodowych Uniwersytetu Jagiellońskiego zwraca uwagę, że w porównaniu do monitoringu i audytu ewaluację charakteryzuje znacznie szerszy zakres oddziaływania. „W założeniu ewaluacja wykracza poza faktograficzny raport o przebiegu i skutkach interwencji publicznej. Jej specyfika polega na łączeniu wyników empirii z sądami normatywnymi, które są konstruowane w toku interakcji i negocjacji towarzyszących procesom zbierania danych” – zaznacza.

Korzyści z ewaluacji

Ewaluacja może pełnić wiele funkcji, m.in. kontrolną i ustrojową. Funkcja kontrolna ma za zadanie sprzyjać racjonalizacji procesu alokacji środków, z kolei funkcja ustrojowa przez szerokie zaangażowanie stron w proces ewaluacji wzmacnia demokratyczność procesów.

Philip Davies, specjalista w analizie polityk publicznych, w artykule pt. „Stosowanie metod mieszanych w ewaluacji na potrzeby kształtowania polityk publicznych” zauważa, że ewaluacja pozwala ponadto uzyskać odpowiedzi na szereg kwestii. Wyróżnia wśród nich następujące pytania:

• W jaki sposób ma funkcjonować polityka, projekt lub program?
• Jakie istnieją dowody na skuteczność proponowanej polityki, proponowanego projektu lub programu?
• Jakie istnieją dowody na skuteczne wdrażanie i realizację proponowanej polityki, proponowanego projektu lub programu?
• Dla kogo proponowana polityka, proponowany projekt lub program są skuteczne lub nieskuteczne?
• Jakie są doświadczenia i spostrzeżenia obywateli związane z polityką, projektem lub programem?
• Jakie są koszty, opłacalność i stosunek kosztów do korzyści polityki, projektu lub programu?

Chcąc odpowiedzieć na powyższe pytania, ewaluacja musi przedstawić tzw. teorię zmiany. Teoria zmiany określa mechanizmy, za pomocą których można osiągnąć różne rodzaje skuteczności. Nie jest ona tylko podejściem teoretycznym. Może mieć bowiem praktyczny wpływ na politykę i usługi publiczne, gdyż pozwala osobom odpowiedzialnym za tworzenie polityk stwierdzić, które obszary wymagają interwencji.

Krok po kroku

Philip Davies wyjaśnia, jak krok po kroku należy przeprowadzić proces ewaluacji. Tłumaczy, że na początku należy zgromadzić dane w problemowej kwestii. Gromadząc je, można korzystać zarówno z oficjalnych statystyk w postaci danych ze spisów pochodzących z badań ankietowych i danych administracyjnych, jak i dowodów jakościowych z pogłębionych wywiadów, grup fokusowych i badań etnograficznych.

Philip Davies radzi również, co należy zrobić, by ewaluacja polityk zakończyła się sukcesem. Tłumaczy, że w procesie ewaluacji warto raczej sięgać po dane jakościowe, gdyż – w przeciwieństwie do danych ilościowych – są one  w stanie odpowiedzieć na pytania ewaluacyjne. „Takie dane są ważne dla określenia, w jaki sposób, dlaczego i w jakich warunkach inicjatywa polityczna jest skuteczna/nieskuteczna” – zaznacza.

Poleca także, by przeglądy przeprowadzać systematycznie. „Szybkie oceny jakości korzystają z zasad i procedur systematycznych przeglądów, ale przeprowadzają przegląd i procesy analityczne w krótszym czasie, w celu wypełnienia napiętych harmonogramów planowania i tworzenia polityk. W konsekwencji szybkie oceny jakości są zazwyczaj mniej kompletne niż pełne, systematyczne przeglądy i mogą bardziej powierzchownie traktować obciążenia zawarte w dostępnych dowodach” – wyjaśnia. „Systematyczne przeglądy są o wiele skuteczniejsze, gdyż wskazują, gdzie występują braki. Mogą one odegrać znaczącą rolę zarówno na wczesnych etapach ewaluacji, jak i w trakcie gromadzenia dowodów oraz budowania bazy dowodów w danym temacie” – dodaje.

Narzucona ewaluacja

Obecnie proces ewaluacji polityk publicznych jest niestety najczęściej procesem narzuconym. Instytucje publiczne niechętnie przeprowadzają go dobrowolnie. „Najczęściej wymóg jej przeprowadzenia jest wpisany w treść założeń polityki publicznej lub – przy interwencjach o szerszym zasięgu społecznym – w przepisy aktu normatywnego. Może również – jak w przypadku interwencji publicznych finansowanych ze środków pozyskiwanych przez państwo na cele rozwojowe – stanowić warunek otrzymania pożyczki lub dotacji od kredytującej interwencję międzynarodowej instytucji finansowej”  – wyjaśnia Iwona Reichardt.

Biorąc pod uwagę korzyści płynące z ewaluacji, dziwi fakt, że jest ona najczęściej przeprowadzana pod przymusem. Ewaluacja jest bowiem skutecznym narzędziem pozwalającym ocenić, czy podejmowane działania mają sens i przynoszą zamierzone efekty. Wydaje się, że w przypadku oceny projektów realizowanych przez organizacje pozarządowe na zlecenie PFRON byłaby ona idealną metodą.

Iza Rutkowska

***

Źródło:

• Philip Davies, Stosowanie metod mieszanych w ewaluacji na potrzeby kształtowania polityk publicznych [w:] (R)ewaluacja. Poszukiwanie nowych metod oceny efektów, pod redakcją Agnieszki Haber i Zuzanny Popis, Polska Agencja Rozwoju Przedsiębiorczości, Warszawa 2013.
• Iwona Reichardt, Ewaluacja jako narzędzie analizy polityk publicznych [w:] Zarządzanie publiczne 1(13)/2011, s. 11–23.