Etape analitilece fundamentale in efectuarea unui Studiu de Impact ex-ante in sectorul educational

Conform legislatiei Guvernului Romaniei, exista doua tipuri principale de studii de impact, bazate pe documentul de politica publica HG 775/2005 si pe actul normativ conform HG 1361/2006 a temei supuse evaluarii. Astfel, conform Ghidului Comisiei Europene asupra Studiilor de Impact 2009 (vezi link-ul din Anexa 4), si a celor doua tipuri de studiu de impact de mai sus adoptate de catre Guvernul Romaniei, exista un numar de etape cheie de urmat in cazul efectuarii unui studiu de impact ex-ante in domeniul educatiei.  Aceste etape cheie urmeaza o ordine logica; totusi, este important de notat faptul ca unele dintre aceste etape s-ar putea sa aiba nevoie de revizuire conform activitatii depuse in procesul de efectuare a studiului de impact.

Capitolul 1. Grupul de lucru

Un grup de lucru de 5-8 evaluatori din cadrul sectorului/domeniului[1] va fi infiintat pentru a analiza fiecare dintre optiuni si a desfasura un studiu de impact ex-ante sub conducerea unui Coordonator.

Evaluatorii pot fi reprezentanti ai urmatoarelor organisme:

Unitatea de Politici Publice;

Departamentele cheie din minister (de ex. Departamentul pentru educatia timpurie, scoli, performanta si programe din Ministerul Educatiei, Cercetarii si Inovarii);

Organizatii paralele cu un interes comun fata de obiectivele vizate de politica.

Grupul de lucru (WG) va fi de asemenea sprijinit de catre un grup informal de consultanti, format din experti care vor furniza consiliere profesionala la cererea Grupului de lucru.

Grupul de lucru va realiza urmatoarele sarcini:

a.  Sprijinirea procesului de infiintare a unui Comitet Director/de Pilotaj, daca membrii acestuia nu au fost deja identificati. Comitetul ar trebui sa fie compus din experti cu nivel superior de calificare;

b.  Identificarea si definirea cauzelor si amplitudinii problemei din educatie, a factorilor interesati mai afectati de aceasta si furnizarea de dovezi concrete in vederea fundamentarii;

c.  Descrierea modului in care problema a evoluat  in timp si cum politicile existente la nivelul Guvernului Romaniei sau UE o afecteaza;

d.  Demonstrarea motivului pentru care problema necesita interventii;

e.  Demonstratia posibilei evolutii a situatiei in viitor, fara interventia Guvernului Romaniei sau UE ;

f.   Descrierea contextului si a pre-conditiilor pentru determinarea obiectivelor si identificarea optiunilor in vederea rezolvarii problemei respective;

g.  Consultarea intensiva cu factorii interesati din sector/domeniu si alte parti interesate, colectarea de informatii si analiza rezultatelor;

h.  Colectarea de date relevante pentru politica aleasa;

i.   Elaborarea unei liste de indicatori de performanta pentru monitorizarea si evaluarea politicii din domeniul ales;

j.   Clarificarea presupozitiilor, riscurilor si incertitudinilor anticipate;

k.  Efectuarea studiului de impact utilizand metode adecvate;

l.   In urma evaluarii exhaustive prin procedura de studiu de impact ex-ante si consultari extinse cu beneficiarul si factorii interesati din sector, Grupul de lucru va depune una sau mai multe optiuni sub forma unor recomandari de politica;

m.    Prezentarea rezultatelor clientului.

Capitolul 2. Consultari cu factorii interesati din educatie

Urmatoarea abordare ar trebui respectata de catre Grupul de lucru:

a.  Planificarea de consultari la inceputul Studiului de impact ex-ante: elaborarea unui plan pentru factorii cheie din educatie/program de intalniri, cu date si durate pentru fiecare activitate;

b. Intocmirea unui tabel tip matrice pentru atribuirea anumitor sarcini membrilor Grupului de lucru (de exemplu specialisti), stabilirea perioadei de timp, a meselor rotunde si a listei sarcinilor legate de activitate (vezi modelul in anexa 1);

c.  Stabilirea si enumerarea structurilor si instrumentelor de consultare adecvate, de exemplu: comisii consultative, grupuri de experti, audieri deschise, intalniri ad hoc, consultari via Internet, chestionare, focus grupuri, seminare/ateliere de lucru etc. Tipul si combinatia de instrumente de utilizat ar trebui determinate in functie de natura factorului educational interesat, in special, autoritatile locale, ministerele sanatatii si muncii si de asemenea functionarii publici, profesorii, parinti;

d. Desfasurarea de consultari continue cu factorii interesati pe toata durata derularii studiului de impact;

e.  Consultarea tuturor factorilor educationali interesati, utilizand cele mai adecvate durate, formate si instrumente pentru colectarea informatiilor si a opiniilor. Intrebare cheie: cine va fi afectat de evaluarea politicii educationale propuse si cine va fi implicat in procesul de implementare a acesteia?;

f.  Colectarea comentariilor factorilor interesati in legatura cu definirea problemei. Furnizarea de descrieri si opinii asupra posibilelor optiuni si al impactului acestora asupra serviciilor educationale;

g. Mentinerea legaturii cu factorii interesati printr-un proces de consultare si furnizarea de feedback;

h. Grupul de lucru analizeaza feedback-ul din partea factorilor interesati si importanta sa pentru procesul de luare a deciziilor in educatie;

i.   Raportarea clara asupra contributiilor factorilor interesati (vezi Anexa 3 - exemplu de raport).

Capitolul 3. Definirea problemei

Toate studiile de impact trebuie sa defineasca in mod clar problema identificata. Acest fapt va furniza cadrul pentru a permite atat formularea obiectivelor si identificarea si compararea optiunilor de politica pentru actiune, cat si posibilul impact al acestora asupra sectorului/domeniului.

Definirea problemei trebuie sa includa un scenariu de referinta clar drept platforma pentru compararea optiunilor de politica. Scopul acestui scenariu este de a explica modul in care situatia curenta ar evolua fara interventia publica aditionala - este scenariul 'fara schimbarea politicii'. Scenariul de referinta depinde de existenta sau nu a unor politici romanesti si/sau europene in vigoare. In sustinerea unei optiuni "fara schimbarea politicii", este important de luat in seama alti factori, cum ar fi:

Politicile/reglementarile educationale ale Guvernului Romaniei deja in vigoare;

Actiunile deja stabilite sau propuse de catre Guvernul Romaniei, agentii si alti factori interesati;

Schimbarile recente in dezvoltarea problemei;

Grupul de lucru va avea nevoie de programarea intalnirilor cu factorii interesati pentru a clarifica informatiile in vederea dezvoltarii optiunilor de politica.

Capitolul 4. Stabilirea obiectivelor

Stabilirea obiectivelor generale, specifice si operationale poate fi descrisa,  dupa cum urmeaza:

Obiective generale

Fac legatura intre cadrele de politica din Romania si scopurile UE in sectorul/domeniul in cauza;

Determina scopuri masurabile pe termen lung;

Sunt legate de indicatori de impact si rezultatele politicii.

Obiective specifice

Au legatura cu domeniul specific al actiunii de intreprins si specificitatea politicii in discutie;

Specifica ce anume se va realiza printr-o interventie concreta;

Sunt legate in mod sigur de indicatorii de rezultate directe si rezultatele politicii.

Obiective operationale

Sunt legate de implementarea actiunilor concrete;

Pot diferi in functie de variatele tipuri de politica evaluate;

Trebuie sa aiba o legatura stransa cu indicatorii de rezultate directe.

Un Grup de lucru este infiintat pentru a dezvolta un set de obiective de politica specifice in faza initiala a studiului de impact.

Obiectivele operationale formulate initial vor fi supuse, in mod invariabil, unui proces de reformulare datorita aparitiei unor obstacole si conditii neprevazute.

Identificarea si formularea de obiective vor facilita urmatoarele procese:

Identificarea de posibile alternative de actiune si oferirea de asistenta in procesul de comparare a optiunilor de politica.

Obiectivele clare fac posibila monitorizarea implementarii politicii si evaluarea realizarii sau nu a efectelor preconizate.

Relationarea obiectivelor cu viitoarele activitati de monitorizare si evaluare: fara obiective clare nu se poate monitoriza sau evalua daca politica se afla pe drumul cel bun. Obiectivele SMART (vezi Anexa 2) sunt necesare pentru a defini indicatorii de calitate. Acestia vor permite monitorizarea progresului si evaluarea masurii in care s-au realizat obiectivele. Acolo unde este posibil, dezvoltarea unui mecanism de masurare a indicatorilor cheie pentru a monitoriza si evalua realizarea jaloanelor proiectului (vezi Sectiunea 2: studiul de caz in educatie).

Definirea indicatorilor de performanta pentru evaluarea realizarii obiectivelor majore ale politicii. Indicatorii ar trebui sa fie alesi astfel incat procesul de colectare de date sa fie unul usor. Ministerul Educatiei ar trebui sa anunte si sa descrie indicatorii inainte, facand o referire clara la persoana responsabila de implementare, moment si scopul principal si autoritatile carora  trebuie predate rezultatele.

Capitolul 5. Culegerea de date

In faza initiala a Studiului de impact ex-ante, este important ca Grupul de lucru sa colecteze date exacte si de incredere - fapte si cifre - care reprezinta partea esentiala din orice Studiu de impact ex-ante. Sarcina culegerii de date poate fi (si este deseori) atribuita unor specialisti din afara institutiei respective. In acest caz, Grupul de Lucru va stabili cerinte clare pentru cercetatori in Termenii de Referinta.

Grupul de lucru defineste problema si scenariul de referinta, identificand impactul optiunilor alternative pentru rezolvarea problemei in educatie. O atentie speciala trebuie acordata exactitatii, calitatii si credibilitatii datelor.

Grupul de lucru identifica nevoia de date intr-o etapa initiala a Studiului de Impact in Educatie. Anumite informatii necesare pentru Studiul de impact vor fi disponibile de la departamentele guvernului, autoritatile judetene si locale si pot include rapoarte anterioare de monitorizare si evaluare si alte studii de impact.

Grupul de lucru va avea nevoie de sprijin din partea mai multor factori interesati din sector/domeniu, inclusiv ministere din cadrul guvernului si alti actori interesati din cadrul comunitatii. Acestia vor ajuta la identificarea si utilizarea datelor, sprijinul lor putand fi solicitat cat mai devreme posibil. Expertii externi, acolo unde este posibil, ar trebui sa colecteze date si sa efectueze anumite analize.

Grupul de lucru va obtine cele mai recente date statistice si puncte de vedere din partea factorilor interesati din educatie, utilizand o combinatie de instrumente, de exemplu: interviuri, chestionare, mese rotunde, conferinte si rezultate ale documentelor consultative, cum ar fi memorandum sau propuneri de politica.

Grupul de lucru va analiza datele primite ca feedback in urma interviurilor, aplicarii chestionarelor, altor activitati presupuse de cercetare etc si va formula ipoteze. Consultarile mai elaborate si interviurile cu factorii interesati si chestionarele vor avea loc pentru a adauga un plus de precizie la formularea optiunilor de politica.   

Grupul de lucru va ilustra cazul utilizand exemple de buna practica in statele membre UE si experienta unor tari terte sau organizatii internationale (de exemplu Banca Mondiala, UNICEF)

Capitolul 6. Identificarea si alegerea optiunii de politica

Dupa definirea obiectivelor, urmatoarea etapa este identificarea mecanismelor de sustinere cele mai eficiente in vederea atingerii obiectivelor.

Optiunile de politica trebuie sa aiba o legatura demonstrabila atat cu cauzele problemei, cat si cu obiectivele. Echipa Studiului de impact ar trebui sa defineasca nivelul adecvat de ambitie in ceea ce priveste optiunile avand in vedere constrangerile, cum ar fi costurile de conformitate sau principiul proportionalitatii. Exista, de asemenea, o nevoie de a identifica instrumente de politica adecvate (documente legislative ale Guvernului Romaniei, documente legislative ale UE, auto-reglementari, co-reglementari si stimulente economice). Aceste instrumente pot fi combinate, daca este necesar, intr-un pachet si/sau coordonate cu actiuni ale UE. Numai daca acestea lipsesc, pot fi luate in considerare alte forme de actiune.

Proportionalitatea descrie nu numai optiunile preferate, ci si status-quo-urile si optiunea cel mai putin preferata. Prezinta o varietate de optiuni.

Principalele tipuri de optiuni sunt:

1) Imbunatatirea cadrului legal existent

2) Auto si co-reglementarea, de ex. Descentralizarea puterilor catre organisme administrative locale.

3) Standarde internationale, cand acestea exista, de ex. un sondaj al standardelor de studiu de impact ex-ante in scolile secundare care ar putea fi aplicat si in Romania

4) scenariul de referinta 'fara schimbari ale politicii';

Scopul principal ar trebui sa fie identificarea optiunilor de politica, care sa aduca beneficii cele mai mari beneficii nete

Revizuirea unei game largi de optiuni de politica va furniza un grad mai mare de transparenta a exercitiul efectuarii studiului de impact ex-ante. Va demonstra ca optiunile alternative au fost analizate riguros.

Capitolul 7. Analiza aprofundata a optiunilor

Valabilitatea studiului de impact ex-ante depinde de furnizarea de rezultate bazate pe date de incredere si de analiza exacta, transparenta si usor de inteles de  non-specialisti.

La prezentarea impacturilor diferitelor optiuni de politica, Grupul de lucru ar trebui sa evalueze impacturile optiunilor de politica sub forma de schimbari nete in comparatie cu varianta 'fara schimbarea politicii'/referinta. Ar trebui sa se demonstreze cum optiunea de politica aleasa difera de scenariul de referinta, in ceea ce priveste caracteristicile si rezultatele pe care le-ar produce. Cu cat gradul de cuantificare furnizat este mai mare, cu atat mai convingatoare va fi analiza in general.

O varietate de instrumente/modele este disponbila pentru evaluarea impacturilor asupra educatiei. UE a dezvoltat, de asemenea, un set de indicatori pentru a monitoriza procesul de implementare a strategiei UE de dezvoltare durabila.

In educatie, acesti indicatori ar putea include urmatoarele:

Introducerea in crese a testelor UE de evaluare a limbajului/abilitatilor de socializare pentru copiii din invatamantul timpuriu a relevat o insusire mai rapida a limbajului, abilitatilor de socializare si emotionale de catre copiii mici

Testele de evaluare a personalului care lucreaza in crese in ceea ce priveste abordarea pedagogica  moderna pentru educatia timpurie au aratat ca acei copii au obtinut punctaje mai mari la testele aplicate in crese, spre deosebire de alti copii care frecventau crese, dar care nu aveau educatori/asistenti calificati.

Datele cantitative/calitative in urma testelor de evaluare aplicate copiilor care beneficiaza de programe invatare pentru crese la nivel UE au aratat ca acestia aveau rezultate mai bune in cursul educatiei secundare si superioare decat aceia care nu au parcurs aceste programe.

Cate persoane si ce tip de persoane iau parte la activitati educationale?

Activitatile sau serviciile educationale disponibile

Descrierea nevoilor diferitelor categorii socio-economice

Descrierea scopurilor institutionale

Ce anume vor primi participantii (titluri, diplome etc.)

Consecinte ale pregatirii/lipsei de pregatire

La evaluarea impacturilor se recomanda utilizarea acestor indicatori daca sunt relevanti pentru propunere si evidentierea impacturilor directe si indirecte ale propunerii si a modului de manifestare a acestora, dupa cum urmeaza:

a. Enumerarea grupurilor afectate de aceste impacturi si a modului in care sunt afectate

b. Identificarea si evaluarea existentei unor impacturi specifice care ar trebui examinate.

c.   Evaluarea impacturilor in termeni calitativi, cantitativi si financiari sau explicarea in cadrul studiului de impact ex-ante a motivului pentru care cuantificarea nu este posibila sau proportionala.

d.   Revizuirea riscurilor si incertitudinilor in alegerea politicii, inclusiv a conformitatii asteptate cu directivele juridice/normative, de exemplu, incapacitatea de a garanta conformitatea in zonele izolate geografic.

Daca Grupul de lucru considera ca exista un aspect in care incertitudinea referitoare la rezultate negative grave (riscuri) reprezinta o problema, atunci ar trebui efectuata o evaluare de risc. Daca aceste riscuri pot implica daune ireversibile sau schimbari la o scara ce nu poate fi prevazuta, este posibil sa fie necesara efectuarea unei evaluari formale de risc separata in baza expertizei stiintifice.

Capitolul 8. Analiza Cost Beneficiu si Cost Eficienta

Ar putea fi efectuate si alte analize aprofundate pentru a intocmi o estimare cantitativa/financiara (de exemplu analiza cost beneficiu) a beneficiilor si costurilor estimate. Aceasta ar putea avea mai multe forme:

Analiza impacturilor estimate in timp, ceea ce de obicei necesita o abordare de tip studiu de caz/scenariu. Aceasta abordare poate fi efectuata fie de una singura, fie in conjunctie cu o analiza cantitativa/calitativa.

Estimarea cantitativa a impacturilor: impacturile sunt estimate utilizand tehnici cantitative. Scopul, in acest caz, este de a intelege masura impacturilor optiunilor de politici si de a estima costurile si beneficiile in forma financiara atunci cand este fezabil.

Daca nu este fezabila, efectuarea unei asemenea analize cost beneficiu, va trebui sa se ofere justificari asupra acestui fapt. 

Exista doua tipuri de analiza cost - beneficiu:

Analiza cost-beneficiu completa ar trebui utilizata in cazul in care cele mai semnificative parti ale costurilor si beneficiilor pot fi cuantificate si monetizate si cand exista un grad de alegere in ceea ce priveste masura in care obiectivele ar trebui indeplinite (ca functie a costurilor asociate cu masurile propuse). Totusi, exista dificultati in calcularea aspectelor si articolelor impalpabile din educatie, astfel Grupul de lucru pentru Educatie dorind sa ia in considerare utilizarea partiala a abordarii ACB de mai jos.

Analiza cost-beneficiu partiala va fi efectuata numai daca o parte a costurilor si beneficiilor poate fi cuantificata si monetizata. Beneficiile nete rezultate ar trebui comparate cu evaluarea calitativa a celorlalte costuri si beneficii.

Avantaje:

Prezinta toate efectele (negative si pozitive) ale masurilor de politica;

Permite comparatia costurilor cu beneficiile;

Poate fi de asemenea utilizata pentru a clasifica optiuni in ceea ce priveste castigurile (sau pierderile) educationale si/sau sociale.

Dezavantaje

Nu poate include impacturi pentru care nu exista date cantitative sau monetare (de exemplu, evaluari ale imbunatatirii calitatii in procesele de predare si invatare);

Implica efectuarea de analize aditionale.

Principalele activitati ale analizei CB sunt:

Enumerarea tuturor beneficiilor si costurilor estimate si calcularea (sau estimarea) magnitudinii estimate a acestora (in termeni fizici);

Enumerarea duratei estimate a impacturilor;

Exprimarea valorii impacturilor in termeni monetari, utilizand rata standard de reducere (4%) pentru impacturi viitoare;

Se aduna toate beneficiile si costurile estimate si se calculeaza beneficiile nete (= valoarea optiunii de politica in ceea ce priveste analiza cost-beneficiu);

Se indica ce marje de eroare pentru incertitudine trebuie sa fie luate in considerare.

Capitolul 9. cum se compara optiunile si alegerile?

Urmatoarele criterii evidentiaza comparatia optiunilor si explica modul de aplicare a acestora:

Eficienta optiunii fata de obiective

Eficienta optiunii in realizarea obiectivelor

Coerenta optiunii fata de obiectivele, strategiile si prioritatile generale ale Guvernului Romaniei

Comparatia optiunilor cu scenariul de referinta

Intocmirea unui rezumat al tuturor impacturilor pozitive si negative educationale, economice si sociale pentru optiunile pe care le-ati analizat in detaliu

Prezentarea comparatiei dintre impacturile optiunilor?

In timp ce modul de prezentare a impacturilor poate fi flexibil, este important ca toate aceste evaluari sa fie fundamentate, inclusiv datele cantitative. Rationamentul care duce de la dovada la evaluare trebuie sa fie in intregime transparent.

Pentru toate optiunile identificate si analizate (inclusiv optiunea 'nicio actiune a guvernului), trebuie sa se ia in considerare toate impacturile relevante pozitive si negative in paralel. Acest fapt ar trebui sa aiba loc indiferent daca sunt exprimati in termeni cantitativi, calitativi sau monetari.

Uneori, Studiul de impact ex-ante confirma o optiune ca fiind singura viabila in termeni de eficienta, eficacitate si coerenta. In alte cazuri, studiul de impact poate sa nu evidentieze o alegere clara, existand astfel o cerinta pentru o schimbare intre diferite optiuni.

Grupul de lucru ar trebui sa clasifice intotdeauna optiunile conform unui set stabilit de criterii (creat in etapa de identificare a alternativelor). Acest fapt va permite evaluatorilor din cadrul Grupului de lucru sa compare fundamentele relative ale fiecarei optiuni si de a ajunge la o judecata sigura. Acest lucru se va obtine prin revizuirea diferitelor schimburi intre diferite grupuri de factori interesati afectate sau intre impacturile asupra mediilor educational, social, si economic. Aceasta abordare va permite imbunatatirea oricarei propuneri noi minimalizand schimburile si identificand orice greseli care ar putea sa aiba un efect negativ, crescand astfel sansele de succes.

Optiunea de politica cea mai eficienta va produce, de obicei, cele mai multe beneficii nete si orice optiune care va reusi sa treaca acest test dual in mod convingator va fi una credibila. Totusi, s-ar putea sa fie nevoie de discutarea modului in care articolele necuantificate ar afecta beneficiul net estimat care a reiesit. Daca diferentele intre beneficiile nete nu sunt semnificative sau nu pot fi cuantificate in mod suficient sau argumentate, s-ar putea sa fie nevoie de reconsiderarea proiectarii optiunilor.

Optiunile prezentate  care nu demonstreaza in mod convingator obtinerea de beneficii nete ar trebui sa fie eliminate.

Capitolul 10. Monitorizare si evaluare

Cei ce formuleaza politici guvernamentale trebuie sa poata verifica daca implementarea "e pe drumul cel bun" si daca politica isi atinge obiectivele. Cand o politica nu-si atinge obiectivele, va fi nevoie, in mod evident, daca acesta este rezultatul unei slabe proiectari a politicii sau a unei slabe implementari, de verificarea urmatoarelor:

• Analiza problemei a fost exacta?
• Obiectivele au fost relevante si accesibile?
• A fost implementarea incredintata partilor capabile de intelegerea politicii si dornice sa o aplice?
• Este o implementare slaba, rezultatul unei slabe capacitati administrative?

Aranjamentele de monitorizare si evaluare, impreuna cu indicatorii, furnizeaza informatii valoroase in acest sens. Studiul de impact ex-ante ar trebui deci, sa descrie aceste aranjamente si sa defineasca indicatorii principali pentru obiectivele primordiale ale politicii. Nu este necesara detalierea pentru toate optiunile examinate in cadrul Studiului de impact ex-ante. Acest proces va fi efectuat dupa alegerea politica a celei mai adecvate optiuni de politica, deoarece constituie ultima etapa a procesului de proiectare de politici. Este utila totusi, definirea unor indicatori principali pentru obiectivele dheie de politica (i.e. pentru asa zisele "obiective generale") deoarece acestea sunt valabile pentru toate optiunile de politica.

Indicatorii servesc scopului de a masura gradul in care o politica a fost implementata in mod corect si obiectivele sale au fost atinse. Un alt factor important in alegerea indicatorilor este usurinta cu care se pot colecta datele; colectarea datelor nu ar tebui sa fie mai costisitoare decat valoarea informatiilor pe care le furnizeaza.

Conform normelor si standardelor UE, toate activitatie acesteia trebuie evaluate in mod regulat. Pentru propunerile de cheltuieli, evaluarea estze obligatorie, multe alte initiative politice contin o clauza de revizuire, care va necesita evaluarea unor astfel de politici din momentul in care au intrat in vigoare. Evaluarile ar trebui anuntate si descrise in avans, indicand in mod clar data, tema principala si scopul, cine va fi responsabil de efectuarea acestuia si cui ii vor fi inaintate rezultatele.