ASSOCIAZIONE ITALIANA DI VALUTAZIONE settembre - ottobre 2014, n.8 !! ! SOMMARIO Mita Marra: “La valutazione dei fondi strutturali: cerchiamo di fare un po’ chiarezza…!” Francesco Mazzeo Rinaldi: “Le criticità della Politica di Coesione in Italia: causa o effetto?” Nicoletta Stame: “La valutazione di impatto dei fondi strutturali, tra rigore e appropriatezza” Andrea Naldini: “Programmi europei e valutazione: una mappa con troppi vuoti” Lodovico Conzimu: “La valutazione dei fondi strutturali: uno sguardo sul recente passato in Italia” Claudia Villante: “Lo stato della valutazione del FSE in Italia” Veronica Gaffey: “Evaluation of Cohesion Policy 2014 2020” La valutazione dei fondi strutturali: cerchiamo di fare un po’ chiarezza…! Idee per una cultura della valutazione Mita Marra - Presidente dell’Associazione Italiana di Valutazione 1 La tiepida estate che volge ormai alla fine è stata caratterizzata invece da un rovente dibattito tecnico-politico sullo spreco dei fondi strutturali e sulla presunta mancanza di valutazioni che documentino esiti e impatti della spesa europea. La polemica sollevata sul sito lavoce.info ha riempito le pagine dei giornali ed è giunta fino alla Camera dei Deputati in Commissione XIV Politiche UE, ove il prof. Perotti, uno degli estensori dell’articolodenuncia, ha argomentato le tesi sul “disastro dei fondi strutturali”, condivise con il collega prof. Teoldi, al cospetto di deputati ad un tempo perplessi e sconcertati. Ha fatto seguito, inoltre, l’audizione del prof. Viesti sull’impatto della politica di coesione in particolare nel Mezzogiorno. Insomma, si comprende che il tema è stato senz’altro rilevante e in quel frangente, il Direttivo AIV ha preso parte al dibattito, pubblicando sul sito uno scritto preliminare che ha suscitato numerosi consensi tra i soci. Consapevoli che la materia è complessa, densa di tecnicismi che rendono talvolta difficile mettere a fuoco i passaggi amministrativi e metodologico-valutativi, con questo numero 8 della Newsletter dedicato alla valutazione dei fondi strutturali, proviamo a meglio articolare le nostre argomentazioni, riservandoci di approfondire il tema nella RIV. Noi dell’AIV non sottoscriviamo le tesi avanzate da Perotti e Teoldi. Ma non per questo intendiamo avallare e giustificare la pratica ancora molto carente della valutazione dei fondi strutturali, come avviene in Italia. Diversamente da quanto Perotti e Teoldi sostengono, siamo convinti che sotto la rubrica valutazione non devono annoverarsi solo ed esclusivamente studi sperimentali o controfattuali (v. Stame e Gaffey in questo numero). Vale a dire, valutazioni che misurano l’impatto della spesa europea sul PIL pro capite o sulla produttività dei settori a livello aggregato attraverso il confronto tra gruppi di trattamento e gruppi di controllo oppure sulla base della comparazione tra scenari statisticamente elaborati - con e senza politica. La maggior parte delle valutazioni disponibili e fattibili senza predisporre campionamenti casuali di trattati e non trattati (v. Conzimu, Naldini e Villante in questo numero), si concentrano sui processi di “implementazione”, sul funzionamento delle organizzazioni che attuano le politiche di coesione in contesti circoscritti. Il punto è che questo differenziato insieme di studi, quantitativamente crescente, presenta qualitativamente standard ancora poco soddisfacenti. Le domande valutative sono spesso generiche, incapaci di porre quesiti politicamente rilevanti e metodologicamente realizzabili; la raccolta dei dati sia quantitativi che qualitativi è condizionata dai vincoli di bilancio o limitata dalle persistenti carenze amministrative; i giudizi sugli effetti dei programmi e sui rendimenti istituzionali, quando e se espressi, sono edulcorati, diplomaticamente settembre - ottobre 2014, n.8 ! 2 confezionati per non scontentare nessuno - autorità di gestione, governo centrale, commissione e partner a vario titolo coinvolti. Forse un po’ ottimisticamente, il bicchiere è mezzo pieno - e quindi i margini di miglioramento sono enormi -, ma di sicuro non è totalmente vuoto! L’AIV è impegnata affinché la presunta separazione tra studi econometrici e controfattuali e valutazioni theory-based e di “implementazione” possa essere superata attraverso il miglioramento della qualità metodologica, dell’utilità e della rilevanza politica di tutte le valutazioni dei fondi strutturali. Francesco Mazzeo Rinaldi (Università di Catania e vicepresidente AIV), che ha curato questo numero 8 della Newsletter AIV, inquadra criticamente il problema della spesa dei fondi strutturali. Nicoletta Stame affronta la questione della scelta degli approcci valutativi. Andrea Naldini (Ismeri Italia) e Vito Conzimu (Ragione Sardegna e membro del direttivo AIV) ricostruiscono il quadro delle valutazioni realmente condotte in Italia, avanzando riflessioni critiche di natura politica e metodologica. Claudia Villante (Isfol e membro del direttivo AIV) illustra l’esperienza delle valutazioni del Fondo Sociale Euroepo. Chiude questo numero il contributo di Veronica Gaffey (Commissione Europea) che presenta la visione istituzionale della Commissione in relazione alla prossima programmazione 2014-2020. Il prossimo numero 9 della newsletter AIV si occuperà di valutazione delle politiche sociali. Invitiamo i lettori ad intervenire con commenti agli articoli e a suggerire approfondimenti ai temi trattati. Per proporre contributi scrivete a: [email protected] Le criticità della Politica di Coesione in Italia: causa o effetto? Francesco Mazzeo Rinaldi – Università degli Studi di Catania ([email protected]) Circa trenta miliardi di euro di pagamenti monitorati, oltre ottantamila soggetti coinvolti, più di settecentomila progetti finanziati sull’intero territorio nazionale su ambiti di intervento eccezionalmente estesi. Queste sono solo alcune delle suggestive cifre che caratterizzano la Politica di Coesione (PC) in Italia nel ciclo 2007-13 (1). Non serve molto a comprendere che siamo di fronte ad un complesso quanto articolato ed eterogeneo insieme di priorità, strategie, obiettivi, programmi, interventi, etc., implementati seguendo complessi meccanismi, regole e vincoli, in contesti sociali, culturali e istituzionali assai differenti. Tali politiche sono da sempre oggetto di opinioni contrastanti, di critiche non sempre costruttive e, più recentemente in Italia, di giudizi impietosi. “Il disastro dei fondi strutturali europei” “Fallimento annunciato”, “In Italia 7 miliardi di euro finiti nel nulla”, “l'Italia rischia di buttare più della metà delle risorse”, “Fondi UE spesi male da sempre”, etc., solo per citare alcuni titoli apparsi recentemente in diversi quotidiani nazionali e siti specialistici. Il messaggio, sostanzialmente, si sviluppa rispetto a tre questioni strettamente correlate. I ritardi – non si spende quindi… L’Italia è oggettivamente indietro rispetto agli altri paesi europei, in particolare le regioni Obiettivo convergenza. Nel ciclo 2007-13 i dati sono piuttosto sconfortanti, anche rispetto al precedente ciclo 2000-06. La lentezza nell’impegnare e, soprattutto, nel realizzare spesa rappresenta un problema in sé, considerato che le risorse andrebbero spese con una certa regolarità. La nota regola del disimpegno automatico altro non fa che accrescere a dismisura il problema dei ritardi: valutare la qualità dei progetti da finanziare, l’efficienza e l’efficacia della spesa, passa in secondo piano, a favore di un unico grande indicatore: la capacità di spesa delle regioni. Si rafforza il teorema per cui spendere determina comunque sviluppo. Poco importa che per evitare di perdere denari si utilizzino operazioni borderline, come le ha recentemente definite Borromeo (2), trasferimenti a società in house, operazioni di ingegneria finanziaria, etc. Poco importa che la spesa si concentri in pochi mesi, magari ‘allargando’ le maglie selettive dei bandi, o scorrendo improbabili graduatorie; la virtuosità delle amministrazioni si misura esclusivamente su questa capacità. Le critiche, comunque, si concentrano sui ritardi; è la complessità attuativa della PC che determina ritardi insostenibili, bisogna cambiare politica…. provando a semplificare, questo è quanto generalmente si comunica. Ma quali sono gli effetti della PC sulla crescita, occupazione….? L’Italia non cresce da troppo tempo ormai e i più recenti dati sul PIL forniti dall'Istat sono sconfortanti, in particolare se si guarda al Mezzogiorno, dove si registrano performance particolarmente negative sia in termini di PIL che sotto il profilo dell’occupazione. Sono in molti a osservare che nonostante i numerosi e consistenti interventi finanziati con i FS, in particolare al sud, il Mezzogiorno continua a peggiorare, anche se paragonato alle altre regioni europee in ritardo. Se non si riesce ad invertire la rotta, a migliorare i valori di crescita, occupazione, produttività, etc. delle regioni del Mezzogiorno, tanto vale trovare forme alternative a questa politica che ci fa solo perdere tempo e risorse… Anche se con il rischio di semplificare un po’, così si può sintetizzare il pensiero critico dei più. Ma dopo tutto vengono valutate rigorosamente queste politiche? I numeri cui si faceva prima riferimento danno un’idea dell’articolato complesso di programmi, progetti e interventi settembre - ottobre 2014, n.8 ! 3 che si realizzano nelle diverse regioni ogni anno, strutturati rispetto a indicatori di monitoraggio, perlopiù input e output e di valutazione, principalmente risultati, outcome e impatti. Nonostante i regolamenti comunitari impongano in certi casi, o invitino in altri, a compiere valutazioni sui programmi e progetti realizzati, “dei miliardi spesi ogni anno in Italia in progetti finanziati dai FS non si ha la minima idea dei loro effetti”. Qui più che sintetizzare riportiamo una frase del recente ebook dal titolo Il disastro dei fondi strutturali europei (3). Le ragioni in questo caso sono da rintracciare nella inappropriatezza dei metodi utilizzati nelle ‘numerose’ valutazioni condotte, che secondo gli autori nulla dicono circa gli effetti, in altri casi legate proprio alla presunta mancanza di valutazioni sull’efficacia e/o sugli impatti della politica di coesione. Ricapitolando: insostenibili ritardi attuativi che dimostrano inadeguatezza delle nostre amministrazioni di attuare politiche così complesse; incapacità di incidere sulle dinamiche macroeconomiche delle nostre regioni più depresse nelle quali si concentra la maggiore spesa dei FS; buio assoluto circa gli effetti presunti di queste politiche… , mettono a nudo una politica che, per molti, andrebbe rifondata o forse meglio abbandonata. Oltre alle criticità qui tratteggiate, un altro aspetto - critico - da sottolineare riguarda il fatto che il dibattito su queste politiche resta il più delle volte superficiale, vago, mai costruttivo. La PC è un male in sé. Non si tratta, almeno per quanto si vuol qui evidenziare, di voler difendere la PC - sulla quale peraltro ho sempre nutrito parecchie riserve - ma, piuttosto, ci si aspetterebbe un livello di riflessione più serio, teso a comprendere se tali criticità dipendano da un impianto fallimentare della PC o, piuttosto, siano l’effetto di qualcos’altro. Alcune brevi considerazioni a riguardo. Per quanto complesse e articolate possano essere le regole comunitarie che governano l’attuazione dei FS, per ragionare sulle criticità legate, anche, ai ritardi attuativi in Italia bisogna riferirsi ad una vera e propria ‘filiera del ritardo’, come recentemente definita da Viesti lo scorso 30 luglio in una audizione alla Commissione Politiche dell'Unione Europea (4). Filiera che parte dalle classi dirigenti politiche - nel varo di decisioni politiche di programmazione r e g i o n a l e - a ff e t t e d a u n a patologica litigiosità e mai pronte a rinunciare al proprio tornaconto, per passare ad un ritardo amministrativo, prima, ed operativo, poi, legato all’attivazione delle procedure. La lentezza nel tradurre gli indirizzi politici in attività amministrative non è legata alle regole comunitarie, ma è soprattutto conseguenza della politica che non decide, che non assume la responsabilità di scegliere selettivamente. Se le componenti politiche non decidono di distribuirsi i costi delle necessarie rinunce da compiere adottando strategie di sviluppo di lungo periodo, su cui non si debba ridecidere ad ogni nuova legislatura o, ancor peggio ‘rimpasto’, a cosa serve sbandierare la logica della concentrazione su pochi obiettivi strategici? A chi serve ribadire che la polverizzazione degli interventi non può portare sviluppo? Ne consegue che alle pesanti regole si aggiunge l’onere delle amministrazioni coinvolte di dover avviare simultaneamente un numero eccessivo di interventi, troppo eterogenei, con un sovraccarico delle strutture amministrative preposte all’attuazione, spesso debolmente affidate ad assistenze tecniche dalle quali non sono negli anni riuscite ad affrancarsi. Nei ritardi che si accumulano durante gli iter amministrativi - dalla pubblicazione del bando al collaudo o conclusione del progetto - le regole comunitarie certamente non contribuiscono a snellire le procedure che però, non bisogna dimenticare, risentono di un confuso quadro normativo, di una burocrazia asfittica e di un ricorso al contenzioso settembre - ottobre 2014, n.8 ! 4 amministrativo tutto italiano. Se a tali questioni aggiungiamo i vincoli imposti dal patto di stabilità, il quadro sui ritardi diviene forse un po’ più chiaro. Il ragionamento sugli effetti dei FS in Italia in termini di crescita e sviluppo, in particolare nel Mezzogiorno, non può prescindere da alcune considerazioni di fondo che dovrebbero farci riflettere su quanto sia realmente possibile aspettarsi. Seppur consistenti i finanziamenti previsti dai FS nel ciclo 2007-13, in particolare sul totale della spesa in c/c, non rappresentano granché se rapportati al totale della spesa pubblica in Italia. Aspettarsi che da soli possano, ad esempio, far ripartire il sud in termini di crescita in un contesto economico come quello attuale, ci porta fuori dall’ambito di riflessione possibile. Se a questo si aggiunge che: 1) i FS intervengono su molteplici ambiti, attraverso numerose misure e spesso con parcellizzazione di interventi; 2) per considerare tali risorse aggiuntive servirebbero politiche ‘ordinarie’ di investimento che agiscano sugli ambiti di pertinenza dei FS; 3) nel nostro paese la contrazione delle risorse pubbliche predilige proprio gli investimenti; 4) tale contrazione ha reso, in particolare nell’ultimo periodo, i FS di fatto risorse ‘sostitutive’ piuttosto che ‘aggiuntive’ in gran parte degli ambiti di intervento; 5) il mancato raccordo con le politiche ordinarie mina alla base la possibile efficacia della spesa dei FS; si comprende meglio a quale condizione si possa riflettere seriamente sui possibili effetti. Immaginare che la qualità della spesa e, più in generale, che gli effetti dei FS non dipendano sostanzialmente dalle modalità e dai numeri dell’azione pubblica ordinaria, ci porta lontano dal ragionamento, che prima o poi ci si augura venga affrontato da chi ha la responsabilità politica di farlo. Last but not least (dicono che un po’ di internazionalizzazione aiuti sempre), che dire delle valutazioni. I contributi in questo numero della newsletter mi sembra che chiariscano, se ce ne fosse ancora bisogno, che: 1) sostenere l’idea che solo alcuni metodi, o ancor peggio semplici tecniche, possano dire la verità sugli effetti di queste politiche, è cosa assai inutile - si veda il contributo di Stame e di Gaffey; 2) pur risentendo di un certo squilibrio territoriale e settoriale, il numero di valutazioni compiute su queste politiche è decisamente consistente - si veda Conzimu, Naldini e Villante; 3) anche se la qualità di queste valutazioni è risultata in alcuni casi sotto le aspettative, sono state realizzate ottime valutazioni, anche sugli effetti. Su questi aspetti non credo, in questo contesto, serva aggiungere altro. Piuttosto, sembra utile sottolineare qui due questioni. La prima: nel corso degli anni, come si diceva, di valutazioni su queste politiche ne sono state compiute tante, su molteplici ambiti, focalizzate su aspetti differenti, alcune ben fatte, altre meno (indipendentemente dai metodi utilizzati), ma certamente il bagaglio esperienziale è piuttosto ampio (a differenza di molte altre politiche pubbliche), presupposto indispensabile per avviare una qualunque riflessione. Fra le tante possibili una mi sembra cruciale: lo scarso interesse mostrato dai vertici politico-amministrativi sui risultati di queste valutazioni. Raramente tali studi sono letti con attenzione critica, figuriamoci utilizzati per sostenere decisioni politico-programmatiche. Si può argomentare - e in alcuni casi a ragione - che ciò dipenda dalla complessità degli studi, o dalla loro superficialità, o ancora da domande valutative decontestualizzate, ma la verità di fondo è che l’interesse per la valutazione nel nostro paese resta purtroppo ancora limitato; più se ne parla meno la si usa. La seconda, più tecnica, ha a che fare con il difficile rapporto che da sempre lega, non solo in queste politiche, il monitoraggio alla valutazione. Ho avuto modo di argomentare su tale aspetto (5) analizzando come l’impostazione programmatica degli ultimi due cicli e le indicazioni ‘metodologiche’ presenti nella collana MEANS, prima, ed Evalsed, poi, di fatto hanno alimentato la separazione tra le strutture di monitoraggio interne preposte alla raccolta dei dati e le analisi valutative, con l’effetto di: standardizzare il monitoraggio relegandolo a mera attività di controllo; slegare i profili di responsabilità connessi al ciclo programmatico; separare la ricerca valutativa dai processi attuativi e dal contesto entro il quale il programma si sviluppa; depotenziare le opportunità di apprendimento offerte dalla valutazione indipendentemente dai metodi utilizzati. Il nuovo ciclo 2014-20 grazie ad un nuovo impianto programmatico basato sui risultati, pone, in teoria, grande attenzione all’individuazione di indicatori di risultato e alle modalità di monitoraggio e di raccolta dati. Ma in realtà, se si analizza il recente documento guida per il monitoraggio e la valutazione (6), in particolare gli esempi forniti per l’uso degli indicatori di risultato, ci si accorge che monitoraggio e valutazione non costituiscono un unico processo, continuano ad esser trattati come due elementi separati; il monitoraggio è generalmente ‘risolto’ attraverso statistiche generali, poco a che fare con il programma. Ancora una volta chi si occupa di monitoraggio non si preoccupa di valutazione. Conclusivamente, i limiti e le criticità che hanno caratterizzato e che temo continueranno a caratterizzare, l’uso dei FS nel nostro paese, tanto sul piano programmatico-attuativo quanto su quello valutativo, non possono essere né affrontate né tanto meno risolte guardando alla PC come causa in sé. Una sua riformulazione o, come da molti suggerito, un suo abbandono, dubito risolverebbe granché. Piuttosto, sembrerebbe più sensato indicare la PC come un ambito in grado di rendere espliciti alcuni problemi complessivi del nostro paese, che se non affrontati settembre - ottobre 2014, n.8 ! rischieranno di rendere inattive tali politiche, improduttive le programmazioni, inefficaci gli interventi, inutilizzate le valutazioni. Riferimenti bibliografici 1 - Si rimanda al sito Opencoesione dove le cifre sulle politiche di coesione sono facilmente consultabili i n t e r a t t i v a m e n t e . www.opencoesione.gov.it/ 2 - Borgomeo C. (2013) L'equivoco del Sud. Sviluppo e coesione sociale. Laterza. 3 - Perotti R., Teoldi F. (2014) Il Disastro dei Fondi Strutturali Europei. Ebook http:// www.lavoce.info/wp-content/ uploads/2014/07/fondi-strutturalieuropei.pdf 4 https://www.youtube.com/ w a t c h ? feature=youtu.be&v=NJb7JL8LV Hc&app=desktop 5 - Mazzeo Rinaldi F. (2012) Il Monitoraggio per la Valutazione: concetti, metodi e strumenti. FrancoAngeli Editore, Milano. 5 6 - CE (2014) Guidance Document on Monitoring and Evaluation– http://ec.europa.eu/ regional_policy/sources/docoffic/ 2014/working/wd_2014_en.pdf La valutazione di impatto dei fondi strutturali, tra rigore e appropriatezza Nicoletta Stame – Sapienza Università di Roma ([email protected]) Recentemente è uscito su lavoce.info un intervento di Perotti e Teoldi che ha avuto una certa eco, tra cui una risposta sul sito AIV. Questi autori sostengono che i fondi strutturali non funzionano, e propongono pertanto di abolirli, e a sostegno della loro tesi dicono che comunque non è stata fatta alcuna valutazione di impatto robusta, intendendo con il metodo controfattuale. Il tema sollevato presenta diversi aspetti che riguardano, da una parte la domanda (il sistema di valutazione dei FS) e dall’altra l’offerta, ossia come viene fatta la valutazione. Dal punto di vista della domanda, la UE non chiede una valutazione dei risultati della politica di coesione, ma si limita per lo più a chiedere come sono stati spesi i fondi (e, come è noto, la situazione non è esaltante). Inoltre, come anche è stato messo in luce dall’intervento di Martini e Sisti su lavoce.info, il modo in cui sono fatti i bandi privilegia le offerte al ribasso, di cattiva qualità e di basso contenuto valutativo. Tra l’altro, è da tanto tempo che AIV si lamenta del fatto che ai concorrenti si richiedono garanzie finanziarie (di fatturato) che solo grandi aziende, che di solito fanno altro, possono dare, poiché ciò scoraggia la partecipazione di esperti valutatori che non hanno quella base finanziaria (e vengono poi assunti dalle società vincitrici ….). Ora, però, sembra che la UE – analogamente ad altri organismi internazionali – si stia orientando verso richieste più pertinenti di valutazione dei risultati, e allora occorre fare un pò di chiarezza. Una valutazione di impatto che sia “robusta” deve essere fatta in modo da tenere conto dei programmi a cui ci si riferisce e delle domande che vengono poste. Ciò ha conseguenze sia per come la UE e i committenti nazionali pongono le domande di valutazione – che dovrebbero essere più specifiche e far capire quali sono i problemi intravisti dal committente – sia per come il valutatore propone di valutarle. E dovrebbe dar luogo ad una consultazione e ad una interazione positiva tra questi due attori, oltre che con gli altri stakeholders (attuatori, beneficiari). Questi temi sono oggetto di ampio settembre - ottobre 2014, n.8 ! 6 dibattito nel campo delle politiche internazionali di sviluppo, sollevato da una serie di paper del Centre for Global Development, e del gruppo 3IE (International Initiative for Impact Evaluation) che sostenevano che, a fronte degli insuccessi registrati, i politici hanno bisogno di capire “cosa funziona”, e a questo scopo quella che serve è la valutazione dell’impatto dei programmi (definita come “la differenza nell’indicatore di interesse (Y) tra la situazione con intervento (Y1) e la situazione senza intervento (Y2)”) e che “una valutazione di impatto è uno studio che affronta la questione dell’attribuzione identificando il valore controfattuale di Y (Y0) in modo rigoroso” (White, 2010). Posizioni analoghe a quelle di Perotti e Teoldi. Nell’ampio dibattito che è seguito, è emerso che la valutazione con metodo controfattuale può essere fatta al massimo in quello che è stato (un po’ ironicamente) quantificato come il 5% dei casi, e ci si è domandati cosa si può fare nell’altro 95%... Partendo da questa premessa, il Department for International Development (DFID)-UK ha commissionato ad un gruppo di ricerca coordinato da Elliot Stern (di cui ho fatto parte anch’io, insieme a Barbara Befani, Rick Davies, Kim Forss e John Mayne) un rapporto che rispondesse alla domanda: “Sviluppare un più ampio raggio di disegni e metodi rigorosi per la valutazione di impatto di programmi di sviluppo complessi; verificare il caso che alternative ai disegni sperimentali e quasi sperimentali possano avere equivalente robustezza e credibilità – essi sono differenti ma eguali. Verificare il potenziale dei metodi qualitativi e dei metodi misti. I corsivi sono miei ma, come si vede, la domanda aveva ben chiari i termini della questione: legare il criterio del rigore metodologico a quello dell’appropriatezza, ossia “quali sono i metodi (utilizzati in modo rigoroso) appropriati ai programmi”*. I programmi internazionali di sviluppo a cui si riferiva la committenza del DFID hanno caratteristiche simili a quelli della politica europea di coesione. Anzi, si può dire che molti dei programmi di sviluppo di cui si parla sono in realtà programmi di redistribuzione e di sviluppo sociale, oltre che di sviluppo economico. Per questo motivo, ritengo che l’elaborazione fatta in questo contesto possa essere significativa anche per la valutazione dei fondi strutturali. Il Rapporto del gruppo di lavoro (Stern e altri, 2012) si intitola “Broadening the space of designs and methods for impact evaluation”. Qui posso solo richiamarne alcuni aspetti. La risposta che è stata fornita alla domanda del DFID è articolata in questo modo: - Quali sono le caratteristiche dei programmi: è il tema della complessità invocato dal DFID. - Quali sono le domande a cui la valutazione di impatto deve rispondere: è il tema degli approcci alla causalità esistenti, oltre a quello della differenza usato dal metodo controfattuale**. Lavorando su queste basi, il Rapporto si è interrogato su quali approcci alternativi esistenti potessero dare risposte a quelle domande. Sono state così seguite molte piste per illuminare i diversi punti, giungendo ad una identificazione dei criteri di appropriatezza degli approcci. Il disegno controfattuale (quando sia impostato in modo “rigoroso”) si adatta a programmi caratterizzati da un intervento singolo, realizzati in un ambiente stabile, entro un tempo determinato, secondo un preciso protocollo. Esso non si adatta, invece, quando i programmi sono complessi (attuati a molti livelli, composti di diverse parti interagenti, a stadi temporali successivi, ecc.) e quando essi coesistono con altri programmi. Il disegno controfattuale si adatta a programmi caratterizzati da una causalità lineare semplice (a causa b), e la causa è necessaria e sufficiente, ma non quando vi sono causalità multiple e ricorsive. Esso risponde alla domanda se l’effetto (netto) può essere attribuito alla causa (l’intervento visto come azione singola), ma non quando le domande di valutazione sono altre. La domanda di impatto, infatti, oltre all’attribuzione può riguardare: - Il contributo che un programma ha dato (“ha fatto la differenza?”), secondo varie combinazioni di cause necessarie e/o sufficienti: ci si riferisce alla letteratura in materia di causalità multiple (combinazioni di cause, contribuzione, pacchetti di cause); - La spiegazione (“perché?”, “in che modo ha fatto la differenza?” ) che richiede una teoria del programma da testare, o da costruire insieme agli attori, come consentono approcci di valutazione basati sulla teoria o di valutazione realista, che si basano su forme di causalità generative (meccanismi); - L’equità (“per chi ha fatto la differenza?”) che prevede un differente modo di reagire al programma a seconda dei valori dei beneficiari e del contesto in cui il programma è inserito, come consentono approcci di valutazione realista, di valutazione partecipata, di studi di caso e comparativi (come la Qualitative Comparative Analysis); - La generalizzabilità (“potrebbe estrapolarsi ad altre situazioni?”) che prevede l’analisi dei contesti spaziali e temporali in cui un programma potrebbe essere adattato, come consentono disegni di valutazione realista, e di studi di caso ***. A conclusione del lavoro sono stati individuati i seguenti approcci alternativi al disegno controfattuale: valutazione basata settembre - ottobre 2014, n.8 ! 7 sulla teoria, valutazione realista, contribution analysis, valutazione partecipata, studi di caso e comparativi. Ciascuno di essi risponde a precise esigenze, ha vantaggi e limiti. E quindi può essere appropriato alle domande e alle caratteristiche dei programmi. Ma poi si è fatto un passo successivo: data la complessità dei programmi, è possibile che una valutazione utilizzi più di un approccio, secondo varie forme di combinazione: un metodo può annidarsi in un disegno che si basa su un altro metodo; diversi metodi possono annidarsi in diverse parti del programma; diversi disegni possono coesistere perché coesistono scopi diversi della valutazione, come accountability, apprendimento, miglioramento. È la stessa idea dei metodi misti (ora così in voga anche presso i controfattualisti che si rendono conto dei limiti del loro metodo), che si sviluppa negli approcci misti. In conclusione, il criterio di scelta del disegno di valutazione è quello dell’appropriatezza, sia di un singolo disegno che di una combinazione di disegni; e il rigore metodologico va giudicato sulla base del modo in cui viene usato un approccio appropriato. Ci sono valutazioni controfattuali fatte bene e altre fatte male, così come ci sono valutazioni realiste fatte bene (in grado di ricostruire teorie del programma, meccanismi e contesti) e altre che ne hanno solo il nome. E quando si dice “fatte bene o male” non ci si riferisce solo alla metodologia di ricerca sociale e alla produzione di conoscenza su un fenomeno, ma alla costruzione di capacità gestionali negli amministratori e di empowerment dei beneficiari, in altre parole: valutazioni che possano essere usate ai fini del miglioramento delle politiche. Note *Un analogo approccio pluralista era presente anche in un corso sulla valutazione dei Fondi Strutturali coordinato dall’UVAL (Unità di Valutazione degli Investimenti Pubblici), i cui contributi sono stati rielaborati in Marchesi et al. (2011). **Su questo tema era già intervenuta sulla Newsletter Barbara Befani (2013). ***Si veda il numero speciale di Evaluation (vol. 19, n. 3) dedicato agli studi di caso. Riferimenti bibliografici Befani B. (2013), “Metodi rigorosi al di là del controfattuale”, AIV Newsletter, n. 3. Marchesi G., Tagle L., Befani B., a cura di (2011), Approcci alla valutazione degli effetti delle politiche di sviluppo regionale, Materiali UVAL, n. 22. Stern E., Stame N., Mayne J., Forss K., Davies R., Befani B. (2012), Broadening the space of designs and methods for impact evaluation, working paper 38, DFID (Department for International Development, UK). http://www.dfid.gov.uk/r4d/pdf/ outputs/misc_infocomm/ DFIDWorkingPaper38.pdf White H. (2010), “A contribution to current debates in impact evaluation”. Evaluation 16(2). settembre - ottobre 2014, n.8 Programmi europei e valutazione: una mappa con troppi vuoti ! 8 Andrea Naldini – Ismeri Europa ([email protected]) Nei prossimi mesi inizierà il nuovo ciclo 2014-2020 dei fondi strutturali in Italia, con risorse UE pari a circa 42 miliardi di euro a cui si aggiungeranno risorse nazionali per almeno 30 miliardi. I programmi UE hanno sempre avuto la valutazione come strumento centrale del loro modello di azione e gran parte della valutazione italiana è realizzata in quest’ambito. I regolamenti europei hanno spesso modificato gli indirizzi della valutazione e alcune importanti novità sono state introdotte nel prossimo periodo 2014-2020: la valutazione dei programmi europei torna ad essere obbligatoria, ciascun asse prioritario dovrà ricevere almeno una valutazione e questa dovrà concentrarsi sui risultati e, ove possibile, sui primi impatti. Anche altri tipi di valutazione (di processo, gestionale, partecipativa, ecc..) sono possibili, ma devono trovare una collocazione in un piano di valutazione, il quale diviene anch’esso obbligatorio e dovrà essere approvato entro il 2015. Il prossimo scenario è quindi quello di una valutazione più intensa, più sistematica e più orientata ai risultati di quanto richiesto nel passato. Ciò è in linea, peraltro, con la maggiore attenzione ai risultati e alla capacità gestionale richiesta dai programmi. Per meglio cogliere il valore di queste novità e le sfide che bisogna affrontare per migliorare la valutazione in Italia è utile soffermarsi su quanto avvenuto nel periodo 2007-2013. Premettiamo che nel periodo 2007-2013 la gestione dei programmi europei in Italia ha mostrato gravissime carenze strategiche e gestionali, le quali riflettono la debolezza delle politiche nazionali e la bassa capacità della nostra PA. Questi temi non possono essere approfonditi qui, ma sono lo sfondo dell’esperienza valutativa di questi anni. Ricordo anche che negli anni passati la valutazione era facoltativa, quindi ogni responsabile di programma operativo (PO) poteva decidere se attivarla o meno. La valutazione dei fondi europei in Italia è stata nel complesso insoddisfacente, nonostante si possano individuare alcuni interessanti cambiamenti. A fine 2012 una stima indicava che per ogni 10 mila euro impegnati dai fondi europei 425 euro hanno sostenuto varie forme di assistenza tecnica (354 nel FESR-Fondo Europeo di Sviluppo Regionale e 615 nel FSE-Fondo Sociale Europeo) e solo 9 euro hanno finanziato la valutazione (6 euro nel FESR e 16 Euro nel FSE). Quindi, la valutazione rimaneva la Cenerentola tra le attività di accompagnamento dei programmi. Nonostante ciò è stato realizzato un numero consistente di rapporti di valutazione: a fine 2013 si contavano 107 valutazioni nei PO FESR e 113 nei PO FSE, a cui si aggiungono numerosi rapporti nello sviluppo rurale. Questi numeri sono rilevanti anche in confronto ad altri paesi europei, ma non elevatissimi in rapporto all’alto numero di programmi e all’importante volume di risorse loro assegnate. Inoltre, molti dei principali programmi del sud Italia, quelli che concentravano le risorse maggiori e al tempo stesso incontravano gravi problemi di implementazione (p.e. Ricerca e competitività, Campania, Calabria, Sicilia, Attrattori culturali, Energia), non hanno realizzato nessuna attività valutativa o quasi. Per esempio, il PO Ricerca e Competitività con una dotazione di oltre 4 miliardi e promotore dei principali interventi per l’innovazione nelle regioni meno sviluppate ha finanziato solo piccole analisi su interventi conclusi nel periodo 2000-2006. Non è un caso quindi che le conoscenze derivabili dalla valutazione si siano concentrate in pochi settori “più valutati”, quali gli aiuti alle imprese o la formazione, mentre non esistono risultati consistenti in altri settori cruciali quali l’ambiente, i trasporti o il turismo. Inoltre, anche nei settori più presidiati sono mancate comparazioni e sintesi dei risultati delle valutazioni che consentissero di indirizzare le decisioni; in pratica, ciascuno può dire e fare la sua senza timore di essere smentito. Le valutazioni, quindi, per sistematicità e capacità di approfondimento sono state squilibrate tra territori e tra settori di intervento. Non c’è però solo un problema di quantità di valutazione, ma anche di qualità. Alcune analisi e peer reviews europee hanno mostrato una scarsa qualità delle valutazioni dei fondi europei; le valutazioni non sono peggio di quelle realizzate in molte altre politiche internazionali ma sono sicuramente al di sotto delle ambizioni e delle attese di queste politiche. Su questo punto l’Italia non si discosta dalla media europea e le più frequenti debolezze delle valutazioni sono state: una insufficiente attenzione ai risultati; un disegno valutativo spesso inadeguato a causa di una carente teoria del programma; un utilizzo non rigoroso di metodi e tecniche; valutazioni di impatto effettuate su interventi abbandonati e quindi di scarsa utilità; una insufficiente capacità, o volontà, di comunicare i risultati della valutazione e di proporre cambiamenti delle politiche. Le cause di queste debolezze sono varie e possono cambiare nei diversi contesti, propongo comunque un loro elenco non esaustivo: resistenza alla valutazione nella PA; insufficiente indipendenza dei valutatori; ruolo egemonico dei gestori dei settembre - ottobre 2014, n.8 ! 9 programmi sulla valutazione con potenziale conflitto di interesse; scarsa capacità delle amministrazioni a fare i bandi ed a guidare i processi valutativi; tempi e risorse inadeguati per realizzare valutazioni di qualità; scarsa capacità dei team di valutatori a confrontarsi con i temi dello sviluppo; maggiore interesse delle amministrazioni per i processi, in quanto i risultati vengono percepiti fuori delle loro competenze; assenza di dibattiti pubblici che consentano una verifica della qualità ed utilità della valutazione. A fronte di queste debolezze alcuni passi in avanti possono comunque essere segnalati. Prima di tutto, la diffusione, seppure ancora limitata e non sempre rigorosa, di metodi econometrici di impatto controfattuale. In secondo luogo, la diffusione di un approccio più pragmatico e volto ad analizzare pezzi omogenei di programma, invece che interi programmi troppo complessi da interpretare. In terzo luogo, una crescente capacità di alcune amministrazioni, generalmente del Centro-Nord, ma anche il programma istruzione, ad organizzare attività valutative in modo sistematico e pianificato. Il sistema di conoscenze restituito dalla valutazione di questi anni è quindi molto lacunoso e ricorda una mappa con molti vuoti: abbiamo qualche elemento ma non riusciamo a ricostruire l’insieme. Questa condizione impedisce di utilizzare la valutazione in modo regolare e su tutti i programmi come supporto democratico alle decisioni. Innanzitutto, la scarsa valutazione non ha garantito accountability: non è chiaro cosa i programmi hanno realizzato né se hanno conseguito risultati significativi. A questo riguardo anche la discussione sulle valutazioni realizzate è rimasta chiusa tra pochi adepti (valutatori, gestori dei programmi, Dipartimento Politiche di Sviluppo, Commissione Europea) e di certo non ha aiutato. Per esempio negli ultimi mesi alcuni accademici (p.e. Nannariello, Perotti, Teoldi su lavoce.info) o giornalisti si sono cimentati con gli effetti dei programmi europei, ma pur toccando criticità vere le loro analisi hanno spesso peccato di superficialità o vaghezza proprio perché non potevano basarsi su valutazioni sistematiche. Alcuni elementi di fondo che hanno caratterizzato la negativa esperienza della programmazione 2007-2014 (divari regionali in aumento, disoccupazione in crescita, deindustrializzazione di vaste aree del paese, scarsa innovazione, investimenti pubblici fermi, incapacità di molte amministrazioni) non trovano una risposta, perché l’inadeguata valutazione non ha saputo collegare le politiche pubbliche ai bisogni del paese. Non a caso la definizione dei programmi 2014-2020 attualmente in corso è in molti casi estemporanea oppure riproduce in modo acritico modelli passati. Le sfide che attendono ora la valutazione sono però importanti e non si possono perdere. Nel 2014-2020 saranno obbligatorie almeno 3-4 valutazioni per programma (1 per ogni asse prioritario) per un totale di circa 300 valutazioni, le quali andranno rivolte non solo ai processi ma soprattutto ai risultati; ulteriori valutazioni saranno possibili ma discrezionali. Queste attività andranno obbligatoriamente programmate in specifici piani di valutazione che dovranno essere definiti entro il 2015. Dopo la definizione dei programmi, si aprirà quindi nei prossimi mesi una importante e diffusa riflessione sulla valutazione dei programmi comunitari. Guardando ai limiti del passato è necessario che questa discussione segua alcuni principi fondamentali: •essere il più possibile pubblica e coinvolgere i principali stakeholders, •mettere al centro la conoscenza e non mode o approcci teorici (controfattuale vs theory based) e quindi pianificare le attività valutative in relazione ai bisogni di conoscenza e al ciclo del programma; •porre attenzione alla effettiva realizzazione delle valutazioni (domande valutative, tempi e risorse, attenzione alla qualità) e non a generici impegni, •impegnarsi ad assicurare una reale indipendenza dei valutatori; •p r e v e d e r e u n a a d e g u a t a discussione pubblica e l’utilizzo dei risultati della valutazione. È inoltre importante prevedere la sostituzione delle amministrazioni che non si mobilitano adeguatamente o che non garantiscono una adeguata indipendenza dei valutatori. È anche necessario attivare diverse forme di animazione e confronto tra amministrazioni e programmi, tra valutatori professionali ed accademia, tra valutatori e stakeholders. In questo contesto l’AIV può giocare un ruolo importante monitorando questi processi e segnalando quando questi deragliano dai binari di una buona ed efficace valutazione. L’AIV può anche sostenere la diffusione di criteri di qualità della valutazione e può aiutare ad amplificare la discussione sui risultati delle valutazioni. La sfida a colmare i vuoti della valutazione dei fondi europei è quindi rivolta anche all’AIV. Note *Vedi A. Naldini La severa lezione della programmazione 2007-2013 in Scenari economici, Confindustria, n.20 giugno 2014. **Vd. http://ec.europa.eu/ regional_policy/sources/docgener/ evaluation/pdf/eval2007/ note_peer_group_exercise_10201 3.pdf settembre - ottobre 2014, n.8 ! La valutazione dei fondi strutturali: uno sguardo sul recente passato in Italia Lodovico Conzimu - Regione Autonoma della Sardegna ([email protected]) 10 Sono passati ormai quasi 40 anni da quando la politica regionale europea, sorta nel 1975 con l'istituzione del Fondo Europeo di Sviluppo Regionale (FESR), ha iniziato a promuovere lo sviluppo economico e sociale dei contesti t e r r i t o r i a l i m a rg i n a l i o i n condizioni di arretratezza. Oggi, dopo un così lungo lasso di tempo, si devono necessariamente fare i conti con una sempre maggiore ed insistente richiesta di trasparenza ed accountability da parte dell'opinione pubblica europea. Da più parti, nel mondo politico, accademico, i media si domandano quale sia stato il loro impatto in termini di crescita e riequilibrio dei divari territoriali, più precisamente, di valutarne gli effetti. A questo proposito, nel seguente articolo, si descriverà come in questi anni vi siano state esperienze valutative che sembrano particolarmente consistenti anche se, come evidenzia Naldini nel suo contributo, non sempre hanno garantito qualità e coperto tutti i settori interessati dalla Politica di coesione. Ma tale esigenza non è solo il frutto del dibattito odierno su questo tema, ma ha radici lontane. Infatti, già nei primi anni di avvio della politica regionale e con la prima riforma dei fondi strutturali (1988) era emersa la necessità di accompagnare gli interventi, con un’analisi dei loro esiti*. Bisogna, quindi, riconoscere che con l'avvio dei fondi strutturali, con tutti i limiti che si conoscono, vi sia stato un forte impulso, soprattutto in Italia, per la v alut a z i on e d e l l e p o l i t i c h e pubbliche. Nelle pubbliche amministrazioni, dove i concetti di efficienza ed efficacia hanno sempre avuto difficoltà ad imporsi, con l'avvento dei programmi comunitari, il tema dell'accountability inizia a trovare spazio, per dare conto degli interventi posti in essere con il contributo dei fondi strutturali. Oggi ci ritroviamo dopo tre cicli di programmazione, all'alba del nuovo settennio 2014-2020, con l'introduzione di nuove regole e nuove sfide, e dove la valutazione, almeno secondo quanto ribadito dai documenti ufficiali, sembra assurgere ad un ruolo di ancora maggior prestigio. La filosofia di tutto il nuovo periodo di programmazione si poggia sulle parole guida resulted oriented, le azioni devono essere focalizzate verso risultati concreti e, soprattutto, misurabili. Seguendo tale approccio, nei regolamenti** è stato introdotto l'obbligo di predisporre Piani di valutazione in cui definire modalità, temi e metodi per la valutazione della futura politica di coesione. Pratica già presente nel recente passato 2007-2013, ma in questo caso viene ribadita, con la cogenza di una previsione normativa ad hoc, l'importanza di dotarsi di uno strumento che consenta di sistematizzare tutto il complesso iter delle valutazioni. In Italia, i Piani di valutazione hanno riguardato non solo i fondi strutturali, ma si è voluto dare una visione d'insieme, considerando come parametro di rifermento la politica regionale unitaria (esaminando, quindi, sia le politiche confinanziate con fondi strutturali che quelle finanziate dalle sole risorse nazionali). Le diverse Autorità di Gestione avevano predisposto proprio Piani settembre - ottobre 2014, n.8 ! 11 di valutazione per organizzare la funzione di valutazione, individuando le modalità organizzative della valutazione, le risorse, i meccanismi di selezione delle valutazioni, le attività valutative intraprese e da intraprendere e le modalità di disseminazione dei risultati. L'Unità di valutazione degli investimenti pubblici (UVAL) del Dipartimento per la coesione e lo sviluppo economico ha predisposto un database, raccogliendo direttamente le informazioni presso i Nuclei di Valutazione e Verifica degli Investimenti Pubblici regionali ed in capo a Ministeri. Secondo i dati presenti in tale DB per il solo periodo 2007-2013 sono state censite, a livello regionale e nazionale, ben 322 attività valutative di vario genere, sia di carattere trasversale e generale (incentrate sui Programmi Operativi regionali e nazionali) che di tipo tematico, più circoscritto e puntuale (analizzando politiche od argomenti specifici). Una mole di analisi, dati, informazioni notevoli che hanno visto operare esperti e professionisti della valutazione a tutti i livelli, sia in ambito pubblico che privato, che si sono cimentati in diversi ambiti tematici e hanno utilizzato differenti tecniche e metodologie. Entrando nel merito delle valutazioni condotte finora sui fondi strutturali, si nota che la maggior parte di queste rientrano nella categoria di attività meramente "regolamentari", ovvero che possono essere considerate alla stregua di adempimenti formali, attenendosi al rispetto di quanto previsto dalla normativa europea, e non il frutto di una reale esigenza informativa e di un chiaro mandato valutativo. Tu t t a v i a a n c h e i n q u e s t e valutazioni si possono rinvenire informazioni di estremo interesse, che se opportunamente utilizzate rappresentano un'imprescindibile fonte per inquadrare l'andamento in termini di capacità di spesa, realizzazioni, efficienza allocativa dei Programmi Operativi che hanno operato nel territorio italiano. Le valutazioni cosiddette tematiche, invece, si distinguono dal fatto che oltre ad avere oggetti valutativi definiti, appaiono derivate da un processo di definizione delle domande valutative maggiormente intelligibile. In questo caso le ricerche si sono concentrate su alcuni particolari aspetti (politica, intervento, ecc.). Utilizzando la terminologia propria dei fondi strutturali possiamo suddividere queste valutazioni in ex ante, in itinere ed ex post. Fig.1 Le valutazioni sui fondi strutturali sulla programmazione 2000-2006 e 2007-2013 Fonte: nostra elaborazione su dati UVAL - DPS Come si può facilmente intuire dalla fig. 1, e contrariamente a quanto da più parti si afferma, in questi anni sono state condotte innumerevoli valutazioni sugli effetti (ex post appunto) che hanno toccato diversi campi, dalle politiche anticrisi, alla Ricerca e Sviluppo, allo sviluppo locale. La tabella 1 mostra come molte di queste si sono concentrate nel valutare i diversi interventi formativi, soprattutto i loro possibili esiti occupazionali, che da tempo ormai rappresentano il fulcro delle politiche di capacity building della Commissione europea e su cui è possibile, quindi, avere a disposizione informazioni in un arco temporale più esteso. La varietà è comunque ampia sia in termini di ambito di interesse che di oggetti. Alcune valutazioni hanno riguardato progetti specifici (come per es. il caso della Regione Campania con la valutazione denominata: “Tra il dire e il mare”: una valutazione ex post del progetto integrato “città di *** Napoli” 2000-2006 ), altre politiche di stretto interesse della Regione stessa (come la valutazione su "Le politiche di sostegno al settore dei Trasporti" della Regione Sicilia). Tab. 1. Gli ambiti d'interesse delle valutazioni sui fondi strutturali della programmazione 2000-2006 e 2007-2013. n. di valutazione per settore. settembre - ottobre 2014, n.8 ! 12 Come ricordato in precedenza sono in netta prevalenza le valutazioni sul tema formazione. Sappiamo che sulla qualificazione dei lavoratori, piuttosto che sulla promozione di percorsi professionali, si sono investite notevoli risorse (in primo luogo del Fondo Sociale Europeo-FSE) ragion per cui si è maggiormente concentrata l'attenzione su tale ambito. Interessante notare come tali indagini valutative non si siano soffermate sul solo aspetto occupazionale, ma anzi abbiano osservato l' "evaluando" in tutte le sue sfaccettature, dalla qualità dell'offerta formativa (Regione Lazio) all'analisi comparativa sui costi delle attività formative (Provincia Autonoma di Trento), fino alla valutazione dei fabbisogni professionali e formativi delle imprese (Regione Marche). Il maggior spettro di indagine sul tema della formazione, non ha certo comportato un mancato approfondimento sulla questione dell'efficacia di tali interventi formativi, come dimostrano le analisi dell’efficacia dei percorsi di alta formazione condotte dal Ministero dell’Istruzione, dell’Università e della Ricerca, "Alta formazione e occupabilità percorsi di transizione al lavoro nel Mezzogiorno"****. Altro tema caldo ha riguardato lo Sviluppo locale, che soprattutto con la progettazione integrata ha trovato ampio spazio nei Programmi Operativi Regionali. Pur essendo la progettazione integrata una modalità operativa di attuazione dei Programmi Operativi, spesso questa è stata considerata come un’entità unica, sia per la sua particolare ed innovativa natura progettuale (topdown ed integrata, appunto) che per il volume di risorse che ha mobilitato. In particolare, sono le regioni del centro-sud (Campania, Puglia, Sicilia, Umbria) che hanno dimostrato una maggiore attenzione a tale tematica, con approfondimenti sia sul versante dell'efficacia ("Valutazione ex post dei Progetti Integrati del POR 2000-2006 della Regione Campania"***** e "L’attuazione dei PIT in Sicilia una Valutazione finale dell’esperienza"******) che su quello dell'attuazione ("Indagine valutativa su uno strumento di Policy: i PIT–Primo stato di avanzamento della Regione Puglia"*******). Anche a livello "centrale" l'argomento è stato trattato con particolare interesse, anche in considerazione del fatto che la stessa progettazione integrata rappresentava una sfida ed un'opportunità cara all'allora capo dipartimento Fabrizio Barca. Proprio l'UVAL ha predisposto alcune “Valutazioni dell’impatto di alcuni PIT della programmazione 2000-2006 e delle sue determinanti”******** attraverso le quali si sono valutati metodi e risultati, in relazione agli obiettivi di trasformazione economica e sociale che gli stessi PIT si prefiggevano di raggiungere. Queste valutazioni hanno fornito una lettura analitica dei risultati raggiunti tenendo conto di tutti quei fattori che potevano influenzare gli esiti finali del PIT stesso: risorse umane; vincoli istituzionali; inerzie burocratiche; pregresse iniziative di sviluppo; specificità del territorio. Altra politica su cui lo sforzo conoscitivo si è dispiegato, è quella relativa al supporto alle imprese (tab. 1), che rappresenta l'altro grande pilastro (oltre a quelli riguardanti gli investimenti infrastrutturali e sul capitale umano) della politica di coesione, un "pacchetto" di interventi su cui i fondi strutturali hanno puntato settembre - ottobre 2014, n.8 per sovvertire lo stato di disagio economico delle aree dell'Europa maggiormente arretrate. ! In questo ambito, risultano interessanti i lavori presentati su un tema "scottante" nel dibattito europeo, relativamente alle misure di agevolazione di accesso al credito (si veda per es. le valutazioni della Regione Sardegna e del Molise sui rispettivi Fondi di Garanzia*********). Gli interventi di ingegneria finanziaria hanno rappresentato, almeno stando a queste prime valutazioni un boccata d'ossigeno per il mondo imprenditoriale. Questa breve rassegna sulle valutazioni condotte in questi ultimi anni sui fondi strutturali, pone in evidenza un contesto attivo, che ha consentito la costruzione di un notevole patrimonio informativo. Naturalmente, questo non significa che la qualità sia sempre garantita ed omogenea in tutti i lavori o che i risultati di tali analisi abbiano sortito chissà quale effetto sul decisore finale (preferisco la versione italiana di policy maker). Tuttavia, questo complesso di valutazioni rappresenta un'opportunità per chi intende favorire e promuovere la valutazione delle politiche pubbliche, in quanto da una parte garantiscono un interessante parametro di confronto e, dall'altra, permettono una maggiore consapevolezza da parte dell'opinione pubblica sull'utilizzo di una fetta consistente di risorse pubbliche. Note 13 *L'articolo 6 del regolamentoquadro dei fondi strutturali per il periodo 1989 - 1993 stabiliva per la prima volta che "al fine di apprezzare l’efficacia degli interventi strutturali, l’azione comunitaria è oggetto di una valutazione ex ante ed ex post destinata a valutare il suo impatto”. **Regolamento (UE) n. 1303/2013 ***Tra il dire e il mare: una valutazione ex post del progetto integrato “città di Napoli” 2000-2006 ****http://www.dps.mef.gov.it/ documentazione/snv/ piani_valutazione/Pon_ricerca/ 2 0 0 0 - 2 0 0 6 / Alta_formazione_e_Occupabilita. pdf *****http://www.dps.mef.gov.it/ documentazione/snv/ piani_valutazione/campania/ Valutazione_ex_post_PIPOR.pdf ******http://www.dps.mef.gov.it/ documentazione/snv/ piani_valutazione/sicilia/ Valutazione_PIT_Rapporto_Finale .pdf *******http://www.dps.mef.gov.it/ documentazione/snv/ piani_valutazione/puglia/ 4_Val_expost_PIT.pdf ********http://www.dps.mef.gov.it/ materialiuval/ *********http:// www.dps.mef.gov.it/ documentazione/snv/ piani_valutazione/molise/Fondo %20di%20garanzia0006BIS.pdf Lo stato della valutazione del FSE in Italia Claudia Villante - Isfol ([email protected]) Nella programmazione dei fondi strutturali 2007/2013 si è affidata alle Amministrazioni titolari dei Programmi Operativi l’opportunità di definire temi, tempistiche, interventi da valutare, nonché metodologie e strumenti di analisi. La scelta effettuata di lasciare alle singole Autorità di Gestione tale libertà di azione nasce dall’idea di legare la valutazione alle esigenze conoscitive dei singoli territori e di utilizzare gli esiti degli studi per aumentare l’efficacia delle scelte di policy dei decisori politici. Questa scelta ha dato origine ad un panorama diversificato di valutazioni, di domande valutative, di metodologie e approcci che, se da un lato ha avvicinato la ricerca alle priorità delle Amministrazioni, dall’altro ne ha aumentato le responsabilità decisionali e gli oneri o rg a n i z z a t i v i c o n n e s s i a l l a garanzia di qualità dei processi e dei risultati. Il Regolamento 1083/2006, art. 47, comma 2, ha introdotto una distinzione in merito alla funzione attribuita alla valutazione, attribuendo ad essa una doppia natura: 1) Una natura strategica, finalizzata all’esame dello sviluppo di un programma o di un gruppo di programmi rispetto alle priorità comunitarie e nazionali, e 2) Una natura operativa, orientata a supportare il monitoraggio/la sorveglianza di un programma operativo. Nello stesso Regolamento veniva inoltre stabilito che le attività valutative dovevano essere svolte in tre fasi: -‐ iniziali (ex ante), per apprendere da altre esperienze già concluse, al fine di migliorare l’impostazione dell’attuazione; -‐ durante l’attuazione (on-going), per affrontare problemi, nuove opportunità, migliorare i processi attuativi e, eventualmente, modificare il programma; -‐ nella fase finale (ex post), volta ad accumulare conoscenze per il periodo successivo di programmazione ed evitare errori futuri, nonché a rendere conto alla collettività di quanto settembre - ottobre 2014, n.8 ! 14 fatto in precedenza. Contrariamente a quanto è avvenuto nel precedente periodo di programmazione, la Commissione nel 2007-2013 non ha stabilito né un calendario di produzione delle valutazioni né tanto meno l’obbligo di condurre alcune tipologie specifiche di valutazione durante il periodo di attuazione (come ad esempio la valutazione intermedia), ma ha incoraggiato la costruzione di sistemi nazionali e regionali basati sulla realizzazione di valutazioni ricorrenti lungo tutto il periodo di attuazione dei programmi operativi. L’idea era di avviare un processo fondato sulla “valutazione continua” senza più vincoli temporali esterni e maggiormente adattato alle priorità e alle esigenze interne. Questo mutato contesto ha generato tuttavia percorsi molto differenziati tra le Autorità di Gestione responsabili di condurre tali valutazioni. Da una parte, infatti, sono stati prodotti approfondimenti tematici e valutazioni specifiche molto utili ed interessanti, basati su scelte metodologiche di tipo sperimentale e non, e dall’altro si sono verificati veri e propri vuoti valutativi: la mancanza di vincoli ha quindi messo in trasparenza la presenza di culture valutative interne alle amministrazioni molto “illuminate” da un lato, e l’assenza totale di tale sensibilità dall’altro. Basta leggere il recente report della DG Employment*, per mappare la virtuosità di alcune realtà regionali rispetto ad altre e tirare le somme dello stato di avanzamento del dibattito intorno alla valutazione nel nostro Paese rispetto agli altri Stati membri. Esaminando gli studi mappati da questo report, emergono informazioni interessanti in merito alle scelte metodologiche adottate. Gli approcci sono stati: 1) valutazioni focalizzate sui processi di gestione e di implementazione dei Programmi Operativi, effettuate con analisi di secondo livello di materiali di divulgazione, interviste in profondità agli stakeholder e manager; 2) valutazioni di secondo livello basate sui dati di monitoraggio, volte a valorizzare gli indicatori previsti dai Programmi Operativi (come ad esempio i tasso di copertura degli interventi, il tasso di partecipazione dei destinatari finali degli interventi, ecc); 3) valutazioni basate su indagini campionarie, effettuate attraverso l'invio di questionari, volte a quantificare l’effetto lordo degli interventi in termini di impatti occupazionali oppure i livelli di soddisfazione dei destinatari finali; 4) valutazioni basate su dataset di natura amministrativa, finalizzate ad osservare nel tempo l’evoluzione di fenomeni occupazionali; 5) valutazioni di impatto controfattuale, effettuate su destinatari finali degli interventi (in particolare di interventi personalizzati come i voucher formativi); 6) valutazioni basate su metodologie miste (analisi dei dati di monitoraggio e indagine su un campione di beneficiari finali), in particolare centrate sull’analisi di efficacia relativa degli interventi. Il Sistema Nazionale di Valutazione, che ha operato per molto tempo presso il Dipartimento dello Sviluppo Economico, ha effettuato, nel tempo, un lavoro di raccolta e sistematizzazione delle valutazioni condotte dalle Autorità di Gestione. Tuttavia si tratta di un lavoro che è attualmente non aggiornato e l’unica mappatura settembre - ottobre 2014, n.8 che ad oggi può fornire un quadro della produzione è quella già citata, realizzata dalla DG Employment, Social Affairs and Inclusion. ! L’Isfol ha realizzato nel 2012 un’analisi degli studi valutativi in corso**, basandosi sulle “dichiarazioni di intenti” contenute nei Piani Unitari di Valutazione (PUV) e sulla base di questionari compilati dai Responsabili di tali Piani, previsti dal Regolamento 1083/2006. Da questa mappatura emergeva un quadro molto ricco (se non altro in termini quantitativi) così come emerge dalla figura di seguito riportata: Fig.1 – Valutazioni Fse per Regioni e Province Autonome* da 0 a 1 da 5 a 9 da 2 a 4 da 10 a 14 dato non presente Fonte: elaborazione Isfol su dati Snv. La Calabria è assente in quanto non ha risposto al questionario, 2012. La figura 2 riporta, per tipologia di valutazione e amministrazione committente, la distribuzione di tali prodotti in fase di avvio. Regioni obiettivo (valori percentuali) Fonte: elaborazione Isfol su dati Snv, 2012 Facendo un rapido confronto con queste due uniche fonti di dati si osserva il basso “tasso realizzativo” delle valutazioni condotte nel nostro Paese. Le valutazioni condotte tra il 2006 e il mese di dicembre 2011 riferite a interventi/progetti finanziati con il FSE sono state complessivamente 113. Secondo lo studio della DG Employment gli studi portati a termine, con riferimento alle stesse tematiche, sono appena 20. Sebbene vada considerato che il report della Commissione faccia riferimento alle valutazioni relative agli interventi volti a supportare i processi di accesso al mercato del lavoro, va ricordato che il FSE ha finanziato nel nostro paese tali processi in maniera esclusiva, mentre possono considerarsi marginali le valutazioni che attengono alle stesse tipologie di intervento in altre politiche e fondi di finanziamento. Facendo un semplice rapporto tra report di valutazioni previsti dai Piani Unitari di Valutazione (fonte Isfol) e prodotti realizzati (fonte DG Employment) emerge infatti una percentuale pari a 17,7! Dal punto di vista delle tematiche affrontate dalle valutazioni concluse, secondo la fonte Isfol, i principali argomenti di analisi sono stati: Fig.2 15 -‐ G l i e s i t i a s o s t e g n o dell’occupabilità, relativi: o ai corsi attivati in seno alle direttive “diritto-dovere di istruzione”, orientati ai giovani soggetti all’obbligo formativo, e ai percorsi formativi rivolti ai lavoratori disoccupati; o all’analisi integrata dell’efficacia degli interventi formativi in termini di diversificazione degli esiti nei singoli contesti territoriali provinciali; o alla comprensione dei fattori che influenzano il miglioramento delle performance aziendali, delle caratteristiche degli investimenti realizzati e delle criticità nella fase di realizzazione. -‐ G l i e s i t i d i i n t e r v e n t i d i formazione continua per gli occupati, finalizzati ad interpretare l’articolazione di esperienze, comportamenti e attese espresse dagli occupati che hanno fruito negli ultimi anni di interventi di riqualificazione, aggiornamento o riconversione professionale. -‐ L’analisi degli effetti generati dalle politiche di contrasto alla crisi socio-occupazionale. -‐ L’analisi del rafforzamento della capacità amministrativa regionale e l’attuazione di specifici modelli di governance. -‐ L’analisi di impatto della progettazione integrata, quale strumento di sviluppo locale. -‐ L’analisi della capacità di comunicazione e diffusione con riferimento al grado di risposta alle esigenze di conoscenza dei programmi, realizzato dalle attività in corso di attuazione, e al grado di trasparenza e di accessibilità delle informazioni sulle opportunità offerte dai programmi comunitari. settembre - ottobre 2014, n.8 ! In generale le analisi condotte evidenziano diverse criticità, soprattutto se messe a confronto con le richieste nell’ambito della programmazione 2014-2020. In particolare va segnalata: -U n n u m e r o l i m i t a t o d i destinatari finali coinvolti nelle analisi; - l'assenza di una valutazione del rapporto tra risultati (di qualsiasi tipo) e le spese sostenute (costiefficacia); - la mancanza di connessioni causali, in alcuni casi parzialmente, in altri totalmente, tra la descrizione del contesto economico in cui si verifica l'attuazione del Programma, e il contributo che il FSE (e dei suoi risultati) intende fornire; - la mancanza di analisi di larga scala di analisi contro-fattuali. Se si considera che nel periodo di programmazione che si sta aprendo, la Commissione Europea ha posto uno specifico accento sulle valutazioni di impatto basate sull’evidenza dei dati per orientare le politiche ed i programmi (evidence base policy) le esperienze condotte a questo proposito risultano molto limitate. Se da una parte è vero che esistono politiche di intervento che male si conciliano con i metodi controfattuali (si vedano a questo proposito tutti gli interventi di natura sociale, a cui peraltro il FSE destinerà una fetta di almeno il 20% delle risorse complessive), è anche vero che per la mancanza di una tradizione in questo ambito tutta italiana, (ad eccezione di pochi e limitati casi che si riferiscono ad universi limitati di destinatari***), occorre avviare un lavoro serio di riflessione e di costruzione anche a partire dal patrimonio di conoscenze già presente nella nostra Associazione. 16 Note *European Commission, DG Employment, Social Affairs and Inclusion, ESF Expert Evaluation Network, Final synthesis report: Main ESF achievements, 2007-2013, March 2014. **Luisi D., Mastracci C., Santomieri K., Si può fare. Capacità valutative, realizzazioni e apprendimenti per la valutazione delle politiche per le risorse umane. Riflessioni a partire dall’analisi dell’attuazione, Isfol, Collana Research Paper, numero 4 - dicembre 2012, dei Piani unitari di valutazione 2007-2013. Lo studio ha utilizzato la banca dati delle valutazioni gestita dal Sistema Nazionale di Valutazione e ha effettuato una rilevazione diretta presso le amministrazioni attraverso la compilazione di un questionario on line da parte dei R e s p o n s a b i l i d e i P U V. L a rilevazione è avvenuta tra il mese di novembre 2011 e il mese di gennaio 2012, con qualche integrazione successiva entro marzo 2012. Le informazioni raccolte si riferiscono allo stato delle valutazioni della politica regionale previste e/o realizzate dalle diverse Amministrazioni entro il mese di dicembre 2011. ***A questo proposito si citano i casi della Provincia Autonoma di Trento e Piemonte dove sono state condotte analisi di tipo controfattuale. EVALUATION OF COHESION POLICY 2014-2020 Veronica Gaffey - Head of Unit Evaluation and European Semester Brussels, September 2014 Result Orientation and Implications for Evaluation The result orientation is at the heart of the new cohesion policy for 2014-2020. This new approach will have important consequences, both for those who manage Structural Funds and those involved in the evaluation of the programmes. The ex post evaluation of the 2000-2006 cohesion policy programmes was the most intensive undertaken yet. Twenty evaluations were undertaken for the Directorate General for Regional and Urban Policy, being finally completed in 2011. The Directorate General for Employment and Social Affairs also carried out an intensive evaluation work programme. An important finding was the multiple nature of cohesion policy objectives which are not confined to economic development but include also strengthening social and territorial cohesion. This, combined with lack of clarity in operational programmes on the precise objectives which they were intended to achieve and how that achievement could be verified, helped us to understand that if evaluation was to fully play its role, policies and programmes would have to change. This was the genesis of the result orientation for the future policy. Another pressure was a growing demand from Member States for a greater accountability for what the policy achieved in real terms as opposed to the more traditional focus on absorption of funds and correct expenditure in audit terms. The main change for the future is that we ask for each priority in a programme: What do you want to change? This is the specific objective. The specific objective should have a corresponding result indicator with a baseline. The next question is to ask will the allocated funds deliver the proposed outputs and how will this contribute to change in the expected result - and the result indicator (the intervention logic). We recognise that other factors will contribute to change. It is the role of evaluation to assess the extent of the contribution of the policy to change and disentangle this from the role of other factors.The evaluator will, therefore, have a clearer idea of settembre - ottobre 2014, n.8 ! the objective to be achieved, against which success can be measured. We have found in the current period that over 80% of Member States evaluations are concerned with implementation issues – how project selection operates, bottlenecks to absorption, appropriateness of indicator systems, etc. Few evaluations deal with impact (the contribution to change). We want to redress this balance. In summary, what legal provisions for the 2014-2020 period should deliver for evaluation is: A clear statement of objectives with associated indicators against which the policy can be evaluated. An enlarged role for evaluation which in addition to supporting "the quality of the design and implementation of programmes" is to "assess their effectiveness, efficiency and impact". An evaluation plan for each programme which must be drawn up within one year of the approval of the programme. For each priority, there must be an evaluation during the programming period on how it is contributing to its objectives (impact evaluation). The monitoring committee debates the evolution of the result indicators, monitors the evaluation plan and follows up the findings of evaluation. Each year from 2016, the Commission sends a report to the Council and European Parliament synthesising the evidence on the performance of the policy from the Annual Implementation Reports and available evaluations. Current State of Evaluation Capacity in Europe Through Structural Funds, the European Commission has supported the development of evaluation capacity since the early 1990s. Much has been learned over the period, so much so that it is often said that cohesion policy is the most evaluated of all EU policies. However, we believe that now is the time to make a step • • • • • • 17 forward in terms of improving the rigour of evaluations and in ensuring that issues of causality gain a higher prominence. Member States' capacities for and interest in evaluation vary widely. We have some traditionally very active Member States with strong evaluation societies – such as Italy. Since 2004 following enlargement of the EU, some of the newer Member States have invested very significantly in developing their evaluation capacity: Poland and Hungary deserve particular mention. Other Member States do very few Structural Fund evaluations, even if they have a strong capacity at national level, while others invest in evaluation but capacity is limited. In the current programming period, there are very few requirements for evaluations which must be carried out. We have encouraged a needs-based approach to evaluation: evaluate what you need to know when you need to know it. For 2014-2020, we require an evaluation of each priority at some point during the programming period, looking at effects. But the timing and method is open. Can it be done? The changes for 2014-2020 are quite important and will be challenging to deliver on. There are challenges both for managing authorities and for evaluators. Managing authorities will need to plan evaluations from the beginning of the programming period. This will include planning for the data to be available for evaluations and their timing. It should therefore include some reflection on the most appropriate methods to be used. Managing authorities will need to be open to receiving evaluations which may find that priorities are not achieving their objectives and changing their policies accordingly. A further challenge for managing authorities is that in times of fiscal consolidation, pressure may be put on resources for evaluation – both financial and human. This is short-sighted, as evaluation is an important input to the quality of spending but the danger is real. For evaluators, this new interest in causality requires a higher quality of evaluations. Descriptive evaluations focused on bottlenecks to implementation will not suffice. Evaluations will need to make j u d g e m e n t s o n e ff e c t s a n d effectiveness. If they play their role and live up to this challenge, evaluations will have a much stronger influence on the decision making process. We have some years to put the new requirements into practice. Evaluation plans will be completed in late 2014/early 2015. The first annual implementation reports for the new policy are required in mid 2016 and in this year the Commission sends out the first of the annual reports to the Council and Parliament on the performance of the policy. In reality, we know that evaluations on effects will be later in the programming period, from 2019 onwards. But now is the time to prepare – through evaluations of the current programming period. The European Commission (both the DGs for Regional Policy and Employment and Social Affairs) has recently launched the ex post evaluation of cohesion policy 2007-2013, which must be completed by the end of 2015. This will be broken down into several thematic work packages. But the intention is to build on evidence which is produced by national and regional evaluations as well as carrying out new research. It is important that managing authorities carry out evaluations in order to understand how effective current programmes are, to feed into continuous improvement of interventions which will continue into the next programming period. Supports from the European Commission Guidance for impact evaluation has been updated and published by the Directorate General for Regional Policy. The "Evalsed" Sourcebook on methods has been revised with new sections and links prepared by experts on settembre - ottobre 2014, n.8 ! 18 different types of and approaches to impact evaluation*. The DG has produced draft guidance for designing terms of reference for impact evaluations which will be finalised shortly. This has seemed to be a weak starting point in the delivery of high quality evaluations. We also plan to provide further guidance and supports for the process of developing evaluation plans. The European Commission does not prescribe methods to be used and does not favour any one method over any other. We believe that each evaluation requires its own methodology – a combination of methods which will answer the evaluation questions taking account of the data and the resources available for the evaluation. All evaluations should contain a section on the m e t h o d o l o g y, i n c l u d i n g a n assessment of the inevitable constraints of the methodology, since no methodology can ever be perfect and perfect data are never available. Expectations for Evaluators Although it is clear that evaluators by themselves cannot change current practice, you can be part of the solution. And it is in your interests. Because, as I have suggested above, the prize is that evaluation begins to play a stronger role in decision making. Of course evaluators are dependent on the requests for evaluation from the managing authorities. But within these constraints, the challenge is to consciously seek to be more rigorous in the work that you do. Evaluators should ensure that their work is methodologically sound; it must be analytical and critical and conclusions evidence based. Through more such evaluations, evaluators will contribute to build up the evidence base on what works, where, for whom and in what context. The Commission for its part commits to carry out meta analysis of such evaluations across Member States and regions. Together, European Commission, managing authorities and evaluators, can transform cohesion policy into a genuinely accountable policy – one that is accountable for the results it achieves – and one which also learns continuously how to improve. Note *Evalsed Sourcebook at: http:// ec.europa.eu/regional_policy/ information/evaluations/ guidance_en.cfm ASSOCIAZIONE ITALIANA DI VALUTAZIONE !! Cari soci, poche righe per sollecitare i vostri contributi sulla Collana Valutazione, dell’Associazione Italiana di Valutazione. La collana, che si prefigge la diffusione della cultura della valutazione in Italia, ha iniziato le proprie pubblicazioni nel 2000 ed ha attualmente al proprio attivo XX titoli. E’ referata da due referee anonimi, scelti tra i Senior Advisors ovvero tra esperti di valutazione, italiani o stranieri, scelti dal Comitato Editoriale, che dal 2013 è composto da Stefano Campostrini, Mauro Palumbo (Direttore della collana), Guido Pellegrini, Nicoletta Stame. Si articola in tre sezioni, cui i testi sono assegnati sulla base del giudizio del Comitato Editoriale: • Teoria, metodologia e ricerca comprende testi di carattere teorico e metodologico, manuali di valutazione di carattere generale o settoriale, antologie di autori italiani e stranieri. • Studi e ricerche accoglie rapporti di ricerca, selezioni di contributi a Convegni, altre opere, monografiche o antologiche, che approfondiscono la valutazione all’interno di un contesto specifico. • Strumenti ospita testi più brevi, dedicati ad una tecnica o ad un tema specifico, orientati all’utilizzo diretto da parte del fruitore, rivolti di norma ad un pubblico di professionisti e operatori. Saremmo lieti che una maggior quantità di soci si avvalesse di questo importante strumento di diffusione della cultura valutativa e a tal fine vi sollecitiamo a voler considerare l’opportunità di utilizzarla come canale privilegiato di pubblicazione. Le modalità per pubblicare nella collana sono le seguenti. L’autrice/autore propone un testo per la pubblicazione nella collana scrivendo al Direttore di Collana. Questi, dopo aver esaminato l’indice ragionato o un indice corredato da un abstract, che permetta di comprendere il taglio del lavoro e quindi di valutare la sua accettazione nella collana, lo invia ai colleghi del Comitato Editoriale, che si pronunciano su: a) pubblicabilità sulla Collana b) inserimento in sub collana Una volta ottenuto il giudizio positivo del Comitato e la proposta di collocazione in sub Collana, il Comitato definisce due referee anonimi, che attraverso il Direttore della Collana riceveranno i testi e invieranno le osservazioni. Nel frattempo, l’autrice/autore stipula con FrancoAngeli un contratto di edizione, che stabilisce costi e modalità della pubblicazione. L’AIV in questo contratto standard è destinataria del 2% del prezzo di copertina a titolo di diritti d’autore e l’autrice/autore dell’8%. Eccezioni sono fatte nei casi in cui la pubblicazione sia integralmente o parzialmente finanziata da terzi o dallo stesso autore. Si sottolinea che le modalità di copertura del costo della pubblicazione sono definite dall’Autrice/ore con l’Editore, ovviamente all’interno delle regole vigenti per la Collana. L’editore pubblica il volume solo a seguito del parere favorevole del Direttore, che si fonda sui pareri dei referee e, ove opportuno, anche dei componenti del Comitato Editoriale (nel caso, ad esempio, ci siano contrasti fra i referee o ci si chieda se l’autrice/autore abbia o meno rispettato le indicazioni di modifica del testo da parte dei referee). In particolare, se i referee si esprimono positivamente e le osservazioni non sono molto rilevanti diamo per scontato che l’autrice/ore ne tenga conto; se sono di un certo peso (riformulare capitoli, aggiungere o tagliare, ecc.), allora il manoscritto va in seconda lettura, una volta rimaneggiato, ed è soggetto ad ulteriore parere del Comitato. 19 ASSOCIAZIONE ITALIANA DI VALUTAZIONE !! La Rassegna Italiana di Valutazione (RIV) è dal 1996 la rivista della Associazione Italiana di Valutazione. Esce in tre numeri all’anno ed è pubblicata da Franco Angeli. Inserita nella fascia più alta del ranking Anvur delle riviste di area sociologica, la RIV ha l’obiettivo di dare visibilità e spazio al dibattito ed alle pratiche valutative migliori caratterizzanti il nostro Paese aprendosi al tempo stesso anche al confronto con le esperienze internazionali più rilevanti. Le proposte di pubblicazione sono sottoposte ad un rigoroso processo di referaggio e la pubblicazione dei fascicoli è curata dalla redazione della RIV e supervisionata dal Comitato Editoriale dell’AIV. Dal 2013 la RIV è disponibile in versione sia cartacea che digitale. Le regole per la candidatura di contributi e più ampie informazioni sulla rivista sono disponibili al http:// www.francoangeli.it/riviste/sommario.asp?IDRivista=109&lingua=it. La RIV è attualmente diretta da Alberto Vergani; fanno parte della redazione Daniele Checchi, Vincenzo Fucilli, Veronica Lo Presti, Daniela Oliva, Emanuela Reale, Paolo Severati. 20 Per associarsi ad AIV, le quote d’iscrizione sono: -100,00 euro, soci ordinari -50,00 euro, soci giovani, a norma di Statuto e Regolamento sotto i 30 anni di età e i dottorandi (senza limiti di età), iscritti ai Master patrocinati AIV. -150,00 euro, soci amici dell’AIV Effettuare il pagamento della quota associativa tramite bonifico bancario versando la quota associativa sul c/c di Banca Prossima IBAN IT 41 L033 5901 6001 0000 0062 397 Importante!!! Nella causale del bonifico specificare il proprio nome e cognome 21 www.valutazioneitaliana.it
© Copyright 2024 Paperzz