Pascuzzi - Sistemi Giuridici ed Economici

La valutazione del sistema universitario e della
ricerca, con particolare riferimento al sistema
AVA e VQR
Relazione di
Giovanni Pascuzzi
Milano19 Settembre 2014
Università degli Studi di Milano-Bicocca
XXV Convegno Nazionale
Il ruolo dell'Università nel Sistema Paese: obiettivi e
strategie possibili alla luce delle novità legislative
Milano, 17-18-19 Settembre 2014 Università degli Studi di Milano-Bicocca
Giornate didattico-formative per Responsabili della gestione delle Strutture Universitarie
Pascuzzi - Valutazione - Milano Bicocca
Pascuzzi - Valutazione - Milano Bicocca
La valutazione incide
• A) sull’attribuzione di risorse agli Atenei
Art. 1, comma 4, l. 240/2010 (riforma Gelmini) ------ Art. 5, comma 3, lett. b), c), d), e) l. 240/2010
• B) sulle politiche di reclutamento
Art. 5, comma 1, lett. c) l. 240/2010 --- Art. 5, comma 5, lett. c) l. 240/2010
• C) sullo stato giuridico dei professori
Art. 6, l. 240/2010, commi 7 e 8 (partecipazione a commissioni di concorso)
• D) sulla retribuzione dei professori
Art. 6, l. 240/2010 , comma 14 (progressione degli scatti)
• E) sulle procedure concorsuali
Art. 16, 18, 23 e 24 l. 240/2010
• F) sulla scelta dei progetti da finanziare
Art. 20, l. 240/2010: valutazione tra pari
Pascuzzi - Valutazione - Milano Bicocca
Tanti OGGETTI di valutazione
•
•
•
•
•
Le strutture
I ricercatori
La ricerca
La didattica
La performance degli uffici
– Decreto Legislativo n. 150/2009 (attuazione della Legge 15/2009, in materia di
ottimizzazione della produttività del lavoro pubblico e di efficienza e trasparenza delle
pubbliche amministrazioni).
– Il Piano della Performance (articolo 4 del D.Lgs. 150/2009) è un documento
programmatico triennale in cui, in coerenza con le risorse assegnate, sono esplicitati gli
obiettivi e gli indicatori su cui si baserà poi la misurazione e la valutazione della
performance.
Pascuzzi - Valutazione - Milano Bicocca
Pascuzzi - Valutazione - Milano Bicocca
Pascuzzi - Valutazione - Milano Bicocca
D.L. 3-10-2006 n. 262
Disposizioni urgenti in materia tributaria e finanziaria.
• Art. 2, comma 138
•
Al fine di razionalizzare il sistema di valutazione della qualità delle attività delle
università e degli enti di ricerca pubblici e privati destinatari di finanziamenti
pubblici, nonché dell’efficienza ed efficacia dei programmi statali di finanziamento
e di incentivazione delle attività di ricerca e di innovazione, è costituita l’Agenzia
nazionale di valutazione del sistema universitario e della ricerca (ANVUR), con
personalità giuridica di diritto pubblico, che svolge le seguenti attribuzioni:
–
–
–
a) valutazione esterna della qualità delle attività delle università e degli enti di ricerca pubblici e
privati destinatari di finanziamenti pubblici, sulla base di un programma annuale approvato dal
Ministro dell’università e della ricerca;
b) indirizzo, coordinamento e vigilanza delle attività di valutazione demandate ai nuclei di
valutazione interna degli atenei e degli enti di ricerca;
c) valutazione dell’efficienza e dell’efficacia dei programmi statali di finanziamento e di
incentivazione delle attività di ricerca e di innovazione.
Pascuzzi - Valutazione - Milano Bicocca
D.P.R. 1-2-2010 n. 76
• Regolamento concernente la struttura ed il
funzionamento dell'Agenzia nazionale di
valutazione del sistema universitario e della
ricerca (ANVUR), adottato ai sensi dell'articolo
2, comma 140, del decreto-legge 3 ottobre
2006, n. 262, convertito, con modificazioni,
dalla legge 24 novembre 2006, n. 286.
Pascuzzi - Valutazione - Milano Bicocca
D.P.R. 1-2-2010 n. 76. Art. 3 Attività, criteri e metodi
• 1. L'Agenzia svolge le seguenti attività:
– a) valuta la qualità dei processi, i risultati e i prodotti delle attività di
gestione, formazione, ricerca, ivi compreso il trasferimento
tecnologico delle università e degli enti di ricerca, anche con
riferimento alle singole strutture dei predetti enti; le predette
valutazioni si concludono entro un periodo di 5 anni;
– b) definisce criteri e metodologie per la valutazione, in base a
parametri oggettivi e certificabili, delle strutture delle università e
degli enti di ricerca, e dei corsi di studio universitari, ivi compresi i
dottorati di ricerca, i master universitari e le scuole di
specializzazione, ai fini dell'accreditamento periodico degli stessi da
parte del Ministro, prevedendo comunque il contributo delle
procedure di auto-valutazione. Per le questioni didattiche è promosso
il coinvolgimento attivo degli studenti e dei loro organismi di
rappresentanza e delle commissioni paritetiche; senza nuovi o
maggiori oneri a carico della finanza pubblica;
Pascuzzi - Valutazione - Milano Bicocca
D.P.R. 1-2-2010 n. 76. Art. 3 Attività, criteri e metodi
• 1. L'Agenzia svolge le seguenti attività:
– c) esercita funzioni di indirizzo delle attività di valutazione
demandate ai nuclei di valutazione interna degli atenei e degli enti di
ricerca, ad eccezione di quelle loro affidate dalle rispettive istituzioni
di appartenenza, raccordando la propria attività con quella di
valutazione interna svolta dai nuclei e confrontandosi con questi ultimi
sulla definizione di criteri, metodi ed indicatori;
– d) predispone, anche in riferimento alle funzioni di cui alla lettera b),
in collaborazione con i nuclei di valutazione interna procedure
uniformi per la rilevazione della valutazione dei corsi da parte degli
studenti, fissa i requisiti minimi cui le Università si attengono per le
procedure di valutazione dell'efficacia della didattica e dell'efficienza
dei servizi effettuate dagli studenti e ne cura l'analisi e la
pubblicazione soprattutto con modalità informatiche;
Pascuzzi - Valutazione - Milano Bicocca
D.P.R. 1-2-2010 n. 76. Art. 3 Attività, criteri e metodi
• 1. L'Agenzia svolge le seguenti attività:
–
–
–
–
–
e) elabora e propone al Ministro i requisiti quantitativi e qualitativi, in termini di risorse umane,
infrastrutturali e finanziarie stabili, e di adeguatezza dei programmi di insegnamento e di capacità di
ricerca, ai fini dell'istituzione fusione o federazione ovvero soppressione di università o di sedi
distaccate di università esistenti, nonché per l'attivazione, la chiusura o l'accorpamento di tutti i
corsi di studio universitari, ivi compresi i dottorati di ricerca, i master universitari e le scuole di
specializzazione;
f) elabora, su richiesta del Ministro, i parametri di riferimento per l'allocazione dei finanziamenti
statali, ivi inclusa la determinazione dei livelli essenziali di prestazione e dei costi unitari riferiti a
specifiche tipologie di servizi;
g) valuta, sulla base dei risultati attesi e di parametri predefiniti, i risultati degli accordi di
programma ed il loro contributo al miglioramento della qualità complessiva del sistema universitario
e della ricerca;
h) valuta l'efficienza e l'efficacia dei programmi pubblici di finanziamento e di incentivazione delle
attività didattiche, di ricerca e di innovazione;
i) svolge, su richiesta del Ministro e compatibilmente con le risorse finanziarie disponibili, ulteriori
attività di valutazione, nonché di definizione di standard, di parametri e di normativa tecnica.
Pascuzzi - Valutazione - Milano Bicocca
D.P.R. 1-2-2010 n. 76. Art. 3 Attività, criteri e metodi
• 2. Costituiscono tra l'altro oggetto della
valutazione di cui alla lettera a) del comma 1:
– a) l'efficienza e l'efficacia dell'attività didattica sulla base
di standard qualitativi di livello internazionale, anche con
riferimento agli esiti dell'apprendimento da parte degli
studenti ed al loro adeguato inserimento nel mondo del
lavoro;
– b) la qualità dei prodotti della ricerca, valutati
principalmente tramite procedimenti di valutazione tra
pari;
– c) l'acquisizione di finanziamenti esterni, l'attivazione di
rapporti di collaborazione e lo scambio di ricercatori con
soggetti pubblici e privati;
Pascuzzi - Valutazione - Milano Bicocca
D.P.R. 1-2-2010 n. 76. Art. 3 Attività, criteri e metodi
• 2. Costituiscono tra l'altro oggetto della valutazione di cui alla
lettera a) del comma 1:
– d) la presenza di studenti in possesso di un curriculum degli studi
altamente meritevole e di docenti stranieri di elevata qualificazione;
– e) l'efficienza e la sostenibilità delle strutture e dei processi di governo
e di gestione;
– f) la completezza e correttezza della comunicazione pubblica,
soprattutto in materia di offerta formativa e di ricerche; di servizi e
strutture per gli studenti; di risultati dell'autovalutazione; di
valutazioni da parte degli studenti; di efficienza ed efficacia dei servizi
di orientamento al lavoro; di valutazioni di organismi internazionali e
comunitari anche in riferimento all'assegnazione di finanziamenti e
alla partecipazione a progetti di ricerca.
Pascuzzi - Valutazione - Milano Bicocca
Pascuzzi - Valutazione - Milano Bicocca
Nuclei di valutazione delle singole Università
• Funzioni del Ndv - art. 15 dello Statuto
Bicocca
•
Il Nucleo di valutazione è l’organo dell’Università preposto alla valutazione delle
attività di didattica, di ricerca e amministrative.
•
Il Nucleo è nominato dal Consiglio di amministrazione su proposta del Rettore, sentito il Senato
accademico.
–
–
–
–
•
Il Nucleo è formato da sette componenti, compreso il Coordinatore, almeno quattro esterni all’Ateneo, di cui:
a) sei componenti in possesso di elevata qualificazione scientifica e professionale, almeno due dei quali esperti nel campo della valutazione
anche in ambito non accademico;
b) uno studente eletto secondo la normativa vigente.
Il Coordinatore del Nucleo è individuato tra i professori di ruolo dell’Ateneo.
Il Nucleo resta in carica tre anni accademici a eccezione della rappresentanza studentesca che resta in carica due anni. I suoi componenti
possono essere confermati consecutivamente nell’incarico una sola volta.
Ai fini dello svolgimento delle proprie attività, il Nucleo adotta idonei parametri di riferimento, ivi compresi quelli fissati dagli organi nazionali
deputati alla valutazione del sistema universitario.
Il Nucleo dispone di piena autonomia operativa. A tal fine l’Università garantisce il supporto
amministrativo e logistico, il diritto di accesso ai dati e alle informazioni necessarie, nonché la
pubblicità e la diffusione degli atti, nel rispetto della normativa a tutela della riservatezza. Il
Nucleo può convocare per audizioni i responsabili delle diverse strutture dell’Università, i
quali sono tenuti a fornire le informazioni richieste.
Pascuzzi - Valutazione - Milano Bicocca
Nuclei di valutazione delle singole Università
• Funzioni del Ndv - art. 15 dello Statuto Bicocca
• Il Nucleo in particolare:
a) verifica la qualità e l’efficacia dell’offerta didattica, anche sulla base
degli indicatori individuati dalle Commissioni paritetiche ai sensi
dell’articolo 32;
b) verifica l’attività di ricerca svolta dalle strutture dell’Ateneo;
c) verifica la congruità del curriculum scientifico o professionale dei titolari
dei contratti di insegnamento;
d) acquisisce periodicamente, mantenendo l’anonimato, le opinioni degli
studenti frequentanti sulle attività didattiche e trasmette una apposita
relazione annuale al Ministero e ai competenti organi di valutazione
nazionale;
e) redige annualmente una relazione sulle attività formative e di ricerca
dell’Ateneo anche sulla base delle relazioni predisposte dai Dipartimenti,
dalle Scuole e dalle Commissioni paritetiche e le trasmette al Rettore, al
Senato accademico e al Consiglio di amministrazione;
Pascuzzi - Valutazione - Milano Bicocca
Nuclei di valutazione delle singole Università
• Funzioni del Ndv - art. 15 dello Statuto Bicocca
•
Il Nucleo in particolare:
f) valuta gli interventi e il corretto utilizzo delle risorse pubbliche;
g) valida la relazione sulla performance;
h) propone al Consiglio di amministrazione la valutazione annuale dei dirigenti e
l’attribuzione della loro retribuzione di risultato;
i) verifica i risultati e le buone pratiche di promozione delle pari opportunità;
j) esprime parere vincolante sull’attivazione dei corsi di studio;
k) esprime parere sul bilancio di previsione;
l) monitora il funzionamento complessivo del sistema della valutazione, della
trasparenza e dell’integrità dei controlli interni;
m) garantisce la correttezza dei processi di misurazione e valutazione nel rispetto
del principio di valorizzazione del merito e della professionalità;
n) cura annualmente la realizzazione di indagini sul personale dipendente volte a
rilevare il livello di benessere organizzativo;
o) esercita tutte le altre competenze previste dalla legge e dai regolamenti
d’Ateneo.
Pascuzzi - Valutazione - Milano Bicocca
AVA
Autovalutazione,
Valutazione periodica,
Accreditamento
Pascuzzi - Valutazione - Milano Bicocca
AVA
• Il sistema AVA (Autovalutazione, Valutazione periodica,
Accreditamento), costituisce l’insieme delle attività
dell’ANVUR in attuazione delle disposizioni della legge
20/12/2010, n. 240 e del decreto legislativo 27/01/2012, n.
19, le quali prevedono l’introduzione del sistema di
accreditamento iniziale e periodico dei corsi di studio e delle
sedi universitarie, della valutazione periodica della qualità,
dell’efficienza e dei risultati conseguiti dagli atenei e il
potenziamento del sistema di autovalutazione della qualità e
dell’efficacia delle attività didattiche e di ricerca delle
università.
Pascuzzi - Valutazione - Milano Bicocca
Fondamento giuridico di AVA
• Accreditamento
– art. 5, comma 3, della legge n.240/2010
– articolo 3 decreto MIUR 22 ottobre 2004, n. 270
• Valutazione Periodica
– all’art. 5 comma 3 lettera b della legge n. 240
Pascuzzi - Valutazione - Milano Bicocca
Fondamento giuridico di AVA
• Il D.M. 47 del 30 gennaio 2013
– recepisce integralmente il sistema A.V.A.
definendo, attraverso gli allegati tecnici, i
• Requisiti di accreditamento dei corsi di studio
• Requisiti di accreditamento delle sedi
• Requisiti di assicurazione della Qualità, la Numerosità di
riferimento studenti, gli Indicatori e i parametri per la
valutazione Periodica della ricerca e delle attività di
terza missione e gli Indicatori e parametri per la
Valutazione Periodica delle attività formative
Pascuzzi - Valutazione - Milano Bicocca
Definizioni
• Accreditamento iniziale:
– si intende l’autorizzazione da parte del Ministero
ad attivare sedi e corsi di studio universitari, a
seguito della verifica del possesso dei requisiti
didattici, di qualificazione della ricerca, strutturali,
organizzativi e di sostenibilità economico –
finanziaria di cui agli allegati A e B.
Pascuzzi - Valutazione - Milano Bicocca
Definizioni
• Accreditamento periodico:
– si intende la verifica, con cadenza almeno
quinquennale per le sedi e almeno triennale per i
corsi di studio, della persistenza dei requisiti che
hanno condotto all’accreditamento iniziale e del
possesso di ulteriori requisiti di qualità, di
efficienza e di efficacia delle attività svolte in
relazione agli indicatori di cui all’allegato C.
Pascuzzi - Valutazione - Milano Bicocca
Definizioni
• Valutazione periodica:
– si intende la valutazione da parte dell'ANVUR volta
a misurare l’efficienza, la sostenibilità economicofinanziaria delle attività e i risultati conseguiti dalle
singole università nell’ambito della didattica, della
ricerca e dell'Assicurazione di Qualità in relazione
agli indicatori di cui agli allegati E e F.
Pascuzzi - Valutazione - Milano Bicocca
Definizioni
• Sede:
– si intende l’insieme delle strutture didattiche o di
ricerca dell’Università collocate nel medesimo
Comune. La sede decentrata è quella in cui le strutture didattiche o di ricerca sono
collocate in un Comune diverso rispetto al Comune in cui è situata la sede legale dell’Università.
• Corsi di studio:
– si intendono i corsi di laurea, i corsi di laurea
magistrale e i corsi di laurea magistrale a ciclo
unico. Sono definiti “corsi a distanza” i corsi di studio le cui attività
formative si svolgono mediante sistemi telematici per almeno due
terzi del numero complessivo di crediti formativi universitari (CFU).
Pascuzzi - Valutazione - Milano Bicocca
Esempio. Requisiti per attivare un
corso di studio
Pascuzzi - Valutazione - Milano Bicocca
Esempio. Requisiti per attivare un corso di
studio
Pascuzzi - Valutazione - Milano Bicocca
Esempio. Requisiti per attivare un corso di
studio
Pascuzzi - Valutazione - Milano Bicocca
Esempio. Requisiti per attivare un corso di
studio
Pascuzzi - Valutazione - Milano Bicocca
TECO
Test sulle competenze effettive
di carattere generalista dei
laureandi italiani
Pascuzzi - Valutazione - Milano Bicocca
Fondamento di TECO
• 1.
• ANVUR (DPR 76/2010) valuta non solo i processi e gli input
dell’offerta formativa, ma anche “la qualità dei risultati e dei
prodotti delle attività di gestione, formazione, ricerca, ….(art.
3, c. 1, lettera a)”. Più esplicitamente, all’art. 3, c.2 lettera a) si
aggiunge che “costituiscono tra l’altro oggetto della
valutazione … l’efficienza e l’efficacia dell’attività didattica
sulla base di standard qualitativi di livello internazionale,
anche con riferimento agli esiti dell’apprendimento da parte
degli studenti e al loro adeguato inserimento nel mondo del
lavoro”.
Pascuzzi - Valutazione - Milano Bicocca
Fondamento di TECO
• 2
• Legge 240/2010 (art. 5, comma 3) e il Decreto Legislativo 19/2012 avviano
il processo AVA.
– Requisiti dell’accreditamento iniziale,
• fra gli obiettivi della formazione,
– anche quelli nei risultati attesi dell’apprendimento sia di carattere specialistico, sia di
carattere generalista, definiti per aree di formazione omogenee, secondo i principi
europei inizialmente adottati a Bergen dalla Conferenza dei Ministri Europei Responsabili
dell’Istruzione Superiore (2005).
• capitolo F.2, dedicato all’“accreditamento periodico
delle sedi e dei corsi di studio universitari”,
– F.2.4: “ulteriori criteri, indicatori e parametri per
l’accreditamento periodico delle sedi e dei corsi di studio”,
• inclusivi di quelli (F.2.4.1) concernenti “gli esiti degli apprendimenti
effettivi”
Pascuzzi - Valutazione - Milano Bicocca
Fondamento di TECO
• secondo il sistema AVA, dunque, i risultati
effettivamente raggiunti dagli studenti universitari in
termini di competenze, sia specialistiche che
generaliste, devono essere non solo confrontati con
quelli attesi, ma anche accertati , perché, in
prospettiva, vanno considerati ai fini
dell’accreditamento e della valutazione periodica
Pascuzzi - Valutazione - Milano Bicocca
TECO. Accertare e certificare i
Generic skills
• capacità di affrontare problemi personali e
collettivi in contesti socio-economici e
lavorativi non noti a priori, utilizzando quindi
in ambienti inediti conoscenze, abilità e
competenze acquisite;
Pascuzzi - Valutazione - Milano Bicocca
TECO. Accertare e certificare i
Generic skills
• saper leggere e discutere un testo mai visto prima,
esercitando su di esso il pensiero critico (critical thinking),
anche in presenza di semplici grafici o simboli quantitativi;
• Risolvere problemi nuovi (problem solving), prendendo
decisioni (decision making) in tempi rapidi e in condizioni di
rischio;
• comunicare oralmente e per iscritto (ability to communicate),
perché il lavoro si svolge sempre più spesso con altri soggetti con i colleghi nel team working o con i competitor, ma anche
con i clienti, con i fornitori, con la Pubblica Amministrazione .
Pascuzzi - Valutazione - Milano Bicocca
Pascuzzi - Valutazione - Milano Bicocca
Pascuzzi - Valutazione - Milano Bicocca
Pascuzzi - Valutazione - Milano Bicocca
Origini della tematica sui
risultati attesi dell’apprendimento
che ora ANVUR vuole anche misurare in AVA
Pascuzzi - Valutazione - Milano Bicocca
Obiettivi formativi
e
risultati
dell’apprendimento
Pascuzzi - Valutazione - Milano Bicocca
Gli obiettivi formativi nelle riforme
degli ordinamenti didattici
• A) RIFORMA ‘3+2’.
– cfr. d.m. 3 novembre 1999 n. 509, attuato con d.m. 4
agosto 2000 (per le lauree triennali) e con d.m. 28
novembre 2000 (per le lauree specialistiche).
• B) RIFORMA DEL 2004.
– Con decreto 22 ottobre 2004 n. 270 è stato modificato
il citato d.m. 509/1999. Al d.m. 270/2004 è stato dato
attuazione con d.m. 16 marzo 2007, Disciplina delle
classi dei corsi di Laurea e con d.m. 16 marzo 2007,
Disciplina delle classi dei corsi di Laurea magistrale
Pascuzzi - Valutazione - Milano Bicocca
Gli obiettivi formativi nelle riforme
degli ordinamenti didattici
• Ogni corso di studio deve perseguire gli
obiettivi formativi della classe cui appartiene.
• Obiettivo formativo: l'insieme di conoscenze e
abilità che caratterizzano il profilo culturale e
professionale, al conseguimento delle quali il
corso di studio è finalizzato
– (d.m. 270/2004, art. 1, comma1, lett.m)
Pascuzzi - Valutazione - Milano Bicocca
Gli obiettivi formativi
• D.M. 22 ottobre 2004, n. 270.
– Modifiche al regolamento recante norme
concernenti l'autonomia didattica degli atenei,
approvato con D.M. 3 novembre 1999, n. 509 del
Miur
Pascuzzi - Valutazione - Milano Bicocca
Gli obiettivi formativi
• D.m. 270/2004, art. 1, comma1, lett. m.
Definizione di:
• Obiettivi formativi: l'insieme di conoscenze e
abilità che caratterizzano il profilo culturale e
professionale, al conseguimento delle quali il
corso di studio è finalizzato.
Pascuzzi - Valutazione - Milano Bicocca
Gli obiettivi formativi
• Processo di Bologna:
• mettere in esponente i risultati
dell’apprendimento rispetto ai contenuti dei
programmi disciplinari e interpretare tali
risultati come acquisizione non solo di
conoscenze ma anche di competenze e abilità.
Pascuzzi - Valutazione - Milano Bicocca
Gli obiettivi formativi
• Processo di Bologna: Berlino 2003. Andare
oltre la mera indicazione delle denominazioni
e delle quantità di crediti.
• Stati devono elaborare un quadro nazionale
dei loro titoli di istruzione superiore (National
Qualifications Framework - NQF), atto a
descrivere ogni titolo in termini di carico di
studio, di livello, di obiettivi formativi, di
competenze, di profilo. I singoli quadri
nazionali saranno poi ricondotti ad un
erigendo quadro generale europeo (European
Qualifications Framework - EQF).
Pascuzzi - Valutazione - Milano Bicocca
Gli obiettivi formativi
• Processo di Bologna: Berlino 2003.
• Mettere in esponente i risultati
dell’apprendimento rispetto ai contenuti dei
programmi disciplinari e interpretare tali risultati
come acquisizione non solo di conoscenze ma
anche di competenze e abilità. Per questa via si
evidenziano i risultati di apprendimento attesi dai
diversi corsi di studio. I risultati di apprendimento
attesi specificano cosa lo studente dovrebbe
conoscere, comprendere ed essere in grado di
dimostrare al termine di un processo di
apprendimento (conoscenze ed abilità).
Pascuzzi - Valutazione - Milano Bicocca
Gli obiettivi formativi
• Processo di Bologna: descrittori di Dublino.
• categorizzare e specificare i risultati dei corsi
di studio in termini di competenze e abilità al
fine di renderli meglio funzionali alla
definizione delle qualifiche e dei profili
professionali correlati così da facilitare
mobilità e occupazione in territorio europeo.
Pascuzzi - Valutazione - Milano Bicocca
Gli obiettivi formativi
• Processo di Bologna: descrittori di Dublino.
• I descrittori di Dublino indicano, per ogni
titolo di studio, le competenze di chi lo
acquisisce in termini di:
– conoscenze e comprensione;
– capacità di applicare le conoscenze e la
comprensione;
– espressione di giudizi;
– abilità nella comunicazione;
– capacità di studio.
Pascuzzi - Valutazione - Milano Bicocca
Gli obiettivi formativi
• Unione europea.
– valorizza l’approccio teso a privilegiare il possesso
di competenze e abilità.
• Raccom. Parl. Eur. e Cons. del 18/12/2006 relativa a
competenze chiave per l’apprendimento permanente
(2006/962/CE).
• Raccom. Parl. Eur. e Cons. del 23/4/2008 sulla
Costituzione del Quadro europeo delle qualifiche (QEQ)
per l’apprendimento permanente
– Il QEQ descrive otto livelli di qualifiche in termini di
conoscenze, abilità e competenze indipendentemente dal
sistema in cui sono state apprese.
Pascuzzi - Valutazione - Milano Bicocca
Definizioni
Raccomandazione del Parlamento europeo e del Consiglio del 23 aprile 2008 sulla Costituzione
del Quadro europeo delle qualifiche per l’apprendimento permanente.
• «Risultati dell'apprendimento»: descrizione di ciò
che un discente conosce, capisce ed è in grado di
realizzare al termine di un processo
d'apprendimento. I risultati sono definiti in termini di
conoscenze, abilità e competenze;
• «Conoscenze»: risultato dell'assimilazione di
informazioni attraverso l'apprendimento. Le
conoscenze sono un insieme di fatti, principi, teorie e
pratiche relative ad un settore di lavoro o di studio.
Pascuzzi - Valutazione - Milano Bicocca
Definizioni
Raccomandazione del Parlamento europeo e del Consiglio del 23 aprile 2008 sulla Costituzione
del Quadro europeo delle qualifiche per l’apprendimento permanente.
• «Abilità»: indicano le capacità di applicare conoscenze e di
utilizzare know-how per portare a termine compiti e risolvere
problemi. Nel contesto del Quadro europeo delle qualifiche le
abilità sono descritte come cognitive (comprendenti l'uso del
pensiero logico, intuitivo e creativo) o pratiche (comprendenti
l'abilità manuale e l'uso di metodi, materiali, strumenti);
• «Competenze»: comprovata capacità di utilizzare conoscenze,
abilità e capacità personali, sociali e/o metodologiche, in
situazioni di lavoro o di studio e nello sviluppo professionale e
personale. Nel contesto del Quadro europeo delle qualifiche
le competenze sono descritte in termini di responsabilità e
autonomia.
Pascuzzi - Valutazione - Milano Bicocca
Ottobre 2010
Miur
Quadro dei
titoli italiani
Pascuzzi - Valutazione - Milano Bicocca
2° ciclo
I titoli finali di secondo ciclo possono essere conferiti a studenti
che:
• - abbiano dimostrato conoscenze e capacità di comprensione
che estendono e/o rafforzano quelle tipicamente associate al
primo ciclo e consentono di elaborare e/o applicare idee
originali, spesso in un contesto di ricerca;
• - siano capaci di applicare le loro conoscenze, capacità di
comprensione e abilità nel risolvere problemi a tematiche
nuove o non familiari, inserite in contesti più ampi (o
interdisciplinari) connessi al proprio settore di studio;
Pascuzzi - Valutazione - Milano Bicocca
2° ciclo
• - abbiano la capacità di integrare le conoscenze e gestire la
complessità, nonché di formulare giudizi sulla base di
informazioni limitate o incomplete, includendo la riflessione
sulle responsabilità sociali ed etiche collegate all’applicazione
delle loro conoscenze e giudizi;
• - sappiano comunicare in modo chiaro e privo di ambiguità le
loro conclusioni, nonché le conoscenze e la ratio ad esse
sottese, a interlocutori specialisti e non specialisti;
• - abbiano sviluppato quelle capacità di apprendimento che
consentano loro di continuare a studiare per lo più in modo
auto-diretto o autonomo.
Pascuzzi - Valutazione - Milano Bicocca
I “saperi” del laureato
Saper
essere
Sapere
Saper
fare
Pascuzzi - Valutazione - Milano Bicocca
Considerazioni per riflettere.
Ragioni per cui ANVUR ha
varato TECO
Pascuzzi - Valutazione - Milano Bicocca
LE COMPETENZE
EFFETTIVE DI
CARATTERE
GENERALISTA DEI
LAUREANDI
ITALIANI
RAPPORTO
FINALE
DELL’ANVUR
11 marzo 2014
Stralcio delle parti 1,
2, 3, 4
Pagina 11
Pascuzzi - Valutazione - Milano Bicocca
VQR 2004-2010
Valutazione della qualità della ricerca
Pascuzzi - Valutazione - Milano Bicocca
La valutazione della qualità della ricerca
VQR 2004-2010
• La valutazione ha riguardato
le aree
le strutture (Università)
i dipartimenti
non i singoli ricercatori
•
•
La valutazione delle strutture interverrà nella distribuzione del FFO
La valutazione dei dipartimenti potrà essere utilizzata dagli organi di governo delle
strutture, in piena autonomia, per orientare la redistribuzione interna delle risorse
• Hanno partecipato alla VQR:
– Professori ordinari
– Professori associati
– Ricercatori universitari e assistenti universitari
– Ricercatori e tecnologi degli enti di ricerca vigilati dal MIUR
Pascuzzi - Valutazione - Milano Bicocca
La valutazione della qualità della ricerca
VQR 2004-2010
• Prodotti sottoposti a valutazione
–
–
–
–
–
–
–
articoli su riviste
libri (con ISBN)
capitoli di libri (con ISBN)
atti di congressi (con ISBN)
edizioni critiche
traduzioni
commenti scientifici
– brevetti concessi nel settennio di cui risulti autore/coautore il soggetto
valutato che lo presenta
– composizioni, design, disegni, performance, mostre ed esposizioni organizzate,
manufatti, prototipi e opere d’arte e loro progetti, banche dati e software,
carte tematiche esclusivamente se corredati da pubblicazioni atte a
consentirne un’adeguata valutazione
Pascuzzi - Valutazione - Milano Bicocca
Una valutazione ‘disciplinata’
Pascuzzi - Valutazione - Milano Bicocca
Le aree (e i relativi GEV)
Pascuzzi - Valutazione - Milano Bicocca
La valutazione della qualità della ricerca
VQR 2004-2010
• 2 METODOLOGIE DI VALUTAZIONE (singole o combinate)
• A) Valutazione diretta, anche utilizzando l’analisi bibliometrica,
basata sulle citazioni del prodotto e sul fattore di impatto
della rivista ospitante il prodotto (ove applicabile), condotta
direttamente da ciascun GEV (Gruppi di Esperti della
Valutazione), che utilizza a tal fine le banche dati concordate
con l’ANVUR;
• B) Peer-review affidata ad esperti esterni fra loro indipendenti
scelti dal GEV (di norma due per prodotto), cui è affidato il
compito di esprimersi, in modo anonimo, sulla qualità delle
pubblicazioni selezionate.
Pascuzzi - Valutazione - Milano Bicocca
Pascuzzi - Valutazione - Milano Bicocca
Pascuzzi - Valutazione - Milano Bicocca
Pascuzzi - Valutazione - Milano Bicocca
Pascuzzi - Valutazione - Milano Bicocca
Pascuzzi - Valutazione - Milano Bicocca
Pascuzzi - Valutazione - Milano Bicocca
Pascuzzi - Valutazione - Milano Bicocca
Pascuzzi - Valutazione - Milano Bicocca
Pascuzzi - Valutazione - Milano Bicocca
Pascuzzi - Valutazione - Milano Bicocca
Pro e contro della peer review anonima
• Possibilità di conoscere
in dettaglio la qualità di
un lavoro scientifico
• Giudizio meditato e non
meccanico
• Contribuire al dibattito
sulla scienza
• Soggettività del giudizio
• Costi elevati e tempi
lunghi
• Possibilità di produrre
giudizi non imparziali
(idiosincrasie personali;
lotte tra scuole
accademiche)
Pascuzzi - Valutazione - Milano Bicocca
La open peer review
• Non è anonima
• Basata sulla interazione fra autori, pari ed
editori prima della pubblicazione, in forma
aperta o riservata
• Gli autori possono replicare ai pari
• Apertura alla partecipazione di tutti gli
studiosi
Pascuzzi - Valutazione - Milano Bicocca
Pro e contro della open peer review
•
•
•
•
•
•
•
Vantaggi etici (difficile dare un giudizio
non appropriato, l’accountability dei pari
viene valorizzata)
Fattibilità pratica (non necessita di
investimenti rilevanti e di una
organizzazione complessa)
La maggiore responsabilità dei valutatori è
compensata da una loro maggiore
visibilità
Visibilità delle politiche editoriali
Possibilità di far emergere conflitti di
interessi fra autori e revisori non
conoscibili dagli editori
Possibilità di maggiore controllo su frodi,
errori e plagi
Rottura del valore di mercato di un
articolo come criterio che influenza la sua
accettazione
•
•
•
•
•
I giovani ricercatori potrebbero
essere ostacolati nel valutare il lavoro
dei senior
Il problema dell’old boy network
verrebbe rafforzato
I giudizi conterrebbero minori
critiche, la selezione degli articoli
meno rigorosa, la validità dei risultati
pubblicati meno controllata
Gli autori subirebbero maggiori
pressioni con riferimento ai risultati
da pubblicare
Maggiore conflittualità tra scienziati
Pascuzzi - Valutazione - Milano Bicocca
Pro e contro metodi bibliometrico-quantitativi
• Oggettività e validità
della valutazione
(pare….)
• Costi minimi e tempi
rapidi
• Modalità di citazione
dei lavori scientifici
• Non totale copertura
dell’output scientifico
• Risultati diversi a
seconda del
sistema/database
prescelto
• Problemi tecnici
Pascuzzi - Valutazione - Milano Bicocca
Le variabili dei metodi bibliometrico-quantitativi
• Strumenti della bibliometria
– software, algoritmi, metodi
– piattaforme, database
• Occorre distinguere:
– 1) database o ambiti dove si vuole "lanciare” la
ricerca ai fini di un recupero di valori dati da
indicatori
– 2) gli indicatori stessi
Pascuzzi - Valutazione - Milano Bicocca
Le variabili dei metodi bibliometrico-quantitativi
• Indicatori
• Database
– proprietari
• (Web of Science; Scopus)
– liberi
• (Google Scholar: libero
ma non è certo che si
possa definire aperto.
Non chiaro su quale
algoritmo si basi).
– Citazionali
– Di utilizzo
• Indicatori che misurano
–
–
–
–
–
la rivista
l'autore
il singolo paper
un gruppo di ricercatori
una sostanza chimica
Pascuzzi - Valutazione - Milano Bicocca
Conclusione (nichilista?)
• Indicatore che usi risultato che trovi
• Database che usi indicatore che trovi altro
risultato a cui approdi...
• Nel campo della valutazione vanno di moda le
simulazioni (prima di adottare un
parametro…)
• OVVIAMENTE:
– si vuol solo dire che le cose sono complicate
Pascuzzi - Valutazione - Milano Bicocca
Uno studio dimostra che…
Citation analysis across disciplines:
The Impact of different data sources and citation metrics
Prof. Anne-Wil Harzing, University of Melbourne
http://www.harzing.com/data_metrics_comparison.htm
•
Citation analysis is an increasingly common way to evaluate research impact.
• However, there seems to be a general lack of
understanding of how different data sources and
citation metrics might impact on comparisons
between disciplines.
• This paper analyses the citation records of ten full professors
at the University of Melbourne (Australia) in a variety of
disciplines to illustrate how different data sources and
different citations metrics might lead to very different
conclusions.
Pascuzzi - Valutazione - Milano Bicocca
Uno studio dimostra che…
Citation analysis across disciplines:
The Impact of different data sources and citation metrics
Prof. Anne-Wil Harzing, University of Melbourne
http://www.harzing.com/data_metrics_comparison.htm
Pascuzzi - Valutazione - Milano Bicocca
Uno studio dimostra che…
Citation analysis across disciplines
Figure 2: Number of citations for ISI and Scopus General Search: Social Science and Humanities
disciplines
Pascuzzi - Valutazione - Milano Bicocca
Uno studio dimostra che…
Citation analysis across disciplines
Figure 3: Number of citations for ISI and Scopus General Search compared to Google Scholar:
Science disciplines
Pascuzzi - Valutazione - Milano Bicocca
Risposte alle domande iniziali
– 1) davvero la valutazione (dei prodotti scientifici)
si può fare attingendo ad un solo sistema di
valutazione (es.: solo peer review)?
• Il pluralismo dei metodi di valutazione, sebbene sia
difficile da gestire, deve essere preferito a e metodi
unici.
– Meglio una valutazione che si basa contemporaneamente
su criteri quantitativi e criteri qualitativi che una
valutazione che si basi su una sola classe di criteri.
– Meglio più criteri quantitativi che un solo criterio e così via.
Pascuzzi - Valutazione - Milano Bicocca
Alcune considerazioni conclusive
• 1) La valutazione è un processo necessario, ma
imperfetto.
– Contribuisce a rendere più razionale il processo
decisionale (attribuzione di risorse, avanzamento di carriera)
– Ma le scelte di fondo rimangono politiche
• La politica dipende da rapporti di forza e di potere.
– Bisognerebbe intendersi su cosa significa "razionale".
Razionale potrebbe significare: equo, meritocratico, orientato
al progresso della conoscenza.
• Una scelta politica è attribuire un ruolo di primo piano
alle società scientifiche
Pascuzzi - Valutazione - Milano Bicocca
Alcune considerazioni conclusive
• 1) La valutazione è un processo necessario, ma
imperfetto.
– Obiettivo di fondo: progresso della
conoscenza
• evitare il pensiero unico
• pluralità di modi di pensare e procedere
– La creatività che è ingranaggio fondamentale del
progresso della conoscenza ha bisogno di
pluralismo del pensiero.
Pascuzzi - Valutazione - Milano Bicocca
Alcune considerazioni conclusive
• 1) Valutazione processo necessario ma imperfetto.
– La logica disciplinare è davvero utile alla valutazione? Vedi:
• a) ruolo attribuito alle società scientifiche
• b) rating delle riviste che cambia a seconda del SSD
– I settori scientifico-disciplinari governano:
•
•
•
•
1) le carriere dei professori;
2) i contenuti dei corsi di studio;
3) l'organizzazione delle strutture;
4) la valutazione, appunto.
– Questa logica corre il rischio di ostacolare e di non di
alimentare il progresso delle scienze (che deve essere una
finalità anche della valutazione).
Pascuzzi - Valutazione - Milano Bicocca
Alcune considerazioni conclusive
• 2) La valutazione è un processo che costa,
occorre soppesarla attraverso lo strumento
dell'analisi costi-benefici.
– Può essere che il costo per mettere in piedi
inizialmente il processo sia elevato e poi decresca,
ma ragionamenti di questo genere devono essere
fatti in concreto, conti alla mano.
Pascuzzi - Valutazione - Milano Bicocca
Alcune considerazioni conclusive
• 3) La valutazione è un processo che si basa su
rapporti di forza e di potere (v. punto 1).
– Il pluralismo dei metodi di valutazione, sebbene
sia difficile da gestire deve essere preferito a e
metodi unici.
• Meglio una valutazione che si basa
contemporaneamente su criteri quantitativi e criteri
qualitativi che una valutazione che si basi su una sola
classe di criteri.
• Meglio più criteri quantitativi che un solo criterio e così
via.
Pascuzzi - Valutazione - Milano Bicocca
Alcune considerazioni conclusive
• 3a) La valutazione è un processo che si basa su
rapporti di forza e di potere
- Allo scopo di rendere il processo più
democratico è essenziale far leva sulla
logica dell’apertura:
A)Dei prodotti da valutare (Open Access)
B)Degli algoritmi degli indici bibliometrici
C)Della peer review (c.d. Open Peer Review)
Pascuzzi - Valutazione - Milano Bicocca
Alcune considerazioni conclusive
• 4) La valutazione retroagisce sui comportamenti.
– Se vengo valutato solo sulla ricerca, che interesse ho a fare didattica di
qualità?
– Che interesse ho a valorizzare il gioco di squadra (es.: fare ‘scuola’)
– Se vengo valutato solo sui contributi scientifici che interesse ho a
concepire opere didattiche innovative?
• Esempio: sfruttare le potenzialità dell’e-learning
– Se alcuni generi letterari non vengono valorizzati (es.: voci di
enciclopedia) non si corre il rischio che si perdano interi modi di
produrre cultura che hanno caratterizzato tempi gloriosi?
– Ad es., attualmente i metodi di citazione dei giuristi non rispondono
tanto a criteri quantitativi ma a rapporti di forza tra scuole.
• La prassi delle citazione cambierà se saranno istituite banche dati e indici
citazionali. Lo stesso vale per l'interdisciplinarità. Se il criterio prescelto
non la valorizza, essa sarà scoraggiata.
Pascuzzi - Valutazione - Milano Bicocca
Alcune considerazioni conclusive
• 5) La scienza ha molti attori istituzionali:
– singoli ricercatori, società scientifiche, intermediari (editori, gestori di
archivi, di motori di ricerca), università etc.
• L'obiettivo della scienza è:
– incrementare la conoscenza
– non avvantaggiare uno o più attori a discapito di altri.
• Esempio: per alcuni ambiti lo Stato (la comunità) ha un ruolo subalterno ai
privati.
– Non si vuole dire che dobbiamo avere riviste di Stato (stile Unione Sovietica)
– Non è possibile, però, che gli standard di valutazione (database, algoritmi) siano solo
nelle mani di (editori) privati che hanno raggiunto vere posizioni di monopolio
– Esiste un ruolo (anche di potere) degli editori privati.
» Pensiamo solo alle difficoltà per rendere disponibili ai valutatori i pdf delle cose
che abbiamo scritto.
Pascuzzi - Valutazione - Milano Bicocca
Per approfondimenti
• Giovanni Pascuzzi, Una storia italiana: i settori
scientifico disciplinari
– in Materiali per una storia della cultura giuridica, 1/2012
– http://www.mulino.it/rivisteweb/scheda_articolo.php?id_
articolo=36843
• Roberto Caso e Giovanni Pascuzzi, Valutazione dei
prodotti scientifici nell'area giuridica e ruolo delle
tecnologie digitali
– In Rivista di diritto civile, nr. 6/2011
Pascuzzi - Valutazione - Milano Bicocca
Art. 1, comma 4, l. 240/2010
• Art. 1, comma 4, l. 240/2010 (riforma Gelmini): Il Ministero, nel rispetto
della libertà di insegnamento e dell'autonomia delle università, indica
obiettivi e indirizzi strategici per il sistema e le sue componenti e, tramite
l'Agenzia nazionale di valutazione del sistema universitario e della ricerca
(ANVUR) per quanto di sua competenza, ne verifica e valuta i risultati
secondo criteri di qualità, trasparenza e promozione del merito, anche sulla
base delle migliori esperienze diffuse a livello internazionale, garantendo
una distribuzione delle risorse pubbliche coerente con gli obiettivi, gli
indirizzi e le attività svolte da ciascun ateneo, nel rispetto del principio
della coesione nazionale, nonché con la
conseguiti.
valutazione dei risultati
Torna su
Pascuzzi - Valutazione - Milano Bicocca
Art. 5, comma 3, lett. b), c), d), e)
•
•
Il Governo è delegato ad adottare …, uno o più decreti legislativi finalizzati … alla
valorizzazione della qualità e dell'efficienza delle università e conseguente introduzione di
meccanismi premiali nella distribuzione delle risorse pubbliche sulla base di criteri definiti ex
ante, anche mediante previsione di un sistema di accreditamento periodico delle università.
Nell'esercizio di detta delega il Governo si attiene ai principi di riordino di cui all'articolo 20
della legge 15 marzo 1997, n. 59, e ai seguenti principi e criteri direttivi:
–
–
–
–
b) introduzione di un sistema di valutazione periodica basato su criteri e indicatori stabiliti ex ante,
da parte dell'ANVUR, dell'efficienza e dei risultati conseguiti nell'ambito della didattica e della
ricerca dalle singole università e dalle loro articolazioni interne;
c) potenziamento del sistema di autovalutazione della qualità e dell'efficacia delle proprie attività da
parte delle università, anche avvalendosi dei propri nuclei di valutazione e dei contributi provenienti
dalle commissioni paritetiche di cui all'articolo 2, comma 2, lettera g);
d) definizione del sistema di valutazione e di assicurazione della qualità degli atenei in coerenza con
quanto concordato a livello europeo, in particolare secondo le linee guida adottate dai Ministri
dell'istruzione superiore dei Paesi aderenti all'Area europea dell'istruzione superiore;
e) previsione di meccanismi volti a garantire incentivi correlati al conseguimento dei risultati di cui
alla lettera b), nell'ambito delle risorse disponibili del fondo di finanziamento ordinario delle
università allo scopo annualmente predeterminate;
Torna su
Pascuzzi - Valutazione - Milano Bicocca
Art. 5, comma 1, lett. c) l.
240/2010
Il Governo è delegato ad adottare, entro il termine di dodici
mesi dalla data di entrata in vigore della presente legge, uno
o più decreti legislativi finalizzati a riformare il sistema
universitario per il raggiungimento dei seguenti obiettivi:
– introduzione, sentita l'ANVUR, di un
sistema di valutazione ex post delle
politiche di reclutamento degli atenei, sulla
base di criteri definiti ex ante
Torna su
Pascuzzi - Valutazione - Milano Bicocca
Art. 5, comma 5, lett. c) l.
240/2010
Nell'esercizio della delega di cui al comma 1, lettera c), il Governo si attiene al
principio e criterio direttivo dell'attribuzione di una quota non superiore al 10 per
cento del fondo di funzionamento ordinario correlata a meccanismi di valutazione
delle politiche di reclutamento degli atenei, elaborati da parte dell'ANVUR e
fondati su: la produzione scientifica dei professori e dei ricercatori successiva alla
loro presa di servizio ovvero al passaggio a diverso ruolo o fascia nell'ateneo; la
percentuale di ricercatori a tempo determinato in servizio che non hanno trascorso
l'intero percorso di dottorato e di post-dottorato, o, nel caso delle facoltà di
medicina e chirurgia, di scuola di specializzazione, nella medesima università; la
percentuale dei professori reclutati da altri atenei; la percentuale dei professori e
ricercatori in servizio responsabili scientifici di progetti di ricerca internazionali e
comunitari; il grado di internazionalizzazione del corpo docente.
Torna su
Pascuzzi - Valutazione - Milano Bicocca
Art. 6, l. 240/2010
• Comma 7:
– Un regolamento di Ateneo definisce Le modalità per
l'autocertificazione e la verifica dell'effettivo svolgimento della attività
didattica e di servizio agli studenti dei professori e dei ricercatori
– l'ANVUR stabilisce criteri oggettivi di verifica dei risultati dell'attività di
ricerca di professori e ricercatori
• Comma 8
– In caso di valutazione negativa ai sensi del comma 7, i
professori e i ricercatori sono esclusi
• dalle commissioni di abilitazione, selezione e progressione di
carriera del personale accademico,
• nonché dagli organi di valutazione dei progetti di ricerca.
Torna su
Pascuzzi - Valutazione - Milano Bicocca
Art. 6, l. 240/2010 . Comma 14
• La valutazione del complessivo impegno didattico, di
ricerca e gestionale ai fini dell'attribuzione degli
scatti triennali di cui all'articolo 8 è di competenza
delle singole università secondo quanto stabilito nei
regolamenti di ateneo. In caso di valutazione
negativa, la richiesta di attribuzione dello scatto può
essere reiterata dopo che sia trascorso almeno un
anno accademico
Torna su
Pascuzzi - Valutazione - Milano Bicocca
Art. 16, l. 240/2010
• Art. 16, l. 240/2010. Abilitazione scientifica
nazionale.
– l'attribuzione dell'abilitazione può avvenire solo previo motivato
giudizio fondato sulla valutazione analitica dei titoli e delle
pubblicazioni scientifiche
• Art. 18. Chiamata dei professori (nelle singole sedi)
– Le Università con proprio regolamento disciplinano le chiamate dei
professori valutando le pubblicazioni scientifiche, il curriculum e
l'attività didattica degli studiosi in possesso dell’abilitazione nazionale
• Art. 23. Contratti per attività di insegnamento
• Art. 24. Ricercatori a tempo determinato
Torna su
Pascuzzi - Valutazione - Milano Bicocca

Download Report