Cosa ci dicono (e cosa non ci dicono) i dati sugli apprendimenti prof. Tommaso Agasisti Politecnico di Milano School of Management [email protected] Agenda ▶ Perché i dati sugli apprendimenti § Apprendimenti, valutazione, “effetto scuola” ▶ Lettura dei dati INVALSI § Alcune tabelle e figure da guardare ▶ Prospettive di analisi § Cosa NON ci dicono i dati sugli apprendimenti (C) Tommaso Agasisti, 2015 4/10/15 2 Perché i dati sugli apprendimenti Come misurare l’”effe/o-‐ scuola” sui risulta3? Apprendimenti, valutazione, “effetto scuola” ▶ L’importanza degli apprendimenti § Attenzione relativamente recente § L’influenza del dibattito economico (istruzione, apprendimenti, crescita economica) ▶ Valutare la scuola = valutare gli apprendimenti? § NO! Attenzione a non confondere fini e mezzi § Il rischio dell’enfasi sui dati INVALSI (ma il lavoro su questi dati aiuta le riflessioni su obiettivo) ▶ Determinanti degli apprendimenti? § Coleman et al. (1966): background o scuola? (C) Tommaso Agasisti, 2015 4/10/15 5 Note di metodo preliminari e precauzioni ▶ La differenza tra MISURAZIONE e VALUTAZIONE § Le prove INVALSI servono a misurare; il loro utilizzo, eventualmente e sotto certe condizioni (esplicite ed implicite) può essere rivolto a fini valutativi (es. nuovo SNV, VALES, ecc.) ▶ Si possono utilizzare i dati a fini DIDATTICI? § La domanda più corretta: si DOVREBBERO utilizzare ecc.? è SI solo se utilizzo corretto, con interpretazione corretta dei numeri… altrimenti teaching to the test (C) Tommaso Agasisti, 2015 4/10/15 6 Lettura dei dati INVALSI ▶ Alcune figure e tabelle da guardare… § Esempio con una scuola vera, IC (anonimo) nel Lazio Punteggi generali: confronto tra classi ▶ Una tabella che Invalsi NON fa, ed è invece molto importante § Risultati relativi in italiano e matematica, tra classi Classi/Istituto 112049980501 112049980502 112049980503 112049980504 112049980505 112049980506 112049980507 112049980508 112049980509 RMEE000000 Matematica Differenza con 200 classi Punteggio simili 64,9 -0,5 74,5 +8,8 69,8 +4,0 73,0 +7,6 83,1 +17,9 76,3 +10,9 64,4 -1,1 60,8 -4,9 57,1 -8,6 69,1 +3,8 (C) Tommaso Agasisti, 2015 Italiano Differenza con 200 classi Punteggio simili 68,4 +5,2 69,3 +6,0 75,6 +12,7 67,2 +4,3 72,6 +9,6 68,4 +5,4 63,5 +0,2 61,3 -2,0 62,5 -0,7 67,3 +4,0 4/10/15 8 Punteggi generali, italiano Analisi: • Confronto con media Lazio, Centro, Italia • Confronto tra classi • Confronto con 200 classi simili 4/10/15 (C) Tommaso Agasisti, 2015 9 Incidenza della variabilità, italiano ▶ Nota metodologica Invalsi § Questo grafico mostra quanta parte della variabilità all'interno della scuola è dovuta a differenze tra le classi, sia in termini di punteggio ottenuto alla prova sia rispetto all'indice di background familiare ESCS ▶ Cosa ci si potrebbe aspettare? § in presenza di classi con studenti con background simile e efficacia didattica simile (e livello di apprendimento precedente simile) è la maggior parte della varianza dovrebbe essere DENTRO le classi (e non TRA classi) § Verifica empirica con grafici seguenti (C) Tommaso Agasisti, 2015 4/10/15 10 Incidenza della variabilità, italiano Nella nostra scuola: 1. Classi hanno caratteristiche degli studenti simili (in linea alla media nazionale) 2. Classi hanno punteggi Invalsi più “segmentati” tra classi rispetto alla media nazionale 4/10/15 (C) Tommaso Agasisti, 2015 11 Incidenza della variabilità, matematica Nella nostra scuola: 1. L’incidenza della variabilità nei punteggi è molto più elevata (in termini relativi) in matematica che in italiano 4/10/15 (C) Tommaso Agasisti, 2015 12 Livelli di apprendimento ▶ Cosa sono i livelli di apprendimento? § Si veda il concetto anche nelle indagini internazionali (es. PISA) ▶ Invalsi, sulla base della distribuzione dei punteggi su scala nazionale, ha costruito 5 livelli di apprendimento: § Livello 1-2: punteggio minore o uguale al 95% della media nazionale. § Livello 3: punteggio maggiore del 95% e minore o uguale al 110% della media nazionale. § Livello 4-5: punteggio maggiore del 110% della media nazionale. (C) Tommaso Agasisti, 2015 4/10/15 13 Livelli di apprendimento ▶ Analisi per materia, distribuzione tra classi § D: le classi hanno percentuali simili di studenti nei diversi livelli di apprendimento? ▶ Analisi per livelli, entrambe le materie assieme, per scuola § D: quanti sono gli studenti in diversi livelli di apprendimento per materia, e quanti invece sono quelli nel medesimo livello di apprendimento per entrambe le materie? (C) Tommaso Agasisti, 2015 4/10/15 14 Livelli di apprendimento, italiano 112049980501 112049980502 112049980503 112049980504 112049980505 112049980506 112049980507 112049980508 112049980509 RMEE000000 LAZIO Centro Italia 4/10/15 Numero studenti livello 1 0 0 0 1 3 2 4 3 2 Percentuale studenti livello 1 9% 16% 17% 20% Numero studenti livello 2 1 1 1 4 1 1 1 6 3 Percentuale studenti livello 2 12% 22% 21% 20% Numero studenti livello 3 4 5 1 5 1 4 7 3 5 Percentuale studenti livello 3 23% 17% 16% 17% (C) Tommaso Agasisti, 2015 Numero studenti livello 4 2 11 4 9 1 4 5 3 2 Percentuale studenti livello 4 26% 22% 23% 20% Numero studenti livello 5 3 1 9 2 9 6 5 4 3 Percentuale studenti livello 5 27% 20% 22% 20% 15 Livelli di apprendimento ▶ Quadro generale a livello di scuola § Ma non si vede distribuzione tra classi Istituzione scolastica Prova di Italiano Prova di Matematica Numero Numero Numero studenti livello studenti livello studenti livello 1-2 3 4-5 Numero studenti livello 1-2 17 6 10 Numero studenti livello 3 9 12 13 Numero studenti livello 4-5 7 14 58 (C) Tommaso Agasisti, 2015 4/10/15 16 Correlazioni voti/punteggi ▶ ▶ Uno degli aspetti più “controversi” (e meno chiari) delle modalità di restituzione dei dati Nota Invalsi § La correlazione rappresenta il livello di concordanza tra due misure messe a confronto: i risultati delle Rilevazioni Nazionali in Italiano e Matematica e il voto di classe delle stesse discipline, ottenuto dalla media tra voto scritto e orale al primo quadrimestre. Solo per le classi terze della Scuola Secondaria di I grado le due misure sono: i risultati della Prova Nazionale e il voto di ammissione all'esame di Stato per ciascuna disciplina. § Più la correlazione è alta, maggiore sarà la concordanza tra le due misure confrontate. I livelli di correlazione categorizzati sono i seguenti (in ordine crescente): scarsamente significativa; medio-bassa; media; medio-alta; forte. (C) Tommaso Agasisti, 2015 4/10/15 17 PUNTEGGIO INVALSI Correlazioni voti/punteggi: italiano Domande da porsi: • Vi è concordanza tra voti e punteggi Invalsi (medie di classe) per tutte le classi? VOTI DI CLASSE 4/10/15 (C) Tommaso Agasisti, 2015 18 PUNTEGGIO INVALSI Correlazioni voti/punteggi: italiano Differenza voto classe: 0,8; Differenza punteggio INVALSI: 0 punti Differenza voto classe: 0,1; Differenza punteggio INVALSI: 13 punti VOTI DI CLASSE 4/10/15 (C) Tommaso Agasisti, 2015 19 Prospettive di analisi Cosa NON ci dicono i dati sugli apprendimenti ▶ È importante riconoscere, in fase di utilizzo dei dati sugli apprendimenti, che questi NON ci dicono alcuni elementi che sarebbe utile conoscere § Skills non cognitivi § Descrizione del “processo” educativo § Qualità delle attività sottostanti ai processi di apprendimento ▶ Un buon DS dovrebbe utilizzare i dati di apprendimento? § Si, come una delle fonti di conoscenza della propria scuola 4/10/15 21 Cosa NON ci dicono i dati sugli apprendimenti ▶ Il principale limite metodologico § I dati sul singolo anno, relativi al LIVELLO degli apprendimenti, riflettono variabili “esterne” che non possono essere modificate dalle scuole (Background degli studenti, caratteristiche di contesto, ecc.) ▶ La necessità di misure di “Valore Aggiunto” § Quanta parte dei risultati degli studenti/classi/scuole può essere attribuita all’azione della scuola? ▶ Sfida metodologica e culturale § Le esperienze internazionali (League Tables inglesi, valutazione docenti in USA) 4/10/15 22 Misure di Valore Aggiunto ▶ (1) Sul singolo anno, osservando il LIVELLO di apprendimento § Depurare l’effetto del background socioeconomico degli studenti (approccio INVALSI attraverso ESCS) • Il problema di tenere conto di tutte le variabili rilevanti per descrivere risultati scolastici (molto difficile!) ▶ In una logica intertemporale § (2) A livello di scuola – come evolvono i risultati INVALSI • Sarebbe utile una tabella aggiuntiva nella scheda di restituzione? • Ma i dati si riferiscono a coorti di studenti diverse § (3) Analisi longitudinali dei livelli di apprendimento dei singoli studenti 4/10/15 23
© Copyright 2024 Paperzz
