close

Enter

Log in using OpenID

Agasisti 11 04 2015

embedDownload
Cosa ci dicono (e cosa non ci dicono) i dati
sugli apprendimenti
prof. Tommaso Agasisti
Politecnico di Milano School of Management
[email protected]
Agenda
▶ 
Perché i dati sugli apprendimenti
§  Apprendimenti, valutazione, “effetto scuola”
▶ 
Lettura dei dati INVALSI
§  Alcune tabelle e figure da guardare
▶ 
Prospettive di analisi
§  Cosa NON ci dicono i dati sugli apprendimenti
(C) Tommaso Agasisti, 2015
4/10/15
2
Perché i dati sugli apprendimenti
Come misurare l’”effe/o-­‐ scuola” sui risulta3? Apprendimenti, valutazione, “effetto scuola”
▶ 
L’importanza degli apprendimenti
§  Attenzione relativamente recente
§  L’influenza del dibattito economico (istruzione, apprendimenti,
crescita economica)
▶ 
Valutare la scuola = valutare gli apprendimenti?
§  NO! Attenzione a non confondere fini e mezzi
§  Il rischio dell’enfasi sui dati INVALSI (ma il lavoro su questi dati
aiuta le riflessioni su obiettivo)
▶ 
Determinanti degli apprendimenti?
§  Coleman et al. (1966): background o scuola?
(C) Tommaso Agasisti, 2015
4/10/15
5
Note di metodo preliminari e precauzioni
▶ 
La differenza tra MISURAZIONE e VALUTAZIONE
§  Le prove INVALSI servono a misurare; il loro utilizzo,
eventualmente e sotto certe condizioni (esplicite ed implicite)
può essere rivolto a fini valutativi (es. nuovo SNV, VALES, ecc.)
▶ 
Si possono utilizzare i dati a fini DIDATTICI?
§  La domanda più corretta: si DOVREBBERO utilizzare ecc.? è SI
solo se utilizzo corretto, con interpretazione corretta dei
numeri… altrimenti teaching to the test
(C) Tommaso Agasisti, 2015
4/10/15
6
Lettura dei dati INVALSI
▶ 
Alcune figure e tabelle da guardare…
§  Esempio con una scuola vera, IC (anonimo) nel Lazio
Punteggi generali: confronto tra classi
▶ 
Una tabella che Invalsi NON fa, ed è invece molto
importante
§  Risultati relativi in italiano e matematica, tra classi
Classi/Istituto
112049980501
112049980502
112049980503
112049980504
112049980505
112049980506
112049980507
112049980508
112049980509
RMEE000000
Matematica
Differenza con
200 classi
Punteggio
simili
64,9
-0,5
74,5
+8,8
69,8
+4,0
73,0
+7,6
83,1
+17,9
76,3
+10,9
64,4
-1,1
60,8
-4,9
57,1
-8,6
69,1
+3,8
(C) Tommaso Agasisti, 2015
Italiano
Differenza con
200 classi
Punteggio
simili
68,4
+5,2
69,3
+6,0
75,6
+12,7
67,2
+4,3
72,6
+9,6
68,4
+5,4
63,5
+0,2
61,3
-2,0
62,5
-0,7
67,3
+4,0
4/10/15
8
Punteggi generali, italiano
Analisi:
•  Confronto con media
Lazio, Centro, Italia
•  Confronto tra classi
•  Confronto con 200 classi
simili
4/10/15
(C) Tommaso Agasisti, 2015
9
Incidenza della variabilità, italiano
▶ 
Nota metodologica Invalsi
§  Questo grafico mostra quanta parte della variabilità all'interno
della scuola è dovuta a differenze tra le classi, sia in termini di
punteggio ottenuto alla prova sia rispetto all'indice di
background familiare ESCS
▶ 
Cosa ci si potrebbe aspettare?
§  in presenza di classi con studenti con background simile e
efficacia didattica simile (e livello di apprendimento
precedente simile) è la maggior parte della varianza
dovrebbe essere DENTRO le classi (e non TRA classi)
§  Verifica empirica con grafici seguenti
(C) Tommaso Agasisti, 2015
4/10/15
10
Incidenza della variabilità, italiano
Nella nostra scuola:
1.  Classi hanno caratteristiche degli studenti simili (in
linea alla media nazionale)
2.  Classi hanno punteggi Invalsi più “segmentati” tra
classi rispetto alla media nazionale
4/10/15
(C) Tommaso Agasisti, 2015
11
Incidenza della variabilità, matematica
Nella nostra scuola:
1.  L’incidenza della variabilità nei punteggi è molto
più elevata (in termini relativi) in matematica che in
italiano
4/10/15
(C) Tommaso Agasisti, 2015
12
Livelli di apprendimento
▶ 
Cosa sono i livelli di apprendimento?
§  Si veda il concetto anche nelle indagini internazionali (es. PISA)
▶ 
Invalsi, sulla base della distribuzione dei punteggi su
scala nazionale, ha costruito 5 livelli di apprendimento:
§  Livello 1-2: punteggio minore o uguale al 95% della media
nazionale.
§  Livello 3: punteggio maggiore del 95% e minore o uguale al
110% della media nazionale.
§  Livello 4-5: punteggio maggiore del 110% della media
nazionale.
(C) Tommaso Agasisti, 2015
4/10/15
13
Livelli di apprendimento
▶ 
Analisi per materia, distribuzione tra classi
§  D: le classi hanno percentuali simili di studenti nei diversi livelli
di apprendimento?
▶ 
Analisi per livelli, entrambe le materie assieme, per
scuola
§  D: quanti sono gli studenti in diversi livelli di apprendimento
per materia, e quanti invece sono quelli nel medesimo livello
di apprendimento per entrambe le materie?
(C) Tommaso Agasisti, 2015
4/10/15
14
Livelli di apprendimento, italiano
112049980501
112049980502
112049980503
112049980504
112049980505
112049980506
112049980507
112049980508
112049980509
RMEE000000
LAZIO
Centro
Italia
4/10/15
Numero
studenti
livello 1
0
0
0
1
3
2
4
3
2
Percentuale
studenti
livello 1
9%
16%
17%
20%
Numero
studenti
livello 2
1
1
1
4
1
1
1
6
3
Percentuale
studenti
livello 2
12%
22%
21%
20%
Numero
studenti
livello 3
4
5
1
5
1
4
7
3
5
Percentuale
studenti
livello 3
23%
17%
16%
17%
(C) Tommaso Agasisti, 2015
Numero
studenti
livello 4
2
11
4
9
1
4
5
3
2
Percentuale
studenti
livello 4
26%
22%
23%
20%
Numero
studenti
livello 5
3
1
9
2
9
6
5
4
3
Percentuale
studenti
livello 5
27%
20%
22%
20%
15
Livelli di apprendimento
▶ 
Quadro generale a livello di scuola
§  Ma non si vede distribuzione tra classi
Istituzione scolastica
Prova di
Italiano
Prova di Matematica
Numero
Numero
Numero
studenti livello studenti livello studenti livello
1-2
3
4-5
Numero studenti
livello 1-2
17
6
10
Numero studenti
livello 3
9
12
13
Numero studenti
livello 4-5
7
14
58
(C) Tommaso Agasisti, 2015
4/10/15
16
Correlazioni voti/punteggi
▶ 
▶ 
Uno degli aspetti più “controversi” (e meno chiari) delle
modalità di restituzione dei dati
Nota Invalsi
§  La correlazione rappresenta il livello di concordanza tra due
misure messe a confronto: i risultati delle Rilevazioni Nazionali
in Italiano e Matematica e il voto di classe delle stesse
discipline, ottenuto dalla media tra voto scritto e orale al primo
quadrimestre. Solo per le classi terze della Scuola Secondaria
di I grado le due misure sono: i risultati della Prova Nazionale e
il voto di ammissione all'esame di Stato per ciascuna disciplina.
§  Più la correlazione è alta, maggiore sarà la concordanza tra le
due misure confrontate. I livelli di correlazione categorizzati
sono i seguenti (in ordine crescente): scarsamente significativa;
medio-bassa; media; medio-alta; forte.
(C) Tommaso Agasisti, 2015
4/10/15
17
PUNTEGGIO INVALSI
Correlazioni voti/punteggi: italiano
Domande da porsi:
•  Vi è concordanza tra voti
e punteggi Invalsi
(medie di classe) per
tutte le classi?
VOTI DI CLASSE
4/10/15
(C) Tommaso Agasisti, 2015
18
PUNTEGGIO INVALSI
Correlazioni voti/punteggi: italiano
Differenza voto
classe: 0,8;
Differenza
punteggio INVALSI:
0 punti
Differenza voto
classe: 0,1;
Differenza
punteggio INVALSI:
13 punti
VOTI DI CLASSE
4/10/15
(C) Tommaso Agasisti, 2015
19
Prospettive di analisi
Cosa NON ci dicono i dati sugli apprendimenti
▶ 
È importante riconoscere, in fase di utilizzo dei dati
sugli apprendimenti, che questi NON ci dicono alcuni
elementi che sarebbe utile conoscere
§  Skills non cognitivi
§  Descrizione del “processo” educativo
§  Qualità delle attività sottostanti ai processi di apprendimento
▶ 
Un buon DS dovrebbe utilizzare i dati di
apprendimento?
§  Si, come una delle fonti di conoscenza della propria scuola
4/10/15
21
Cosa NON ci dicono i dati sugli apprendimenti
▶ 
Il principale limite metodologico
§  I dati sul singolo anno, relativi al LIVELLO degli apprendimenti,
riflettono variabili “esterne” che non possono essere modificate
dalle scuole (Background degli studenti, caratteristiche di
contesto, ecc.)
▶ 
La necessità di misure di “Valore Aggiunto”
§  Quanta parte dei risultati degli studenti/classi/scuole può
essere attribuita all’azione della scuola?
▶ 
Sfida metodologica e culturale
§  Le esperienze internazionali (League Tables inglesi, valutazione
docenti in USA)
4/10/15
22
Misure di Valore Aggiunto
▶ 
(1) Sul singolo anno, osservando il LIVELLO di
apprendimento
§  Depurare l’effetto del background socioeconomico degli
studenti (approccio INVALSI attraverso ESCS)
•  Il problema di tenere conto di tutte le variabili rilevanti per
descrivere risultati scolastici (molto difficile!)
▶ 
In una logica intertemporale
§  (2) A livello di scuola – come evolvono i risultati INVALSI
•  Sarebbe utile una tabella aggiuntiva nella scheda di restituzione?
•  Ma i dati si riferiscono a coorti di studenti diverse
§  (3) Analisi longitudinali dei livelli di apprendimento dei singoli
studenti
4/10/15
23
Author
Document
Category
Uncategorized
Views
0
File Size
1 641 KB
Tags
1/--pages
Report inappropriate content