Lezioni valutazione n. 1:
Casualità e controfattuale
Guido Pellegrini
Università La Sapienza, Roma
Scopo di questa lezione
• In questa lezione discuteremo del problema
della causalità e di come si valuta. In particolare
utilizzeremo quello che è chiamato il modello di
Rubin, che si basa sull’approccio controfattuale.
• La causalità in genere si valuta tramite
esperimenti. Questo non è generalmente
possibile nelle scienze sociali. Ma l’esperimento
è sempre il benchmark dell’analisi di causalità.
Il tema è la causalità
• il tema di fondo che trattiamo è l’esistenza di
un legame di causalità fra un azione e il suo
effetto.
• Questo tema è stato curiosamente poco
trattato nella statistica.
• La statistica tratta principalmente di
correlazione tra variabili, della probabilità che
avvengano eventi, e aggiorna tale probabilità
spesso estraendo informazioni da un
campione
Il tema è la causalità 2
• L’analisi di causalità va oltre: vuole capire che
cosa succede cambiando una delle variabili
che influenzano il modello
• L’obiettivo fondamentale dell’inferenza
causale è di misurare l’effetto (su qualche
variabile) di una azione rispetto a un’altra, del
tipo: che cosa succede se ho sete e bevo una
bottiglia di vino rispetto a bere una bottiglia
d’acqua?
• E’ differente da capire le cause di un evento
(è perché ho corso che ho sete)
Il tema è la causalità 3
• Identificare le cause di un evento è spesso
difficile o irrealistico (ho sete perché ho corso,
perché fa caldo, perché è tanto che non bevo
ecc.)
• Molto spesso l’analisi econometrica fa
questo: stima un modello mettendoci tutti i
fattori rilevanti, e afferma che questo “spiega”
una variabile: stiamo cercando le cause degli
effetti
• Il problema è che le cause sono molteplici, e
spesso quello che troviamo sono solo
associazioni o correlazioni
Il tema è la causalità 4
Ma associazione non è correlazione!
• Associazione significa che due variabili si
muovono insieme: in una regressione è il
ricercatore che decide a priori la variabile
dipendente e quella dipendente
• Causazione significa che una variabile causa
i movimenti dell’altra. Analisi di causalità non
è trovare le cause di un certo effetto o
identificare il meccanismo sottostante, ma
misurare l’effetto delle cause
• Questo è il contributo della statistica (Holland)
Il tema è la causalità 5
• Spesso si possono confondere cause ed
effetti: è il problema della reverse causality
(quando piove molto vi sono in giro tanti
ombrelli, ma non sono gli ombrelli che
causano la pioggia, anche se l’associazione
tra gocce di pioggia e numero di ombrelli in
strada è positiva)
• Inoltre un altro problema è la correlazione
spuria: esiste una correlazione tra consumo
di gelati e scottature, ma i gelati non causano
le scottature.
Il tema è la causalità 6
• Esempio: se si regredisce per provincia il
numero di cicogne e le nascite si trova una
correlazione positiva. Allora sono le cicogne
che determinano le nascite?
• Evidentemente no: se si divide fra aree
metropolitane e aree rurali, la correlazione
diventa non significativa. È la ruralità il fattore
che sostiene le nascite, e le cicogne è un
indicatore di ruralità.
• Sono molti gli esempi di correlazioni spurie.
Analisi Controfattuale
• Per valutare gli effetti delle cause, ovvero per
fare l’analisi di causalità, il contesto teorico è
quello dell’approccio dell’ “output potenziale”,
• Sviluppato nella teoria degli esperimenti
randomizzati e poi da Rubin, che lo applica
anche alle situazioni non sperimentali
• Si chiama controfattuale perché quello che è
avvenuto (i fatti) viene comparato a quello
che sarebbe avvenuto (al contrario dei fatti) in
presenza/assenza di intervento
(terminologia)
• Trattamento: la variabile che può essere
manipolata (nel nostro caso la politica). Es. la
nazionalità non è un trattamento
• Unità : i soggetti della politica (del
trattamento) che possono essere trattati (cioè
destinatari della politica) o non trattati
• Outcome: il risultato del trattamento
• Es. do l’aspirina (trattamento) a un gruppo di
pazienti (trattati) ma non a altri (non trattati)
per vedere se nei primi la percentuale di
guarigioni (l’outcome) è più alta.
Analisi Controfattuale 2
• Il modello di Rubin si basa sul concetto di
controfattuale. Prima di tutto lo presento in
termini intuitivi.
• Che cosa è un effetto casuale? È l’effetto su
un risultato (outcome) di una data azione
(trattamento o politica)
• Come si misura?
Analisi Controfattuale 3
Analisi d’impatto o valutazione ex post, ovvero
analisi causale degli effetti del trattamento o di
una politica:
insieme di metodi usati per verificare
empiricamente se e quali effetti di un intervento
si sono verificati, cioè se i cambiamenti
osservati in concomitanza
di un intervento sono da attribuirsi causalmente
all’intervento stesso e
non ad altri fattori concomitanti (Martini)
Analisi Controfattuale 4
Due motivi principali perché i policy macher
sono interessati all’analisi di causalità:
1.Verificare se una politica ha funzionato (nella
direzione sperata). Es. incentivi alle imprese
policy (trattamento)  risultato (outcome)
2. Verificare se è possibile agire su una variabile
che dovrebbe a sua volta collegata con un
obiettivo della politica. Es. il consumo di
sigarette e il benessere dei cittadini
policy  trattamento  outcome
L’effetto del trattamento
• Come si misura l’outcome(il risultato)? Tramite una variabile di
outcome. Quindi l’effetto è una modifica di una data variabile
• Effetto come modifica significa che lo stesso è dato da una
differenza . Ma di cosa?
• Tra il valore della variabile prima e dopo il trattamento? No,
perché questa potrebbe essere dovuta a varie cause, non solo
alle politiche
• Tra il valore della variabile di outcome dei soggetti che hanno
ricevuto il trattamento e chi invece non lo ha ricevuto? No in
genere, perché può darsi che le caratteristiche dei due gruppi
siano tra loro differenti, e quindi possano portare a risultati
differenti indipendentemente dal trattamento
Valutazione controfattuale
• La risposta corretta è:
L’effetto di un trattamento (di una politica) è la
differenza tra quello che è accaduto con il
trattamento e quello che sarebbe successo in
assenza del trattamento.
• Quindi capire se quello che è accaduto è merito del
trattamento
• Oppure capire se il fatto che qualcosa non sia
accaduto è dovuto al fatto che il trattamento non ha
funzionato oppure ad altri effetti
Valutazione di effetti
• Una nozione meccanica
(e scorretta) di effetto:
effetto =
quello che si osserva dopo l’intervento

quello che si osservava prima
Valutazione di effetti
Una nozione rigorosa di effetto:
effetto
=
quello che si osserva dopo l’intervento

quello che si sarebbe osservato senza
=
situazione osservata  situazione controfattuale
Esempi
• effetto della formazione
sull’occupazione
dei formati
=
tasso di occupazione dei formati dopo la formazione

tasso di occupazione che i formati avrebbero ottenuto se non
avessero frequentato il corso
Esempi
• effetto del fumo sulla salute
=
stato di salute dei fumatori
che hanno fumato N anni

stato di salute degli stessi individui se non
avessero mai fumato per N anni
Esempi
• effetto della laurea sul reddito dei laureati
=
reddito medio dei laureati

reddito medio che i laureati avrebbero
ottenuto senza la laurea
Non è tutto merito dell’intervento…
…se le cose migliorano
Misura di ciò che si
intende migliorare
osservato
impatto
controfattuale
differenza pre-post
livello iniziale
pre-
intervento
tempo
post-
Non è tutta colpa dell’intervento…
…se le cose peggiorano
Misura di ciò che si
intende migliorare
livello iniziale
differenza pre-post (negativa)
osservato
impatto (positivo)
controfattuale
pre-
intervento
tempo
post-
Misurazione di effetti
• Come si misura il controfattuale?
Il controfattuale non si può misurare
direttamente in quanto è un’ipotesi, una
supposizione.
• Il controfattuale si stima.La stima è
maggiormente robusta quanto maggiormente
realistiche sono le ipotesi per la
individuazione del controfattuale
Due sono le ipotesi principali:
• Ci si basa su quello che è successo
precedentemente all’intervento
• Ci si basa su quello che è successo a coloro
che non sono stati “esposti” al trattamento ma
hanno caratteristiche simili agli esposti
Misurazione di effetti : basandosi su
quello che è successo
Estrapolare il controfattuale dalla storia del fenomeno
osservata prima dell’intervento
Il modo (sbagliato) di fare questo
è quello di presumere che ciò che
si è osservato prima dell’intervento
non sarebbe cambiato, e quindi
situazione controfattuale
=
situazione pre-intervento
Misurazione di effetti : basandosi su
quello che è successo
Sbagliato in tutti i casi in cui la condizione che si vuole
modificare ha una sua
dinamica spontanea indipendente dall’intervento
(possibile errore di variabile omessa):
- molti disoccupati troverebbero lavoro
anche senza aver fatto formazione
- i laureati guadagnerebbero uno stipendio anche senza
laurea
- i fumatori si ammalerebbero
anche senza fumare
Esempio: effetto sul numero di incidenti
dell’introduzione di limiti di velocità
Introduzione dei limiti di velocità
incidenti stradali (migliaia)
40
30
20
10
0
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
mesi
Misurazione di effetti : basandosi su quello
che è successo ai non esposti
Inferire il controfattuale dalla situazione di coloro che non
sono stati esposti all’intervento
- confrontare il tasso di occupazione
dei formati a quello dei non-formati
- confrontare il reddito dei laureati
a quello dei non-laureati
- confrontare lo stato di salute di fumatori
a quello dei non-fumatori
Misurazione di effetti : basandosi su quello
che è successo ai non esposti
Anche in questo caso esiste la possibilità di trarre le conclusioni
sbagliate
(possibile errore di selezione):
- i formati possono essere più motivati e socievoli dei nonformati
- i laureati possono essere più colti
dei non-laureati
- i fumatori possono consumare più alcol
e avere più “vizi” dei non-fumatori
Misurazione di effetti : basandosi su quello
che è successo ai non esposti
•
Fare formazione, andare all’università, fumare sono
scelte frutto di un
processo di “autoselezione”
Il processo di autoselezione può avere come risultato che
esposti e non-esposti siano diversi nelle condizioni di
partenza
In gergo si dice che il confronto tra esposti
e non-esposti è affetto da
distorsione da selezione
(selection bias)
Misurazione di effetti : basandosi su quello
che è successo ai non esposti
•
• Quando non vi è selezione?
• Quando abbiamo un esperimento controllato
causalizzato, ovvero l’assegnazione al trattamento viene
determinata in modo random da che esegue
l’esperimento
In questo caso non c’è motivo per cui il gruppo dei trattati
sia diverso da quello dei non trattati se non per l’errore di
campionamento
Misurazione di effetti : basandosi su quello
che è successo ai non esposti
•
Quali sono le minacce alla validità interna di un
esperimento causalizzato?
• Insuccesso della causalizzazione (es. si usa l‘iniziale del
cognome ma in presenza di differenze di etnia possiamo
avere anche in questo caso gruppi diversi)
• Insuccesso nel seguire l’assegnazione (differenza tra
trattamento assegnato e trattamento effettivo con possib
ilità di adesione parziale)
• Attrito (uscita dal trattamento) problemi se non è casuale
(es. escono i peggiori)
• Effetti dell’esperimento (effetto Hawthorne). Contrastato
con protocollo a doppio cieco con placebo
• Campione ridotto
Misurazione di effetti : basandosi su quello
che è successo ai non esposti
•
•
•
Quali sono le minacce alla validità esterna di un
esperimento causalizzato?
• Campione non rappresentativo
Programma o politica non rappresentativa (esperimento
troppo specifico)
Effetti di equilibrio economico generale (effetti di scala)
• Effetti legati alla volontarietà
• Effetti di full coverage
Esempio: effetti di un intervento tramite
indicatori (il caso è inventato)
• Intervento per la riduzione degli studenti
fuoricorso da tre anni e più realizzato tra il
2001 e il 2003
• L’intervento riguarda solo alcune università
dove il problema è maggiore
• Indicatore di effetto: numero di studenti
fuoricorso da tre anni e più per mille
studenti
Esempio: effetti di un intervento tramite
indicatori (il caso è inventato)
Risultati
Indicatore: Studenti molto fuoricorso per
mille immatricolati
• Università
1996
2000
2004
• Con interv.
57
76
84
• Senza interv.
33
42
55
• Medie: Con96=57
• Medie: Senza04=55
• Unica valutazione con politiche:con04
EFFETTODELL'INTERVENTO
1996
2000
attuazione
Dell'intervento
2004
110
numero dei molto fuoricorso per 1000 abitanti
100
90
84
80
76
70
60
57
55
50
42
40
33
30
università trattate
università non trattate
Esempio: effetti di un intervento tramite
indicatori (il caso è inventato)
Analisi dell’effetto della politica:
Dato osservato
Dato controfattuale
Problema : come scegliere il controfattuale?
(nota che l’osservato lo conosciamo ed è
con04)
Esempio: effetti di un intervento tramite
indicatori (il caso è inventato)
Controfattuale=senza04 (gli altri)
Effetto= con04-senza04
84-55=29
Politica è fallita?
(condizioni di partenza diverse)
Esempio: effetti di un intervento tramite
indicatori (il caso è inventato)
Controfattuale=con00 (il passato)
Effetto= con04-con00
84-76=8
Politica è fallita (ora più di prima)?
Ma dinamica spontanea
Esempio: effetti di un intervento tramite
indicatori (il caso è inventato)
Effetto=
(con04- senza04)-(con00-senza00)=
Controfattuale=senza04+(con00-senza00)
Differenza post intervento-diff. Pre intervento=
(84-55)-(76-42)=-5
Politica non è fallita
Guardiamo variazioni nelle differenze
Esempio: effetti di un intervento tramite
indicatori (il caso è inventato)
Effetto=
(con04- con00)-(con00-con96)=
Differenza pre-post –differenza storica
Controfattuale=con00+(con00-con96)
(84-76)-(76-57)=-11
•
•
•
Politica non è fallita
Dati solo per gli esposti
Assumiamo che il trend storico si sarebbe
mantenuto uguale anche in assenza di intervento
Esempio: effetti di un intervento tramite
indicatori (il caso è inventato)
Effetto=[(con04-senza04)-(con00-senza00)]-[(con00con96)-(senza00-senza96)] =-15
=diff nella dinamica pre-post – differenza nella dinamica
storica Controfattuale=senza04+(con00senza00)+[(con00-con96)-(senza00-senza96)]
Politica non è fallita
Assumiamo che che le differenze nei trend si sarebbero
mantenute uguali
Considerazioni finali
L’analisi dipende dalla scelta del controfattuale
Questa è fortemente dipendente dai dati a
disposizione
Più dati, più possiamo fare ipotesi realistiche
Gli indicatori importanti, ma anche il metodo di
valutazione