close

Enter

Log in using OpenID

25-Dimensione degli effetti e 26-Metanalisi vers

embedDownload
Elementi di Psicometria con Laboratorio di SPSS 1
25-Dimensione degli effetti e 26-Metanalisi
vers. 1.0 (2 dicembre 2014)
Germano Rossi1
[email protected]
1 Dipartimento
di Psicologia, Università di Milano-Bicocca
2014-2015
G. Rossi (Dip. Psicologia)
ElemPsico
2014-2015
1 / 24
Saltare
Saltare
i paragrafi 25.5 e 25.6 (relativi al test di
Mann-Whitney e all’Anova)
e 26.5 e seguenti
che non sono in programma
G. Rossi (Dip. Psicologia)
ElemPsico
2014-2015
2 / 24
Introduzione
La ricerca usa la statistica per verificare le sue ipotesi di lavoro,
tramite la falsificazione dell’ipotesi nulla
Le domande della ricerca cadono in due categorie:
teorico-metodologico
statistiche
A livello teorico-metodologico ci si chiede se i risultati della ricerca
sono importanti per capire la realtà, se hanno una rilevanza
pratica. . .
A livello statistico ci si chiede se il risultato ottenuto è “veramente”
vero
G. Rossi (Dip. Psicologia)
ElemPsico
2014-2015
3 / 24
Introduzione
Uno dei problemi teorici e statistici della ricerca è l’errore di
misurazione
Ogni misurazione che noi facciamo è soggetta alla possibilità
dell’errore (ad es. uno strumento impreciso oppure una nostra
operazionalizzazione errata)
misurare l’età di un adulto in anni è sufficientemente buona per
tutte le occasioni
misurare in anni l’età di un bambino può essere impreciso (in certi
periodi un bambino cambia molto in un anno)
questo pone un problema di affidabilità della misurazione
G. Rossi (Dip. Psicologia)
ElemPsico
2014-2015
4 / 24
Introduzione
l’età di una persona può essere misurata in molti modi: chiedendo
ad un amico, alla persona stessa, chiedendo la data di nascita, la
data e l’ora di nascita, chiedendo il certificato di nascita che
dovrebbe riportare la data e l’ora di nascita vere (ma solo in paesi
in cui è l’ospedale a denunciare la nascita)
anche far misurare qualcosa a due persone diverse, può portare
ad avere una misurazione non affidabile
In teoria, possiamo stimare quanto sono affidabili due misurazioni
tramite una formula:
rxy
rx∞ y∞ = √
rxx ryy
dove rx∞ y∞ è il coefficiente di attenuazione; rxy è la correlazione
fra due misurazioni, mentre rxx e ryy sono i coefficienti di
affidabilità delle due misurazioni singole
G. Rossi (Dip. Psicologia)
ElemPsico
2014-2015
5 / 24
Introduzione
Questo potrebbe permetterci di aggiustare una misurazione
inaffidabili tramite il sui coefficiente di attenuazione con un’altra
affidabile
purtroppo quasi mai conosciamo l’inaffidabilità di una misurazione
(soprattutto in psicologia)
G. Rossi (Dip. Psicologia)
ElemPsico
2014-2015
6 / 24
Dimensione dell’effetto: Introduzione
Tramite il test della differenza delle medie (t-test) abbiamo visto se due
medie sono diverse ovvero se i campioni su cui le medie sono state
calcolate provengono da popolazioni con parametri statistici uguali o
diversi
questa informazione però è solamente vero/falso: o c’è differenza
oppure no
Inoltre l’eventuale differenza delle medie va interpretata come un
risultato che potrebbe non essere “sicuro”
ma anche come un differenza relativa
se la religiosità estrinseca personale è diversa in base al genere e
vediamo che la media dei maschi è minore di quella delle femmine non
possiamo interpretare nulla di più della diversità
G. Rossi (Dip. Psicologia)
ElemPsico
2014-2015
7 / 24
Introduzione
Se leggo che “i maschi (M=14.72) risultano significativamente più
aggressivi delle femmine (M=13.15)”, penso ad una grande
differenza
poi vado a vedere com’è stata costruita la variabile di aggressività
usata e vedo che ha un intervallo di 10 (min 5, max 15)
e allora penso che in fondo entrambi sono “aggressivi” anche se i
maschi hanno una media un pochino più alta
ma se l’intervallo fosse di 40 (min 10, max 50)?
diremmo che le due medie di 14.72 e 13.15 sono molto vicine fra
loro e molto basse
ma allora la differenza fra 14.72 e 13.15, visto che è
statisticamente significativa, è una differenza “importante”?
G. Rossi (Dip. Psicologia)
ElemPsico
2014-2015
8 / 24
Introduzione
Abbiamo già visto che certe statistiche dipendono dall’ampiezza del
campione: più un campione è ampio, più le statistiche sono in grado di
“trovare” un effetto
ad es. una correlazione di .75 NON è significativa con un campione di 6
osservazioni, ma lo è con 8 osservazioni
Nel t-test, l’errore standard diminuisce all’aumentare del campione e il
valore di t diventa più grande
D’altra parte, una correlazione di .15 equivale al 2,25% di varianza in
comune, mentre una correlazione di .75 equivale al 56.25% di varianza
comune
Quindi, l’effetto trovato (correlazione, t-test, chi-quadro. . . .) dipende
anche da quanto è grande l’effetto che sto misurando
Se un effetto è grande, lo troverò anche con campioni piccoli, se è
piccolo mi servirà un campione ampio
G. Rossi (Dip. Psicologia)
ElemPsico
2014-2015
9 / 24
Dimensione dell’effetto (Effect size)
L’effect size è un indice di quanto è ampia la dimensione
dell’effetto trovato: se è piccolo, medio o grande
Il concetto di dimensione dell’effetto è teorico e si può applicare a
qualunque risultato di analisi dei dati
In alcuni casi non è facilmente stimabile
Ci sono sostanzialmente due modi di stimare la dimensione
dell’effetto
1
2
uno relativo e basato sulla statistica usata
uno più comparabile, basato sul concetto di correlazione, cioè
sull’associazione fra effetto e variabile misurata
G. Rossi (Dip. Psicologia)
ElemPsico
2014-2015
10 / 24
Dimensione dell’effetto (t-test)
Uno dei primi autori a proporre una possibile stima della
dimensione dell’effetto fu Cohen
ragionando sulla differenza delle medie, propose di misurare la
dimensione con qualcosa di simile a
d=
µ1 − µ2
σcombinata
ovvero la differenza delle medie delle due popolazioni diviso la
deviazione standard delle popolazioni combinate fra loro
La dimensione dell’effetto è qui vista come una misura
standardizzata della differenza delle medie
G. Rossi (Dip. Psicologia)
ElemPsico
2014-2015
11 / 24
Dimensione dell’effetto (t-test)
Cohen pensava che d dovesse oscillare fra 0 e 1
e propose una interpretazione generica di d
d = .20, effetto piccolo
d = .50, effetto medio
d = .80, effetto grande
ma spesso d supera il valore 1 e in letteratura si trovano che
questi valori vengono generalmente considerati giganti (huge)
G. Rossi (Dip. Psicologia)
ElemPsico
2014-2015
12 / 24
Dimensione dell’effetto (t-test)
Una possibile formula per il t-test (per campioni indipendenti) è
stata proposta da Hedge:
g=q
X1 − X2
(N1 −1)s21 +(N2 −1)s22
N1 +N2 −2
in cui il denominatore è la varianza combinata dei due campioni
G. Rossi (Dip. Psicologia)
ElemPsico
2014-2015
13 / 24
Dimensione dell’effetto (t-test)
Dal momento che sia g sia t usano la varianza combinata,
g=q
X1 − X2
(N1 −1)s21 +(N2 −1)s22
N1 +N2 −2
t= r
X1 − X2
2
(N1 −1)s21 +(N2 −1)s2
N1 +N2 −2
1
N1
+
1
N2
conoscendo le numerosità e il valore di t, si può calcolare g anche
come:
r
t
N1 + N2
g=q
=t
N1 N2
N1 N2
N1 +N2
G. Rossi (Dip. Psicologia)
ElemPsico
2014-2015
14 / 24
Dimensione dell’effetto (t-test)
Ovviamente, usando le forme inverse, possiamo calcolare t
usando g
Se i due gruppi non hanno la stessa numerosità:
r
N1 N2
t=g
N1 + N2
Ma è più facile avere t che non g, in quanto molti software
calcolano t, ma non g
SPSS non calcola g
G. Rossi (Dip. Psicologia)
ElemPsico
2014-2015
15 / 24
Esempio di uso di d
Fondamentalismo
Intrinseco
Estrinseco
Italiano
M
s
75,35 32,03
22,25
4,57
15,94
5,29
Originale
M
s
84,6 33
37,2 5,8
25,6 5,7
Test t
p
.003
<.001
<.001
d
-0.28
-2.64
-1.71
Esempio
“Confrontando il nostro campione con quello originale, osserviamo che ci sono alcune
differenze. Mentre il t-test sembra evidenziare che la popolazione canadese è più
fondamentalista di quella italiana, l’effect size ci dece che la differenza è piccola
(d=-0.28). La situazione cambia per quanto riguarda l’orientamento religioso: ci sono
differenze più grandi tra le 2 popolazioni sia per quanto riguarda la religiosità
intrinseca che per quella estrinseca. Infatti i valori della d di Cohen sono decisamente
giganti.”
G. Rossi (Dip. Psicologia)
ElemPsico
2014-2015
16 / 24
Esempio di uso di d
Fondamentalismo
Intrinseco
Estrinseco
Estrinseco Personale
Estrinseco Sociale
Primo
M
s
75,35 32,03
21,37
5,41
15,94
5,29
9,45
3,12
6,45
3,13
Secondo
M
s
81,7 31,59
23,4
5,66
16,1
5,21
10,21
3,32
5,94
3,01
Test t
p
.034
<.001
n.s.
.013
n.s.
d
.20
-.36
-.23
.17
Esempio
“I risultati del nostro campione sono stati confrontati con quelli di un campione italiano
precedente. Attraverso il test t osserviamo che vi sono tre variabili statisticamente
diverse. Tuttavia le differenze riscontrate sono minime, infatti l’effect size più elevato è
di solo .36, quindi le dimensioni degli effetti sono tutte piccole. Questo ci
permetterebbe di affermare che potrebbe esiste comunque una somiglianza tra i 2
campioni italiani, la cui diversità potrebbe anche essere casuale.”
G. Rossi (Dip. Psicologia)
ElemPsico
2014-2015
17 / 24
Dimensione dell’effetto come associazione
La dimensione dell’effetto indica la relazione esistente fra una
variabile e l’altra, espressa in modo standardizzato
la d di Cohen (e la g di Hodge) non ci riescono
Tuttavia abbiamo visto un’indice statistico che esprime
esattamente l’associazione di due variabili: la correlazione
Per questo motivo, sono state sviluppate delle formule che
esprimono la dimensione dell’effetto in termini di associazione
(cioè di correlazione)
G. Rossi (Dip. Psicologia)
ElemPsico
2014-2015
18 / 24
Dimensione dell’effetto come associazione
Il coefficiente phi è anche un indice di associazione fra le due
variabili
Un indice di associazione misura la “forza” con cui le due variabili
sono legate fra loro
Per questo motivo, φ misura anche la dimensione dell’effetto
Il χ2 ci dice che le due variabili sono fra di loro dipendenti o
indipendenti ed effettua un test probabilistico
Rifiutando l’ipotesi nulla, stiamo solo dicendo che, probabilmente,
c’è un legame fra le variabili all’interno della popolazione da cui
abbiamo estratto il campione
φ ci dice invece quanto le due variabili sono legate fra loro
G. Rossi (Dip. Psicologia)
ElemPsico
2014-2015
19 / 24
Dimensione dell’effetto come associazione
r
φ in una tabella 2x2 corrisponde
ad una r di Pearson
il coefficiente di contingenza (C)
è proposto dal vostro libro come
un sostituto di φ per tabelle
diverse da 2x2 ma, anche se
oscilla fra 0 e 1, non è
propriamente una correlazione
Anche il V di Cramer è un effect
size per tabelle diverse da 2x2 ed
è considerato una stima migliore
di C (Ellis, 2010)
G. Rossi (Dip. Psicologia)
ElemPsico
rφ = φ =
s
C=
χ2
N
χ2
N + χ2
s
V di Cramer =
χ2
N (k − 1)
con k = min(r, c)
2014-2015
20 / 24
Dimensione dell’effetto come associazione
Anche nel caso di un t-test per campioni indipendenti si può
calcolare una misura di associazione
Se indichiamo i due gruppi con 0 e 1, la normale correlazione di
Pearson corrisponde a una correlazione punto-biseriale (rbis o rpb )
ma è più semplice usare una formula che trasforma t in r
s
t2
rbis =
t2 + df
G. Rossi (Dip. Psicologia)
ElemPsico
2014-2015
21 / 24
Utilizzo della dimensione dell’effetto
La dimensione dell’effetto è importante in ambito statistico perché
ha aperto la strada ad almeno due approcci nuovi
L’analisi della potenza: lo studio dell’errore di II tipo (o β)
[capitolo 29]
La metanalisi: le ricerche sulle ricerche su uno stesso argomento
La metanalisi è una tecnica statistica che studia i risultati di
ricerca, in particolare i risultati delle analisi statistiche di diverse
ricerche per vedere se gli effetti riscontrati sono in qualche modo
legati a caratteristiche particolari.
G. Rossi (Dip. Psicologia)
ElemPsico
2014-2015
22 / 24
Utilizzo della dimensione dell’effetto
La metanalisi sta sostituendo le rassegne bibliografiche perché le
migliora
Una ricerca bibliografica è la raccolta/riassunto di articoli di ricerca
su un particolare argomento
lo scopo è quello di riassumere i risultati ottenuti e le situazioni in
cui un determinato strumento funziona (oppure in quali
circostanze si presenta un certo effetto)
I lavori trovati vengono generalmente
accostati l’uno all’altro per variabili misurate
confrontati per tipo di campione
tipo di variabili dipendenti (misurazioni diverse dello stesso
costrutto)
variabili indipendenti usate
risultati ottenuti
G. Rossi (Dip. Psicologia)
ElemPsico
2014-2015
23 / 24
Utilizzo della dimensione dell’effetto
La metanalisi permette di confrontare queste ricerche, non solo
teoricamente, ma anche statisticamente
la dimensione dell’effetto di ogni ricerca, diventa la misura su cui
valutare le ricerche
e su cui applicare le analisi statistiche comuni (in genere l’analisi
della varianza)
in questo modo si può vedere se gli effetti sono più grandi in un
certo tipo di campione oppure con certi tipi di strumenti (variabili
indipendenti)
G. Rossi (Dip. Psicologia)
ElemPsico
2014-2015
24 / 24
Author
Document
Category
Uncategorized
Views
0
File Size
266 KB
Tags
1/--pages
Report inappropriate content