roc krive u psihološkoj statistici na primjeru potencijala osobina

ISSN (p) 2303-4890, ISSN 1986–518X
ISTRAŽIVANJE MATEMATIČKOG OBRAZOVANJA
http://www.imvibl.org/dmbl/meso/imo/imo2.htm
Vol. VI (2014), Broj 11, 19--30
Stručni rad
doi: 10.7251/IMO1411019R
ROC KRIVE U PSIHOLOŠKOJ STATISTICI NA PRIMJERU
POTENCIJALA OSOBINA LIČNOSTI ZA DISTINKCIJU
IZNADPROSJEČNO I ISPODPROSJEČNO OPTIMISTIČNIH OSOBA
Selman Repišti1
Sažetak: Prvenstveno, ROC krive su popularno statističko oruđe u biomedicinskim naukama, odnosno
u kliničkim istraživanjima. Uz njih su vezani pojmovi senzitivnosti, specifičnosti i dijagnostičke
tačnosti testova. Cilj ovog rada je prikazati njihov aplikativni potencijal u psihologiji, na
karakterističnom primjeru iz psihologije ličnosti i pozitivne psihologije. Kao ulazne varijable, uzete su
crte ličnosti obuhvaćene Modelom velikih pet, dok je optimizam, kao kontinuirana varijabla,
dihotomizovan na način da su formirane dvije grupe ispitanika: ispodprosječni i iznadprosječni.
Rezultati pokazuju da se ove dvije grupe mogu razlikovati po rezultatima na pomenutih pet osobina
ličnosti, odnosno da je moguće identifikovati granične vrijednosti osobina ličnosti, na osnovu kojih se
s određenom vjerovatnoćom mogu klasifikovati ispitanici na navedeni način. Primjer je prikazan kao
vodič za studente pri razumijevanju logike na kojoj se zasniva ova vrsta analize, kao i njenih rezultata
koji vode ka validnim zaključcima. Na kraju se raspravljalo o mjestu ove statističke tehnike u
postojećim silabusima statistike u psihologiji (i njenih ekvivalenata).
Ključne riječi: ROC krive, senzitivnost, specifičnost, primijenjena statistika, psihologija ličnosti.
Abstract: Primarily, ROC curves are a popular statistical tool in biomedical sciences, more precisely,
in clinical trials. With them are related concepts of sensitivity, specificity and diagnostic accuracy of
the tests. The aim of this paper is to demonstrate its applicative potential in psychology, through the
typical example from personality and positive psychology. Input variables were personality traits
included in the Big Five Model, while optimism, as a continuous variable, was dichotomized in such a
way that there were formed two groups: below average and above average. The results show that these
two groups may differ by the results in the above mentioned five personality traits, and that it is
possible to identify cut-off scores on personality traits, which can allow us to classify respondents, in a
certain probability, in the above manner. The presented example serves as a guide for students to
understand the logic underlying this type of analysis, as well as its results that lead to valid
conclusions. At the end, we discussed about the place of statistical techniques in the existing syllabus
of statistics in psychology (and its equivalents).
Keywords: ROC curves, sensitivity, specificity, applied statistics, parsonality psychology.
Mathematics Subject Classification (2010): 97B40, 97B70, 97K70, 97K80, 97N80
ZDM Subject Classification (2010): B40, B80, K70, N80
1. Uvod
Izučavanje statističke grupe predmeta na fakultetima odvija se u dva smjera, odnosno na dva
načina. Prvi je prikazivanje statističkih principa, tehnika i postupaka preko čiste matematike, te mu je
cilj potcrtati matematičku podlogu koncepata, teorema i njihovih praktičnih posljedica u ovoj oblasti.
Ovakav vid podučavanja i izlaganja gradiva je karakterističan na odsjecima tehničkih fakulteta i
odsjecima za matematiku. Ovdje je uvriježeno mišljenje da se, bez poznavanja jasno izložene logike
1
Maršala Tita 31/2, 71000 Sarajevo, Bosna i Hercegovina, e-mail: [email protected]
IMO, Vol. VI(2014), Broj 11
S.Repišti
koja stoji iza svakog statisičkog postupka, ne može adekvatno provoditi nijedna analiza, niti valjano
interpretirati njeni rezultati (ishodi). Prvi način podučavanja mogli bismo nazvati klasičnim, odnosno
ortodoksnim. Njegova prednost je što zaista nudi detaljne i iscrpne informacije o tome kako statistika i
vjerovatnoća zaista funkcionišu. Međutim, glavni nedostatak mu je što studenti mogu imati sklonost
da nauče napamet dokaze, teoreme, izvode i ostale postupke koji se od njih traže na ispitima. Dakle,
rezultat je puko memorisanje, bez razumijevanja. Još jedan nedostatak leži u činjenici da studenti
vjerovatno neće uspjeti primijeniti svoje znanje na rješavanje praktičnih, konkretnih problema iz
različitih oblasti.
Drugi način podučavanja zastupljen je na fakultetima društvenih i biomedicinskih nauka.
Studentima se prvo izloži određeni statistički koncept ili tehnika (bez detaljnog prikaza njihove
matematičke pozadine). Potom, nastavnik/saradnik prezentuje primjere iz njihove oblasti studiranja:
1) u psihologiji: npr. provjeriti postoji li statistički značajna razlika u znanju iz matematike
kod učenika četvrtih razreda jedne gradske i jedne seoske škole (edukacijska psihologija);
da li je intrinzična motivacija povezana sa zadovoljstvom radnim mjestom (poslovna
psihologija);
2) u pedagogiji: da li je novi način podučavanja statistički značajno uspješniji od starog;
postoji li statistički značajna razlika u broju nastavnika koji jesu i koji nisu zainteresovani
za dodatne edukacije iz vlastitog nastavnog područja;
3) u medicini: da li postoji povezanost između pušenja i plućnih bolesti; da li je novi test za
Alzheimerovu bolest bolji od starog;
4) u biologiji i poljoprivrednim naukama: u kojoj mjeri je boja kose djeteta povezana sa
bojom očiju jednog od roditelja (genetika); postoji li statistički značajna razlika u rastu
određene biljne kulture, kada se na pola uzorka primijeni jedna, a na drugoj polovini druga
vrsta đubriva (ratarstvo).
Prednost ove metode podučavanja je što osposobljava studente za primjenu statistike u
vlastitom polju studiranja, gdje studenti stiču utisak da je statistika dovoljno smislena i ne svodi se na
puko teoretisanje. Međutim, nedostatak ovakvog pristupa leži u mogućnosti pogrešne primjene nekih
statističkih alata, jer mnogi studenti zaborave koji su preduslovi za određene tehnike i postupke. U
psihologiji, može se desiti da je distribucija odgovora ispitanika (npr. rezultata na nekom testu ličnosti
ili inteligencije) značajno različita od normalne (jako pozitivno, odnosno negativno asimetrična), a da
oni ipak primjenjuju parametrijske metode, bez prethodnog transformisanja ovakvih distribucija.
Drugi problem je tendencija nekih današnjih nastavnika da prerano uvedu podučavanje vezano za
obradu podataka uz pomoć statističkih softvera (SPSS, SAS, STATA, R i slično). Ovdje studenti
nauče unijeti varijable i rezultate u program, te zadati odgovarajuće komande. Međutim, kada se suoče
sa ispisom (eng. outputom) određenih programa, mogu previdjeti informacije vezane za prikladnost
metoda i podataka koje su koristili. Tako postoji mogućnost da zanemare nejednakost varijansi, veliku
razliku u veličini uzoraka, testove normalnosti, informacije o nedosljednosti prilikom unosa podataka i
pravljenja baze podataka i slično. U slučaju ispisa na osnovu multivarijacionih metoda, može im biti
nejasno pravo značenje dobijenih koeficijenata, te im jedino preostaje njihova površna interpretacija.
Autor ovog rada će pokušati dati dovoljno informativnu matematičku pozadinu metode koju
obrazlaže, uz jasan prikaz koraka pomenute analize i iscrpno tumačenje njenih rezultata. Time će
zauzeti poziciju na sredini puta između dva načina podučavanja statističkih tema koje je opisao u
prethodnom dijelu teksta.
Glavna statistička poglavlja koja se izučavaju na osnovnom (dodiplomskom) studiju
psihologije su: deskriptivna statistika (frekvencije, percentili, histogrami...), osnove teorije
vjerovatnoće, z-vrijednosti, t-testovi, analiza varijanse, korelacija i linearna regresijska analiza (za
detaljniji prikaz, vidjeti [19], kao i udžbenike psihološke statistike, npr. [18], [3] i [25]). Kada je riječ
o multivarijacionim tehnikama (pored regresijske analize), to su (pretežno na postdiplomskim
studijima): diskriminativna analiza (DA), klaster analiza (analiza grupisanja, taksonomska analiza),
eksplorativna (EFA) i konfirmativna (CFA) faktorska analiza, kanonička korelacijska analiza (CCA) i
multivarijatna analiza varijanse (MANOVA). Udžbenički primjeri prezentovanja ovih metoda
studentima društvenih nauka (naročito psihologije) mogu se naći u [23] , [9], [10], [11] i [12].
Međutim, teme kao što su: odnos rizika (eng. risk ratio; RR), odnos šansi (eng. odds ratio;
OR), senzitivnost testa (Se), specifičnost testa (Sp), ROC kriva (eng. receiver operating characteristic
curve) i analiza preživljavanja (eng. survival analysis i uz nju vezane Coxova regresija i Kaplan-Meier
20
IMO, Vol. VI(2014), Broj 11
S.Repišti
metoda), svoju punu primjenu nalaze u medicinskim istraživanjima. U ovom radu će biti ukratko
opisani senzitivnost i specifičnost testa, a više pažnje će se posvetiti ROC krivoj i to u kontekstu
psiholoških istraživanja. Akcenat nije samo na prikazu ovog zanimljivog statističkog oruđa, već i na
pokušaju da se ova tehnika približi studentima psihologije i istraživačima iz ove oblasti (premda je
moguće uspješno primijeniti i u drugim društvenim naukama). Biće predložen način njenog
povezivanja sa klasičnim nastavnim jedinicama koje su dio statističkih kurikuluma na studijima
psihologije, kao i mogućnost pozicioniranja ROC krivih i tema senzitivnosti i specfičnosti unutar
samih silabusa iz ovog nastavnog predmeta.
2. Senzitivnost, specifičnost i ROC krive
Prilikom primjene određenog testa, razvijenog da identifikuje oboljele od neke bolesti,
odnosno one koji to nisu, možemo imati četiri situacije: test je pozitivan i osobe zaista imaju određenu
bolest (tačno pozitivni - TP); test je pozitivan, međutim, ispitanici nemaju datu bolest (lažno pozitivni
– LP); test je negativan i osobe zaista nisu oboljele (tačno negativni – TN) i test je negativan, ali
ispitanici imaju određenu bolest (lažno negativni – LN). Dakle, test je u određenoj mjeri tačan (tačno
identifikuje oboljele i zdrave), a donekle je netačan (pogrešno klasifikuje zdrave u grupu bolesnih, i
obrnuto). Senzitivnost i specifičnost su mjere koje se odnose na njegovu tačnost, preciznost i
prediktivnu vrijednost.
Senzitivnost je potencijal testa da otkrije osobe koje stvarno imaju ispitivanu bolest. Obrazac
za njegovo izračunavanje ((1), npr. [1] i [13]) u svom imeniocu sadrži tačno pozitivne i lažno
negativne (dakle, one za koje unaprijed postoji informacija da su oboljeli), dok se u njegovom brojiocu
nalaze tačno pozitivni (odnosno, oni kod kojih se na testu pokaže da imaju istraživanu bolest):
Se = TP / (TP + LN)
(1)
Specifičnost je sposobnost testa da identifikuje osobe koje nemaju datu bolest, a predstavlja
odnos tačno negativnih s jedne strane i zbira tačno negativnih i lažno pozitivnih s druge strane ((2),
vidjeti [8]) :
Sp = TN / (TN + LP)
(2)
Kako bismo mogli preći na određenje ROC krivih, važno je da objasnimo šta je to ''1 –
specifičnost''. Lako je pokazati da je ova mjera jednaka obrascu (3):
1 – Sp = LP / (LP + TN)
(3)
Pomenuti obrazac daje informaciju o udjelu lažno pozitivnih (odnosno, zdravih osoba koje je
test klasifikovao kao bolesne) među onima koji u stvari nemaju određenu bolest. Dakle, valjan test u
kontekstu prethodnih razmatranja trebao bi imati visoku senzitivnost i visoku specifičnost, a što nižu
''1-specifičnost''.
Inače, iz ugla testiranja hipoteza, važne teme u statistici i metodologiji, senzitivnost bi se
mogla definisati kao snaga testa [20], odnosno njegova sposobnost da odbaci nultu hipotezu, ukoliko
je alternativna zaista tačna (npr. da postoji statistički značajna razlika u samoefikasnosti između
studenata sa visokim i niskim samopoštovanjem). Specifičnost bi se odnosila na prihvatanje istinite
nulte hipoteze (npr. da ne postoji statistički značajna povezanost između nivoa obrazovanja i
zadovoljstva bračnim životom).
ROC krive predstavljaju statističku tehniku koja ima za cilj utvrđivanje vrijednosti praga
(granične vrijednosti) određenog testa, u kojoj postoji najbolji odnos senzitivnosti i specifičnosti [13].
Naziv ove krive nastao je pod okriljem teorije detekcije (elektronskih) signala tokom Drugog
svjetskog rata, odakle joj i naziv ''karakteristična kriva primaoca/prijemnika-operatera''. Kako slična
teorija postoji i u psihologiji opažanja (TDS), ove krive su razmatrane u kontekstu psihofizike i
psihofiziologije, koje se mogu podvesti pod ovu prvu disciplinu [21]. Nadalje, ROC kriva je grafički
prikaz odnosa senzitivnosti (y-osa) i ''1-specifičnosti'' (x-osa) [5]. Kao što je već rečeno, cilj dobrog
testa je da njegova senzitivnost bude što veća, a ''1-specifičnost'' što manja. Zato ova kriva treba biti
što bliža gornjem lijevom uglu dijela koordinatnog sistema. Ukoliko test samo po slučaju razlikuje
21
IMO, Vol. VI(2014), Broj 11
S.Repišti
dvije grupe (to ne moraju samo biti oboljeli ili neoboljeli, već to mogu biti npr. muškarci i žene, stariji
i mlađi, natprosječno i ispodprosječno inteligentni, iznadprosječno i ispodprosječno pesimistični, i
slično), onda ova linija postaje prava koja ide sredinom koordinatnog sistema. Jedan od ciljeva analize
vezane za ROC krivu je ispitati da li ona statistički značajno odstupa od referentne linije (tj. one koja
prolazi sredinom grafikona). Ukoliko je rezultat pozitivan, možemo govoriti da određeni test ima
statistički značajan stepen dijagnostičke efikasnosti (efikasnosti razlikovanja, klasifikacije, distinkcije
među grupama). Preciznije rečeno, istraživače zanima da li je površina ispod ROC krive statistički
značajno različita od površine pod referentnom linijom (površina pod referentnom linijom iznosi P =
.50). Površina pod ROC krivom (eng. area under curve, AUC) je uvijek pozitivan broj, koji se,
teorijski, kreće u rasponu od 0 do 1 (v. [6]), a može se shvatiti kao suma diskriminativne tačnosti testa
[8], što je vidljivo iz (4):
( )
AUC = ∫
(4)
U našem primjeru, ispitaćemo da li se na osnovu osobina ličnosti može napraviti distinkcija
između grupe iznaprosječno i grupe ispodprosječno optimisitičnih osoba.
3. Primjer sa osobinama ličnosti i optimizmom
3.1. Ispitanici
U istraživanju je učestvovalo 150 studenata i studentkinja s Filozofskog fakulteta Univerziteta
u Sarajevu Ispitanici su bili sa Odsjeka za psihologiju (n = 107), Odsjeka za historiju (n = 35) i
Odsjeka za filozofiju i sociologiju (n = 8). Njihova dob kretala se u rasponu od 19 do 36 godina, uz
prosječnu vrijednost M = 20.95 i standardnu devijaciju SD = 1.99.
3.2. Instrumenti
Od instrumanata (psiholoških skala), primijenjeni su:
1) Skala samoprocjene PFM [14] korištena je za mjerenje pet dimenzija ličnosti postuliranih
i empirijski validiranih u okviru Modela velikih pet (PFM, odnosno FFM). Po deset
pridjeva-reprezentanata svake dimenzije dato je u formi petostepene Likertove skale. Na
našem uzorku, provjerena je pouzdanost tipa unutarnje konzistencije i izračunate su
korigovane ajtem-total korelacije čestica sa rezultatima na subskalama kojima pripadaju.
Zbog niskih ajtem-total korelacija, izbačene su sljedeće čestice: 25. (''snalažljiv'', koja je
trebala odgovarati otvorenosti za nova iskustva), 43. (''tolerantan'', odnosila se na
ugodnost) i 46. (''bezbrižan'', trebala je pripadati subskali neuroticizma). Nakon
izbacivanja ovih čestica, Cronbachovi alfa koeficijenti unutrašnje konzistencije
(pouzdanosti) iznosili su: α1 = .86 (ekstraverzija); α2 = .85 (neuroticizam); α3 = .79
(savjesnost); α4 = .83 (ugodnost) i α5 = .77 (otvorenost).
2) Skala (dispozicijskog) optimizma i pesimizma ([2] i [17]) sastoji se od šest čestica koje
mjere opitimizam (2, 5, 6, 8, 11. i 14) i osam (1, 3, 4, 7, 9, 10, 12, 13), vezanih za
pesimizam. U pitanju je petostepena skala Likertovog tipa. Ovdje je najprihvatljivije
rješenje dobiveno upotrebom apriornog kriterija (zadata su dva faktora), uz Promax
rotaciju. Česticu broj tri gotovo podjednako saturiraju oba faktora, s tim da je sa
pesimizmom u pozitivnoj, a s optimizmom u negativnoj korelaciji. S obzirom da ona ima
visoku korigovanu ajtem-total korelaciju sa oba rezultata na pripadajućim subskalama,
uključena je u dalju analizu kao čestica u sklopu obje skale. U našem istraživanju,
zanimao nas je optimizam, a njegov alpha koeficijent (pouzdanost) iznosio je α = .78 (uz
uključenu treću česticu).
3.3. Postupak
Skale su ispunjavane metodom grupno vođenog rada, nakon čega su podaci kodirani i uneseni
u statistički softver SPSS 16.0 for Win. Nakon toga su izračunati ukupni (sumativni) rezultati za sve
22
IMO, Vol. VI(2014), Broj 11
S.Repišti
osobine ličnosti i za optimizam. Ispitanici su, shodno njihovim rezultatima na subskali optimizma,
podijeljeni u dvije grupe. To je učinjeno tako da su ispodprosječne činili oni čiji rezultat je bio ispod
medijane ili jednak medijani (Xi ≤ Mdn; Mdn = 27.00). S druge strane, grupa iznadprosječno
optimističnih formirana je od ispitanika koji su imali rezultate veće od medijane (Xi > 27.00). Na
osnovu ovoga, formirana je nova varijabla: ''Opt01'', gdje je svakom ''iznadprosječnom'' ispitaniku
pridružena vrijednost ''1'', a svakom ispodprosječnom vrijednost ''0''. Dakle, optimizam je, na ovaj
način, dihotomizovan (binarizovan).
Nakon toga, u okviru opcije ''Analyze'' (u SPSS-u), te iz njenog padajućeg menija, odabrana je
opcija ''ROC Curve''. U polje State Variable unesen je optimizam kao dihotomna varijabla –
''Opt01''(dakle, ne optimizam kao kontinuirana varijabla!). U kućicu Value of state variable, upisan je
broj ''1'' (u medicini bi to najčešće bila oznaka za ''oboljele'', a 0 za zdrave; u našem slučaju, to je
oznaka za ''iznadprosječno optimistične''). U polje Test Variable prenesene su osobine ličnosti2 (dakle,
ovdje smo imali pet varijabli koje su u ulozi testova za koje se treba ispitati efikasnost, odnosno
diskriminativna moć). Programu je takođe zadato da u ispisu ponudi: prikaz ROC krive sa
dijagonalnom referentnom linijom (ROC Curve / With Diagonal reference line), standardnu grešku i
intervale povjerenja (Standard error and confidence interval) i koordinate ROC krive (Coordinate
points of the ROC Curve). Dakle, treba obilježiti ove sve opcije, prije nego što se pokrene sama
analiza. Pritiskom na taster OK, pokrenuta je procedura izračunavanja vezanih za ROC krivu.3
3.4. Rezultati
U ispisu (Output) prvo dobijamo tabelu sa brojem ispitanika u svakoj grupi za varijablu
optimizam (Tabela 3.4.1)4:
Tabela 3.4.1 Prikaz broja iznadprosječno i ispodprosječno optimističnih ispitanika
Case Processing Summary
Opt01
Valid N (listwise)
a
Positive
66
Negative
84
Larger values of the test result variable(s) indicate stronger
evidence for a positive actual state.
a. The positive actual state is 1,00.
Gorenavedena tabela nam, dakle, govori da je bilo 66 iznadprosječnih ispitanika na subskali
optimizma (''positive''), kao i 84 ispodprosječno optimističnih ispitanika (''negative''). U objašnjenju
ispod tabele, istaknuto je kako su veće vrijednosti jači dokaz da je neko iznadprosječan na ispitivanoj
varijabli (''positive actual state''), kao i da je ''iznadprosječnost'' kodirana brojem ''1''.
Slijedi grafički prikaz ROC krive (Grafikon 3.4.1) sa svih pet osobina ličnosti na jednom
mjestu. Kao što možemo vidjeti ispod, ROC krive sivh osobina ličnosti su različite u odnosu na
2
Ukoliko studenti i istraživači žele da im nekoliko ROC krivih bude na istom grafikonu, uradiće onako kako je
ovdje opisano. Ukoliko žele odvojene prikaze, uradiće pet puta ovu analizu, a prilikom svakog puta će unijeti
po jednu ''test-varijablu'' (u ovom slučaju, osobinu ličnosti). Prva vrsta prikaza je ekonomičnija te pruža bolju
mogućnost međsobne uporedbe, mada može stvoriti konfuziju, jer je mnogo krivih na jednom mjestu. Druga je
već jasnija, ali za njene rezultate treba više prostora. Stoga se studentima i istraživačima savjetuje da odaberu
onu opciju koja bi adekvatno odgovarala samoj strukturi i tehničkom izgledu njihovog rada.
3
Postupak pokretanja analize ROC krivih je namjerno prikazan korak po korak, kako bi studenti odmah na
početku specifikovali sve ono što očekuju i što im treba u outputu (ispisu) za ispravno tumačenje rezultata.
4
Sve tabele iz ispisa SPSS-a su date u originalnom (neizmijenjenom) obliku, kako bi studenti i istraživači mogli
bolje pratiti korake ROC analize i upoređivati ovaj primjer sa svojim istraživanjem i postavljenim ciljevima
vlastite studije i analize.
23
IMO, Vol. VI(2014), Broj 11
S.Repišti
referentnu (dijagonalnu liniju). Ovo još ne znači da se one statistički značajno razlikuju od nje, jer za
to moramo provjeriti rezultate značajnosti testova, što slijedi nakon grafičkog prikaza ROC krivih.
Grafikon 3.4.1 ROC krive osobina ličnosti
Kao što možemo vidjeti, na apscisi je prikazana ''1-specifičnost'', a na ordinati senzitivnost
osobina ličnosti, za svaki njihov rezultat. Naravno, senzitivnost i ''1-specifičnost'' su standardizovane
mjere, te se može vidjeti da se kreću od 0.0 - 1.0 (v.[5]). Primjećujemo da u slučaju ekstraverzije
(plava kriva), savjesnosti (crna isprekidana kriva), ugodnosti (ljubičasta kriva) i otvorenosti (crna puna
linija) imamo otklon njihovih ROC krivih prema gornjem lijevom uglu. On nije veliki, ali je vidljiv i
ukazuje na to da iznadprosječno optimistični ispitanici većinom postižu više rezultate na ovim
subskalama. Što se tiče neuroticizma (zelena kriva), imamo obrnut efekat5 . To znači da iznadprosječno
optimistične osobe većinom postižu niže rezultate na subskali neuroticizma (niži rezultati na ovoj
subskali ukazuju na višu emocionalnu stabilnost). Međutim, kako bismo vidjeli da li je ovaj trend i
statistički značajan, trebamo analizirati sljedeću tabelu (Tabela 3.4.2).
Tabela 3.4.2 Prikaz površine ispod krivih, standardnih grešaka, značajnosti i intervala
povjerenja
5
Da smo izvršili inverziju rezultata na subskali neuroticizma, te ih uključili u ovu analizu, dobili bismo otklon
krive kakav imaju preostale osobine ličnosti. Dakle, ukoliko studenti dobiju ovakav rezultat, ne treba ih brinuti
što opisana kriva nema otklon ka lijevom gornjem uglu grafikona. Ukoliko joj je dovoljno velik otklon prema
desnom donjem uglu, tj. ukoliko (statistički) značajno odstupa od referentne linije na ovaj način, možemo
izvesti zaključak da analizirana varijabla dobro razlikuje grupe koje ispitujemo (tj. relevantna je za ''State
Variable'', odnosno ''izlaznu varijablu'' dihotomnog tipa).
24
IMO, Vol. VI(2014), Broj 11
S.Repišti
Area Under the Curve
Test Result
Variable(s)
Area
Std. Errora
Asymptotic
Sig.b
Asymptotic 95% Confidence Interval
Lower Bound
Upper Bound
ekstraverzija
.641
.046
.003
.551
.731
neuroticizam
.189
.034
.000
.121
.256
savjesnost
.740
.042
.000
.657
.823
ugodnost
.764
.039
.000
.688
.840
otvorenost
.627
.046
.008
.537
.716
The test result variable(s): ekstraverzija, neuroticizam, savjesnost, ugodnost, otvorenost has at
least one tie between the positive actual state group and the negative actual state group.
Statistics may be biased.
a. Under the nonparametric assumption
b. Null hypothesis: true area = 0.5
Kao što vidimo, nulta-hipoteza je da je površina ispod krive (AUC) jednaka .500. Površine
pod svakom ROC krivom osobina ličnosti se statistički značajno razlikuju od one pod referentnom
linijom6 : ekstraverzija (AUC = .641, p < .01), neuroticizam (AUC = .189, p < .001), savjesnost (AUC
= .740, p < .001), ugodnost (AUC = .764, p < .001) i otvorenost (AUC = .627, p < .01). Što se tiče
neuroticizma, kada bi se izvršila inverzija njegovih rezultata, vidjeli bismo da bi ova površina iznosila
AUC = .811 (prostom operacijom oduzimanja .189 od 1). Dijagnostička preciznost testova (ovdje:
osobina ličnosti), procijenjena na osnovu AUC, može se odrediti na osnovu visine AUC [22] :
1) ukoliko je AUC < .500, test nije koristan;
2) za .500 < AUC < .600 – test je loš;
3) u slučaju .600 < AUC < .700 – test je dovoljno diskriminativan;
4) ako je .700 < AUC < .800 – test je dobar;
5) za .800 < AUC < .900 – test ima veoma dobru diskriminativnu moć; te
6) za .900 < AUC < 1.000 – dijagnostička tačnost testa je odlična.
U našem primjeru: ekstraverzija ima prihvatljivu (dovoljnu) diskriminativnu moć;
neuroticizam (uzimajući u obzir podatak da je ovdje, ustvari, AUC = .811) ima veoma dobru
dijagnostičku tačnost; savjesnost i ugodnost imaju dobru diskriminativnu moć; a otvorenost ima
prihvatljivu (dovoljnu) dijagnostičku preciznost (tačnost). Standardne greške se nalaze u koloni Std.
Error, a 95% intervali povjerenja u posljednje dvije kolone. Ukoliko interval povjerenja obuhvati
vrijednost .500 (što je postavljeno u okviru nulte hipoteze), to bi značilo da se ova površina ne
razlikuje statistički značajno od pomenute vrijednosti. Kao što vidimo (a u skladu sa asimptotskom
značajnošću koja je prethodno pomenuta), nijedan interval vezan za AUC pod krivama osobina
ličnosti ne obuhvata vrijednost .500. Npr. u slučaju savjesnosti, ovaj interval je 95%-CI = .657 –.823.
Zaključak našeg istraživanja bio bi da svih pet osobina ličnosti uspješno razlikuju (diskriminiraju)
iznadprosječno optimistične od ispodprosječno optimističnih ispitanika. Kako je površina pod ROC
krivom mjera diskriminativne moći testa [4], studentima i istraživačima je bitno da je mogu adekvatno
interpretirati (primjer jasne i dobre interpretacije može se naći u [16] i [24]). U našem slučaju,
uzećemo primjer ekstraverzije i ugodnosti. Ukoliko slučajnim odabirom ''izvučemo'' ispitanika koji
ima iznadprosječni optimizam, on će u 64.1% slučajeva (jer je AUC = .641) imati izraženiju
ekstraverziju (biće druželjubivija, komunikativnija, pričljivija) nego slučajno odabran ispitanik iz
grupe ispodprosječno optimističnih. Slično, slučajno odabrana osoba iz grupe iznadprosječno
optimističnih će u 76.4% slučajeva biti ugodnija (saradljivija, više prijateljski nastrojena) od
nasumičnog ispitanika iz grupe ispodprosječno optimističnih.
6
Površina ispod krive se očitava iz kolone Area, a značajnost razlike iz kolone Asymptotic Sig.
25
IMO, Vol. VI(2014), Broj 11
S.Repišti
Na kraju, možemo odrediti cut-off skor (graničnu vrijednost) za svaku od osobina ličnosti.
Ako se odabere rezultat čija je pripadajuća senzitivnost visoka, postoji opasnost da njegova
specifičnost bude niska, i obrnuto [7]. Zato treba odrediti optimalnu graničnu vrijednost. To ćemo
učiniti na osnovu Tabele 3.4.3, odnosno posljednje tabele u SPSS ispisu, za komande koje smo
zadali.7
Tabela 3.4.3 Potencijalni cut-off skorovi za varijablu otvorenost
Coordinates of the Curve
Test Result Variable(s)
Otvorenost
Positive if Greater Than
or Equal Toa
Sensitivity
1 - Specificity
10.0000
1.000
1.000
11.5000
1.000
.988
15.0000
1.000
.976
18.5000
1.000
.929
19.5000
.985
.893
20.5000
.909
.857
21.5000
.894
.774
22.5000
.894
.726
23.5000
.833
.667
24.5000
.773
.548
25.5000
.682
.440
26.5000
.576
.393
27.5000
.500
.345
28.5000
.364
.286
29.5000
.288
.190
30.5000
.242
.131
31.5000
.167
.107
32.5000
.121
.071
33.5000
.076
.048
34.5000
.076
.024
35.5000
.045
.012
37.0000
.000
.000
The test result variable(s): Ekstraverzija, Neuroticizam, Savjesnost, Ugodnost, Otvorenost has at least
one tie between the positive actual state group and the negative actual state group.
7
Prikazali smo samo dio tabele (tj. samo za osobinu ličnosti ''otvorenost''), zbog ograničenosti prostora u ovom
članku.
26
IMO, Vol. VI(2014), Broj 11
S.Repišti
Coordinates of the Curve
Test Result Variable(s)
Positive if Greater Than
or Equal Toa
Otvorenost
Sensitivity
1 - Specificity
10.0000
1.000
1.000
11.5000
1.000
.988
15.0000
1.000
.976
18.5000
1.000
.929
19.5000
.985
.893
20.5000
.909
.857
21.5000
.894
.774
22.5000
.894
.726
23.5000
.833
.667
24.5000
.773
.548
25.5000
.682
.440
26.5000
.576
.393
27.5000
.500
.345
28.5000
.364
.286
29.5000
.288
.190
30.5000
.242
.131
31.5000
.167
.107
32.5000
.121
.071
33.5000
.076
.048
34.5000
.076
.024
35.5000
.045
.012
37.0000
.000
.000
The test result variable(s): Ekstraverzija, Neuroticizam, Savjesnost, Ugodnost, Otvorenost has at least
one tie between the positive actual state group and the negative actual state group.
a. The smallest cutoff value is the minimum observed test value minus 1, and the largest cutoff value is
the maximum observed test value plus 1. All the other cutoff values are the averages of two
consecutive ordered observed test values.
Kao što vidimo, u drugoj koloni su potencijalne granične vrijednosti, u trećoj je senzitivnost
otvorenosti, a u četvrtoj ''1-specifičnost'' rezultata na subskali otvorenosti. Da bismo odredili granični
rezultat, ''1-specifičnost'' ćemo pretvoriti u specifičnost (oduzimanjem vrijednosti iz kolone 1Specificity od jedinice).8 Potom ćemo analizirati kolonu senzitivnost i novodobijenu kolonu
8
Ovu tabelu studenti mogu prenijeti u MS Excel i izračunati vrijednosti potrebne za dalji tok analize. Mogu to
uraditi pregledom novodobijene kolone suma senzitivnosti i specifičnosti, ili odabirom adekvatne funkcije (za
identifikovanje maksimalne vrijednosti niza podataka): MAX(number1, number2, ...).
27
IMO, Vol. VI(2014), Broj 11
S.Repišti
specifičnost, na način da za svaki rezultat saberemo senzitivnost i specifičnost (pristup koji se koristi
npr. u [15]). Tako ćemo dobiti novu kolonu rezultata (sumu Se i Sp). Kako nam je cilj da senzitivnost i
specifičnost budu što veće, a ne da jedna bude jako velika, a druga jako mala, za graničnu vrijednost
ćemo uzeti onaj rezultat čiji zbir senzitivnosti i specifičnosti bude najveći. U slučaju otvorenosti, to će
biti rezultat 25.50, jer je suma Se i Sp ovdje najveća i iznosi 1.242. Senzitivnost vezana za ovaj rezultat
je Se = .682, a specifičnost Sp = .560. Ove vrijednosti nisu visoke, s obzirom da je i površina pod ROC
krivom za otvorenost bila najmanja (izuzimajući neuroticizam, jer je u njegovom slučaju tumačimo
obrnuto) od svih osobina ličnosti (ali, bila je statistički značajna, stoga smo i mogli dalje analizirati
ovu varijablu). Svrha optimalnog cut-off skora je da minimizuje broj lažnih pozitivnih i lažnih
negativnih slučajeva (ispitanika). U našem primjeru, to je broj pogrešno klasifikovanih osoba kao
iznadprosječno optmističnih (LP), kao i broj pogrešno klasifikovanih osoba kao ispodprosječno
optimističnih (LN), na osnovu njihovih skorova na subskali otvorenosti. Tako možemo reći da,
ukoliko kao graničnu vrijednost odaberemo rezultat 25.50, imaćemo najmanji procenat lažno
pozitivnih i lažno negativnih klasifikacija. Drugim riječima, ovaj cut-off skor nam pomaže da
izdiferenciramo ispitanike po visokoj i niskoj otvorenosti, preko čega bismo predviđali njihov visoki,
odnosno niski optimizam.
Cijeli postupak dobija smisao kada napravimo tabelu klasifikacije (Tabela 3.4.4), ukrštajući
otvorenost (prije toga smo je dihotomizovali, na sličan način kao i optimizam, s tim što smo ovdje
koristili cut-off skor 25.50, te onima koji su imali viši skor pridružili vrijednost 1, a onima sa nižim
skorom vrijednost 0) i optimizam (već dihotomizovan, u vidu grupe obilježene 1 i grupe kojoj smi
pripisali vrijednost 0).
Tabela 3.4.4 Klasifikacioni potencijal otvorenosti i optimizam
Otvorenost
0
1
Total
Optimizam
0
47 (56.0)
37 (44.0)
84 (56)
1
21 (31.8)
45 (68.2)
66 (44)
Total
68 (45.3)
82 (54.7)
150 (100)
Kao što možemo očitati iz Tabele 3.4.4 (u zagradi su procenti), od ukupnog broja osoba
označenih kao iznadprosječno optimističnih, 68.2% je onih koji takođe imaju visoke rezultate na
subskali otvorenosti (dakle, ovo je procenat tačno kolasifikovanih, što se poklapa sa senzitivnošću
koja je iznosila Se = .682). Kada pogledamo procenat tačno negativnih (odnosno onih koji u grupi
ispodprosječno optimističnih imaju ispodprosječne rezultate i za otvorenost), vidimo da on iznosi
56%, što je u skladu sa prethodnim nalazom da specifičnost iznosi Sp = .560. Dakle, cilj analize ROC
krivih je da imamo što veće brojeve (preciznije rečeno, procente, zbog neujednačenosti grupa) u
glavnoj dijagonali tablice (dijagonala koja obuhvata ćelije '00' i '11'), a što manje u ćelijama tabele
označenim kao '01' i '10'.
4. Alternativne mogućnosti obrade istih podataka
Imajući u vidu obilje drugih metoda za obradu podataka, nakon što nastavnik prezentuje kako
funkcioniše ROC analiza, trebao bi potaknuti studente da je uporede sa sličnim statističkim
procedurama. Naravno, ovdje bi uporedba išla u smjeru povezivanja sa t-testom, regresijskom
analizom i diskriminativnom analizom. Studentima se treba pružiti dovoljno informacija o tome kako
ove tehnike imaju mnogo toga zajedničkog:
1) T-testom se ispituju razlike između grupa, odnosno između različitih eksperimentalnih
uslova/tretmana. U ovom slučaju, važne su nam razlike između grupa, te bi se trebalo
obrazložiti kako bi se ovdje moglo provesti pet t-testova, za testiranje razlika između
grupe iznadprosječno i ispodprosječno optimističnih, na pet osobina ličnosti.
2) Kada je u pitanju regresija, ovdje bi trebalo primijeniti binarnu logističku regresionu
analizu, gdje je optimizam sa svoje dvije kategorije kriterijumska, a osobine ličnosti su
prediktorske varijable.
28
IMO, Vol. VI(2014), Broj 11
S.Repišti
3) Diskriminativnom analizom bismo testirali sposobnost osobina ličnosti da razlikuju iznadi ispodprosječno optimistične ispitanike. Vidjeli bismo koja osobina ličnosti najuspješnije
pravi razliku između ove dvije grupe, kao i koliko su zajedno uspješne u ovom
razlikovanju.
5. Mjesto analize ROC krivih u standardnim kurikulumima iz statistike
U velikoj većini silabusa iz nastavnog predmeta statistika, korelacijska analiza i regresija
dolaze nakon t-testova i analize varijanse. Autor ovog članka preporučuje da se ROC krive izučavaju
nakon regresijske analize, jer se mogu smisleno povezati s njom. Ovu temu ne bi trebalo staviti
između analize varijanse i korelacijske analize, zbog sljedećih razloga:
1) ROC analiza ne podrazumijeva uzročno-posljedičnu vezu između varijabli. Ukoliko bi
''došla'' odmah nakon ANOVA-e, postoji mogućnost da bi studenti pomislili kako i u
slučaju ROC krivih imamo nezavisne i zavisnu varijablu, što su oznake ulaznih i izlaznih
varijabli karakteristični za eksperimentalne nacrte i pretpostavke o kauzalnoj povezanosti
među varijablama.
2) Ukoliko se o ROC analizi podučava prije regresione analize, studenti bi vjerovatno bili
zbunjeni ulaznim varijablama koje su kontinuiranog/kvantitativnog tipa. Nakon izučavanja
regresijske analize, ova nedoumica je puno manje vjerovatna i ROC analiza se samo
nadovezuje na prethodno naučeno.
Prije samog uvođenja ROC krivih, nastavnicima/saradnicima se preporučuje da upoznaju
studente sa konceptima: tačnih pozitivnih, tačnih negativnih, lažno pozitivnih i lažno negativnih
rezultata. Nakon toga, treba uvesti pojmove senzitivnosti i specifičnosti, te ''1-specifičnosti''.
Najreprezentativniji primjeri za prethodno navedene koncepte su iz medicine. Ako je u pitanju
izučavanje statistike na odsjecima za psihologiju, bliski primjeri struci mogu se naći u kliničkoj
psihologiji i psihijatriji (ideja o njima može se dobiti iz članka [13]).
6. Zaključak
Analiza ROC krivih je jedna od zanemarenih statističkih tehnika u psihologiji, pa i u drugim
društvenim naukama. Nije dio standardnih kurikuluma iz nastavnog predmeta statistika, međutim, u
radu je predloženo kako je treba uvrstiti u nastavne sadržaje, odnosno kako podučavati o njoj. Studenti
trebaju pažljivo proučiti koncepte na kojima se ona zasniva, a tek onda pristupiti njenoj primjeni i
pravljenju grafikona i tabela, na osnovu kojih se vrši zaključivanje i interpretacija podataka. Takođe,
jako je važno da se senzitivnost i specifičnost povežu sa temom vezanom za testiranje hipoteza
(prihvatanje, odnosno odbacivanje hulte hipoteze), jer se na tome zasniva cijela inferencijalna
statistika (tj. statistika zaključivanja).
Autor ovog rada predlaže da se studenti upoznaju sa člancima u kojima je korišten ovaj tip
statističke analize, pokušaju (uz pomoć nastavnika i/ili smaostalno) razumjeti smisao pomenute
tehnike i steknu uvid u način prikazivanja i objašnjavanja njenih rezultata. Sam naziv ovih krivih može
zavarati studente i buduće istraživače koji će je koristiti, jer njihov naziv aludira na tehniku,
elektroniku i informatiku. Međutim, primjena ROC analize je veoma široka i nadamo se da će ovaj
članak bar u nekoj mjeri uticati na istraživače da se opredijele za ovakav tip analize.
Reference
[1] A. K. Akonberg: Understanding diagnostic tests 1: sensitivity, specificity and predictive
values, Acta Paediatr, 96(3)(2006), 338-341.
[2] E.C. Chang, A. Maydeu-Olivares, & T.J. D'Zurilla: Optimism and pessimism as partially
independent constructs: relationship to positive and negative affectivity and
psychological well-being, Person. Individ. Diff., 23(3)(1997), 433-440.
[3] Č. Dragićević: Statistika za psihologe sa zbirkom zadataka. Beograd, Centar za
primenjenu psihologiju, 2005.
[4] J. Fan, S. Upadhye, & A. Worster: Understanding receiver operating characteristic
(ROC) curves, CJEM, 8(1)(2006), 19-20.
29
IMO, Vol. VI(2014), Broj 11
S.Repišti
[5] D. Faraggi & B. Reiser: Estimation of the area under the ROC curve, Statistics in
Medicine, 21(20)(2002), 3093-3106.
[6] T. Fawcett: An introduction to ROC analysis, Pattern Recognition Letters, 27(8)(2006), 861-874.
[7] C. M. Florkowski: Sensitivity, Specificity, Receiver-Operating Characteristic (ROC)
Curves and Likelihood Ratios: Communicating the Performance of Diagnostic Tests,
Clin Biochem Rev., 29(Suppl 1)(2008), S83-S87.
[8] L.Gonçalves, A. Subtil, M. Rosário Oliveira, & P. De Tea Bermudez: ROC curve
estimation: An overview, REVSTAT - Statistical journal, 12(1)(2014), 1-20.
[9] L. G. Grimm & P. R. Yarnold (Eds.). Reading and Understanding Multivariate
Statistics. American Psyhological Association, Washington, 1995.
[10] J.F. Hair, W.C. Black, B.J. Babin, R.E. Anderson, & T. Tatham: Multivariate Data Analysis. 6/E,
Pearson Education Inc, New Jersey2005.
[11] A. Halmi: Multivarijatna analiza u društvenim znanostima. Alinea, Zagreb, 2003.
[12] R. Ho: Handbook of Univariate and Multivariate Dana Analysis and Interpretation with
SPSS. Chapman and Hall/CRC, Taxlor & Francis Group, LLC, Boca Raton, 2006.
[13] B. Janičić i Z. Novović: Procena uspešnosti u klasifikovanju rezultata na osnovu
graničnih (cut-off) skorova: receiver operating characteristic curve, Primjenjena psihologija,
4(4)(2011), 335-351.
[14] I. Kardum i I. Smojver: Petofaktorski model strukture ličnosti: izbor deskriptora u
hrvatskom jeziku, Godišnjak Zavoda za psihologiju (Rijeka), 2(1993), 91-100.
[15] A. F. G. Leentjens, F.R.J. Verhey, G.J.L. Luijckx, & J. Troost: The validity of the Beck
Depression Inventory as a screening and diagnostic instrument for depression in
patients with Parkinson's disease, Movement Disorders, 15(6)(2000), 1221-1224.
[16] Z. Novović i B. Janičić: Diskriminativne mogućnosti Hamiltonove skale depresivnosti:
ROC analiza, Psihologija, 38(4)(2005), 473-489.
[17] Z. Penezić: Skala optimizma i pesimizma (O-P skala). U: K. Lacković-Grgin, A.
Proroković, V. Ćubela i Z. Penezić (Ured.): Zbirka psihologijskih skala i upitnika. Sveska 1,
Filozofski fakultet, Zadar, 2002, (str. 15-17.)
[18] B. Petz: Osnovne statističke metode za nematematičare. Naklada Slap, Jastrebarsko,
2007.
[19] S. Repišti: Problem razumijevanja varijance i kovarijance i postupaka njihovog
računanja u psihometriji, IMO, IV(2012), Broj 7, 31-43.
[20] D. Sharma, U.B. Yadav, & P. Sharma: The concept of sensitivity and specificity in
relation to two types of errors and its application in medical research, Journal of
Reliability and Statistical Studies, 2(2)(2009), 53-58.
[21] J. A. Swets: The Relative Operating Characteristic in Psychology, Science, 182(1973),
990-1000.
[22] A. M. Šimundić: Measures of diagnostic accuracy: basic definitions, eHIFCC, 19(4)(2008),
(Distupan na internet-adresi: http://www.ifcc.org/ifccfiles/docs/190404200805.pdf)
[23] J. Tacq: Multivariate Analysis Techniques in Social Science Research. SAGE
Publications, Ltd, London, 1997.
[24] G. Trajković, M. Latas i V. Starčević: Dijagonostička efikanost bekovog upitnika za
anksioznost, Engrami, 24(2)(2002), 25-34.
[25] V. Turjačanin i Đ. Čekrlija: Osnovne statističke metode i tehnike u SPSS-u. Centar za kulturni i
socijalni popravak, Banja Luka, 2006.
Primljeno u redakciju 17.06.2014. Dostupno na internetu 01.09.2014.
30

Download Report