ISSN (p) 2303-4890, ISSN 1986–518X ISTRAŽIVANJE MATEMATIČKOG OBRAZOVANJA http://www.imvibl.org/dmbl/meso/imo/imo2.htm Vol. VI (2014), Broj 11, 19--30 Stručni rad doi: 10.7251/IMO1411019R ROC KRIVE U PSIHOLOŠKOJ STATISTICI NA PRIMJERU POTENCIJALA OSOBINA LIČNOSTI ZA DISTINKCIJU IZNADPROSJEČNO I ISPODPROSJEČNO OPTIMISTIČNIH OSOBA Selman Repišti1 Sažetak: Prvenstveno, ROC krive su popularno statističko oruđe u biomedicinskim naukama, odnosno u kliničkim istraživanjima. Uz njih su vezani pojmovi senzitivnosti, specifičnosti i dijagnostičke tačnosti testova. Cilj ovog rada je prikazati njihov aplikativni potencijal u psihologiji, na karakterističnom primjeru iz psihologije ličnosti i pozitivne psihologije. Kao ulazne varijable, uzete su crte ličnosti obuhvaćene Modelom velikih pet, dok je optimizam, kao kontinuirana varijabla, dihotomizovan na način da su formirane dvije grupe ispitanika: ispodprosječni i iznadprosječni. Rezultati pokazuju da se ove dvije grupe mogu razlikovati po rezultatima na pomenutih pet osobina ličnosti, odnosno da je moguće identifikovati granične vrijednosti osobina ličnosti, na osnovu kojih se s određenom vjerovatnoćom mogu klasifikovati ispitanici na navedeni način. Primjer je prikazan kao vodič za studente pri razumijevanju logike na kojoj se zasniva ova vrsta analize, kao i njenih rezultata koji vode ka validnim zaključcima. Na kraju se raspravljalo o mjestu ove statističke tehnike u postojećim silabusima statistike u psihologiji (i njenih ekvivalenata). Ključne riječi: ROC krive, senzitivnost, specifičnost, primijenjena statistika, psihologija ličnosti. Abstract: Primarily, ROC curves are a popular statistical tool in biomedical sciences, more precisely, in clinical trials. With them are related concepts of sensitivity, specificity and diagnostic accuracy of the tests. The aim of this paper is to demonstrate its applicative potential in psychology, through the typical example from personality and positive psychology. Input variables were personality traits included in the Big Five Model, while optimism, as a continuous variable, was dichotomized in such a way that there were formed two groups: below average and above average. The results show that these two groups may differ by the results in the above mentioned five personality traits, and that it is possible to identify cut-off scores on personality traits, which can allow us to classify respondents, in a certain probability, in the above manner. The presented example serves as a guide for students to understand the logic underlying this type of analysis, as well as its results that lead to valid conclusions. At the end, we discussed about the place of statistical techniques in the existing syllabus of statistics in psychology (and its equivalents). Keywords: ROC curves, sensitivity, specificity, applied statistics, parsonality psychology. Mathematics Subject Classification (2010): 97B40, 97B70, 97K70, 97K80, 97N80 ZDM Subject Classification (2010): B40, B80, K70, N80 1. Uvod Izučavanje statističke grupe predmeta na fakultetima odvija se u dva smjera, odnosno na dva načina. Prvi je prikazivanje statističkih principa, tehnika i postupaka preko čiste matematike, te mu je cilj potcrtati matematičku podlogu koncepata, teorema i njihovih praktičnih posljedica u ovoj oblasti. Ovakav vid podučavanja i izlaganja gradiva je karakterističan na odsjecima tehničkih fakulteta i odsjecima za matematiku. Ovdje je uvriježeno mišljenje da se, bez poznavanja jasno izložene logike 1 Maršala Tita 31/2, 71000 Sarajevo, Bosna i Hercegovina, e-mail: [email protected] IMO, Vol. VI(2014), Broj 11 S.Repišti koja stoji iza svakog statisičkog postupka, ne može adekvatno provoditi nijedna analiza, niti valjano interpretirati njeni rezultati (ishodi). Prvi način podučavanja mogli bismo nazvati klasičnim, odnosno ortodoksnim. Njegova prednost je što zaista nudi detaljne i iscrpne informacije o tome kako statistika i vjerovatnoća zaista funkcionišu. Međutim, glavni nedostatak mu je što studenti mogu imati sklonost da nauče napamet dokaze, teoreme, izvode i ostale postupke koji se od njih traže na ispitima. Dakle, rezultat je puko memorisanje, bez razumijevanja. Još jedan nedostatak leži u činjenici da studenti vjerovatno neće uspjeti primijeniti svoje znanje na rješavanje praktičnih, konkretnih problema iz različitih oblasti. Drugi način podučavanja zastupljen je na fakultetima društvenih i biomedicinskih nauka. Studentima se prvo izloži određeni statistički koncept ili tehnika (bez detaljnog prikaza njihove matematičke pozadine). Potom, nastavnik/saradnik prezentuje primjere iz njihove oblasti studiranja: 1) u psihologiji: npr. provjeriti postoji li statistički značajna razlika u znanju iz matematike kod učenika četvrtih razreda jedne gradske i jedne seoske škole (edukacijska psihologija); da li je intrinzična motivacija povezana sa zadovoljstvom radnim mjestom (poslovna psihologija); 2) u pedagogiji: da li je novi način podučavanja statistički značajno uspješniji od starog; postoji li statistički značajna razlika u broju nastavnika koji jesu i koji nisu zainteresovani za dodatne edukacije iz vlastitog nastavnog područja; 3) u medicini: da li postoji povezanost između pušenja i plućnih bolesti; da li je novi test za Alzheimerovu bolest bolji od starog; 4) u biologiji i poljoprivrednim naukama: u kojoj mjeri je boja kose djeteta povezana sa bojom očiju jednog od roditelja (genetika); postoji li statistički značajna razlika u rastu određene biljne kulture, kada se na pola uzorka primijeni jedna, a na drugoj polovini druga vrsta đubriva (ratarstvo). Prednost ove metode podučavanja je što osposobljava studente za primjenu statistike u vlastitom polju studiranja, gdje studenti stiču utisak da je statistika dovoljno smislena i ne svodi se na puko teoretisanje. Međutim, nedostatak ovakvog pristupa leži u mogućnosti pogrešne primjene nekih statističkih alata, jer mnogi studenti zaborave koji su preduslovi za određene tehnike i postupke. U psihologiji, može se desiti da je distribucija odgovora ispitanika (npr. rezultata na nekom testu ličnosti ili inteligencije) značajno različita od normalne (jako pozitivno, odnosno negativno asimetrična), a da oni ipak primjenjuju parametrijske metode, bez prethodnog transformisanja ovakvih distribucija. Drugi problem je tendencija nekih današnjih nastavnika da prerano uvedu podučavanje vezano za obradu podataka uz pomoć statističkih softvera (SPSS, SAS, STATA, R i slično). Ovdje studenti nauče unijeti varijable i rezultate u program, te zadati odgovarajuće komande. Međutim, kada se suoče sa ispisom (eng. outputom) određenih programa, mogu previdjeti informacije vezane za prikladnost metoda i podataka koje su koristili. Tako postoji mogućnost da zanemare nejednakost varijansi, veliku razliku u veličini uzoraka, testove normalnosti, informacije o nedosljednosti prilikom unosa podataka i pravljenja baze podataka i slično. U slučaju ispisa na osnovu multivarijacionih metoda, može im biti nejasno pravo značenje dobijenih koeficijenata, te im jedino preostaje njihova površna interpretacija. Autor ovog rada će pokušati dati dovoljno informativnu matematičku pozadinu metode koju obrazlaže, uz jasan prikaz koraka pomenute analize i iscrpno tumačenje njenih rezultata. Time će zauzeti poziciju na sredini puta između dva načina podučavanja statističkih tema koje je opisao u prethodnom dijelu teksta. Glavna statistička poglavlja koja se izučavaju na osnovnom (dodiplomskom) studiju psihologije su: deskriptivna statistika (frekvencije, percentili, histogrami...), osnove teorije vjerovatnoće, z-vrijednosti, t-testovi, analiza varijanse, korelacija i linearna regresijska analiza (za detaljniji prikaz, vidjeti [19], kao i udžbenike psihološke statistike, npr. [18], [3] i [25]). Kada je riječ o multivarijacionim tehnikama (pored regresijske analize), to su (pretežno na postdiplomskim studijima): diskriminativna analiza (DA), klaster analiza (analiza grupisanja, taksonomska analiza), eksplorativna (EFA) i konfirmativna (CFA) faktorska analiza, kanonička korelacijska analiza (CCA) i multivarijatna analiza varijanse (MANOVA). Udžbenički primjeri prezentovanja ovih metoda studentima društvenih nauka (naročito psihologije) mogu se naći u [23] , [9], [10], [11] i [12]. Međutim, teme kao što su: odnos rizika (eng. risk ratio; RR), odnos šansi (eng. odds ratio; OR), senzitivnost testa (Se), specifičnost testa (Sp), ROC kriva (eng. receiver operating characteristic curve) i analiza preživljavanja (eng. survival analysis i uz nju vezane Coxova regresija i Kaplan-Meier 20 IMO, Vol. VI(2014), Broj 11 S.Repišti metoda), svoju punu primjenu nalaze u medicinskim istraživanjima. U ovom radu će biti ukratko opisani senzitivnost i specifičnost testa, a više pažnje će se posvetiti ROC krivoj i to u kontekstu psiholoških istraživanja. Akcenat nije samo na prikazu ovog zanimljivog statističkog oruđa, već i na pokušaju da se ova tehnika približi studentima psihologije i istraživačima iz ove oblasti (premda je moguće uspješno primijeniti i u drugim društvenim naukama). Biće predložen način njenog povezivanja sa klasičnim nastavnim jedinicama koje su dio statističkih kurikuluma na studijima psihologije, kao i mogućnost pozicioniranja ROC krivih i tema senzitivnosti i specfičnosti unutar samih silabusa iz ovog nastavnog predmeta. 2. Senzitivnost, specifičnost i ROC krive Prilikom primjene određenog testa, razvijenog da identifikuje oboljele od neke bolesti, odnosno one koji to nisu, možemo imati četiri situacije: test je pozitivan i osobe zaista imaju određenu bolest (tačno pozitivni - TP); test je pozitivan, međutim, ispitanici nemaju datu bolest (lažno pozitivni – LP); test je negativan i osobe zaista nisu oboljele (tačno negativni – TN) i test je negativan, ali ispitanici imaju određenu bolest (lažno negativni – LN). Dakle, test je u određenoj mjeri tačan (tačno identifikuje oboljele i zdrave), a donekle je netačan (pogrešno klasifikuje zdrave u grupu bolesnih, i obrnuto). Senzitivnost i specifičnost su mjere koje se odnose na njegovu tačnost, preciznost i prediktivnu vrijednost. Senzitivnost je potencijal testa da otkrije osobe koje stvarno imaju ispitivanu bolest. Obrazac za njegovo izračunavanje ((1), npr. [1] i [13]) u svom imeniocu sadrži tačno pozitivne i lažno negativne (dakle, one za koje unaprijed postoji informacija da su oboljeli), dok se u njegovom brojiocu nalaze tačno pozitivni (odnosno, oni kod kojih se na testu pokaže da imaju istraživanu bolest): Se = TP / (TP + LN) (1) Specifičnost je sposobnost testa da identifikuje osobe koje nemaju datu bolest, a predstavlja odnos tačno negativnih s jedne strane i zbira tačno negativnih i lažno pozitivnih s druge strane ((2), vidjeti [8]) : Sp = TN / (TN + LP) (2) Kako bismo mogli preći na određenje ROC krivih, važno je da objasnimo šta je to ''1 – specifičnost''. Lako je pokazati da je ova mjera jednaka obrascu (3): 1 – Sp = LP / (LP + TN) (3) Pomenuti obrazac daje informaciju o udjelu lažno pozitivnih (odnosno, zdravih osoba koje je test klasifikovao kao bolesne) među onima koji u stvari nemaju određenu bolest. Dakle, valjan test u kontekstu prethodnih razmatranja trebao bi imati visoku senzitivnost i visoku specifičnost, a što nižu ''1-specifičnost''. Inače, iz ugla testiranja hipoteza, važne teme u statistici i metodologiji, senzitivnost bi se mogla definisati kao snaga testa [20], odnosno njegova sposobnost da odbaci nultu hipotezu, ukoliko je alternativna zaista tačna (npr. da postoji statistički značajna razlika u samoefikasnosti između studenata sa visokim i niskim samopoštovanjem). Specifičnost bi se odnosila na prihvatanje istinite nulte hipoteze (npr. da ne postoji statistički značajna povezanost između nivoa obrazovanja i zadovoljstva bračnim životom). ROC krive predstavljaju statističku tehniku koja ima za cilj utvrđivanje vrijednosti praga (granične vrijednosti) određenog testa, u kojoj postoji najbolji odnos senzitivnosti i specifičnosti [13]. Naziv ove krive nastao je pod okriljem teorije detekcije (elektronskih) signala tokom Drugog svjetskog rata, odakle joj i naziv ''karakteristična kriva primaoca/prijemnika-operatera''. Kako slična teorija postoji i u psihologiji opažanja (TDS), ove krive su razmatrane u kontekstu psihofizike i psihofiziologije, koje se mogu podvesti pod ovu prvu disciplinu [21]. Nadalje, ROC kriva je grafički prikaz odnosa senzitivnosti (y-osa) i ''1-specifičnosti'' (x-osa) [5]. Kao što je već rečeno, cilj dobrog testa je da njegova senzitivnost bude što veća, a ''1-specifičnost'' što manja. Zato ova kriva treba biti što bliža gornjem lijevom uglu dijela koordinatnog sistema. Ukoliko test samo po slučaju razlikuje 21 IMO, Vol. VI(2014), Broj 11 S.Repišti dvije grupe (to ne moraju samo biti oboljeli ili neoboljeli, već to mogu biti npr. muškarci i žene, stariji i mlađi, natprosječno i ispodprosječno inteligentni, iznadprosječno i ispodprosječno pesimistični, i slično), onda ova linija postaje prava koja ide sredinom koordinatnog sistema. Jedan od ciljeva analize vezane za ROC krivu je ispitati da li ona statistički značajno odstupa od referentne linije (tj. one koja prolazi sredinom grafikona). Ukoliko je rezultat pozitivan, možemo govoriti da određeni test ima statistički značajan stepen dijagnostičke efikasnosti (efikasnosti razlikovanja, klasifikacije, distinkcije među grupama). Preciznije rečeno, istraživače zanima da li je površina ispod ROC krive statistički značajno različita od površine pod referentnom linijom (površina pod referentnom linijom iznosi P = .50). Površina pod ROC krivom (eng. area under curve, AUC) je uvijek pozitivan broj, koji se, teorijski, kreće u rasponu od 0 do 1 (v. [6]), a može se shvatiti kao suma diskriminativne tačnosti testa [8], što je vidljivo iz (4): ( ) AUC = ∫ (4) U našem primjeru, ispitaćemo da li se na osnovu osobina ličnosti može napraviti distinkcija između grupe iznaprosječno i grupe ispodprosječno optimisitičnih osoba. 3. Primjer sa osobinama ličnosti i optimizmom 3.1. Ispitanici U istraživanju je učestvovalo 150 studenata i studentkinja s Filozofskog fakulteta Univerziteta u Sarajevu Ispitanici su bili sa Odsjeka za psihologiju (n = 107), Odsjeka za historiju (n = 35) i Odsjeka za filozofiju i sociologiju (n = 8). Njihova dob kretala se u rasponu od 19 do 36 godina, uz prosječnu vrijednost M = 20.95 i standardnu devijaciju SD = 1.99. 3.2. Instrumenti Od instrumanata (psiholoških skala), primijenjeni su: 1) Skala samoprocjene PFM [14] korištena je za mjerenje pet dimenzija ličnosti postuliranih i empirijski validiranih u okviru Modela velikih pet (PFM, odnosno FFM). Po deset pridjeva-reprezentanata svake dimenzije dato je u formi petostepene Likertove skale. Na našem uzorku, provjerena je pouzdanost tipa unutarnje konzistencije i izračunate su korigovane ajtem-total korelacije čestica sa rezultatima na subskalama kojima pripadaju. Zbog niskih ajtem-total korelacija, izbačene su sljedeće čestice: 25. (''snalažljiv'', koja je trebala odgovarati otvorenosti za nova iskustva), 43. (''tolerantan'', odnosila se na ugodnost) i 46. (''bezbrižan'', trebala je pripadati subskali neuroticizma). Nakon izbacivanja ovih čestica, Cronbachovi alfa koeficijenti unutrašnje konzistencije (pouzdanosti) iznosili su: α1 = .86 (ekstraverzija); α2 = .85 (neuroticizam); α3 = .79 (savjesnost); α4 = .83 (ugodnost) i α5 = .77 (otvorenost). 2) Skala (dispozicijskog) optimizma i pesimizma ([2] i [17]) sastoji se od šest čestica koje mjere opitimizam (2, 5, 6, 8, 11. i 14) i osam (1, 3, 4, 7, 9, 10, 12, 13), vezanih za pesimizam. U pitanju je petostepena skala Likertovog tipa. Ovdje je najprihvatljivije rješenje dobiveno upotrebom apriornog kriterija (zadata su dva faktora), uz Promax rotaciju. Česticu broj tri gotovo podjednako saturiraju oba faktora, s tim da je sa pesimizmom u pozitivnoj, a s optimizmom u negativnoj korelaciji. S obzirom da ona ima visoku korigovanu ajtem-total korelaciju sa oba rezultata na pripadajućim subskalama, uključena je u dalju analizu kao čestica u sklopu obje skale. U našem istraživanju, zanimao nas je optimizam, a njegov alpha koeficijent (pouzdanost) iznosio je α = .78 (uz uključenu treću česticu). 3.3. Postupak Skale su ispunjavane metodom grupno vođenog rada, nakon čega su podaci kodirani i uneseni u statistički softver SPSS 16.0 for Win. Nakon toga su izračunati ukupni (sumativni) rezultati za sve 22 IMO, Vol. VI(2014), Broj 11 S.Repišti osobine ličnosti i za optimizam. Ispitanici su, shodno njihovim rezultatima na subskali optimizma, podijeljeni u dvije grupe. To je učinjeno tako da su ispodprosječne činili oni čiji rezultat je bio ispod medijane ili jednak medijani (Xi ≤ Mdn; Mdn = 27.00). S druge strane, grupa iznadprosječno optimističnih formirana je od ispitanika koji su imali rezultate veće od medijane (Xi > 27.00). Na osnovu ovoga, formirana je nova varijabla: ''Opt01'', gdje je svakom ''iznadprosječnom'' ispitaniku pridružena vrijednost ''1'', a svakom ispodprosječnom vrijednost ''0''. Dakle, optimizam je, na ovaj način, dihotomizovan (binarizovan). Nakon toga, u okviru opcije ''Analyze'' (u SPSS-u), te iz njenog padajućeg menija, odabrana je opcija ''ROC Curve''. U polje State Variable unesen je optimizam kao dihotomna varijabla – ''Opt01''(dakle, ne optimizam kao kontinuirana varijabla!). U kućicu Value of state variable, upisan je broj ''1'' (u medicini bi to najčešće bila oznaka za ''oboljele'', a 0 za zdrave; u našem slučaju, to je oznaka za ''iznadprosječno optimistične''). U polje Test Variable prenesene su osobine ličnosti2 (dakle, ovdje smo imali pet varijabli koje su u ulozi testova za koje se treba ispitati efikasnost, odnosno diskriminativna moć). Programu je takođe zadato da u ispisu ponudi: prikaz ROC krive sa dijagonalnom referentnom linijom (ROC Curve / With Diagonal reference line), standardnu grešku i intervale povjerenja (Standard error and confidence interval) i koordinate ROC krive (Coordinate points of the ROC Curve). Dakle, treba obilježiti ove sve opcije, prije nego što se pokrene sama analiza. Pritiskom na taster OK, pokrenuta je procedura izračunavanja vezanih za ROC krivu.3 3.4. Rezultati U ispisu (Output) prvo dobijamo tabelu sa brojem ispitanika u svakoj grupi za varijablu optimizam (Tabela 3.4.1)4: Tabela 3.4.1 Prikaz broja iznadprosječno i ispodprosječno optimističnih ispitanika Case Processing Summary Opt01 Valid N (listwise) a Positive 66 Negative 84 Larger values of the test result variable(s) indicate stronger evidence for a positive actual state. a. The positive actual state is 1,00. Gorenavedena tabela nam, dakle, govori da je bilo 66 iznadprosječnih ispitanika na subskali optimizma (''positive''), kao i 84 ispodprosječno optimističnih ispitanika (''negative''). U objašnjenju ispod tabele, istaknuto je kako su veće vrijednosti jači dokaz da je neko iznadprosječan na ispitivanoj varijabli (''positive actual state''), kao i da je ''iznadprosječnost'' kodirana brojem ''1''. Slijedi grafički prikaz ROC krive (Grafikon 3.4.1) sa svih pet osobina ličnosti na jednom mjestu. Kao što možemo vidjeti ispod, ROC krive sivh osobina ličnosti su različite u odnosu na 2 Ukoliko studenti i istraživači žele da im nekoliko ROC krivih bude na istom grafikonu, uradiće onako kako je ovdje opisano. Ukoliko žele odvojene prikaze, uradiće pet puta ovu analizu, a prilikom svakog puta će unijeti po jednu ''test-varijablu'' (u ovom slučaju, osobinu ličnosti). Prva vrsta prikaza je ekonomičnija te pruža bolju mogućnost međsobne uporedbe, mada može stvoriti konfuziju, jer je mnogo krivih na jednom mjestu. Druga je već jasnija, ali za njene rezultate treba više prostora. Stoga se studentima i istraživačima savjetuje da odaberu onu opciju koja bi adekvatno odgovarala samoj strukturi i tehničkom izgledu njihovog rada. 3 Postupak pokretanja analize ROC krivih je namjerno prikazan korak po korak, kako bi studenti odmah na početku specifikovali sve ono što očekuju i što im treba u outputu (ispisu) za ispravno tumačenje rezultata. 4 Sve tabele iz ispisa SPSS-a su date u originalnom (neizmijenjenom) obliku, kako bi studenti i istraživači mogli bolje pratiti korake ROC analize i upoređivati ovaj primjer sa svojim istraživanjem i postavljenim ciljevima vlastite studije i analize. 23 IMO, Vol. VI(2014), Broj 11 S.Repišti referentnu (dijagonalnu liniju). Ovo još ne znači da se one statistički značajno razlikuju od nje, jer za to moramo provjeriti rezultate značajnosti testova, što slijedi nakon grafičkog prikaza ROC krivih. Grafikon 3.4.1 ROC krive osobina ličnosti Kao što možemo vidjeti, na apscisi je prikazana ''1-specifičnost'', a na ordinati senzitivnost osobina ličnosti, za svaki njihov rezultat. Naravno, senzitivnost i ''1-specifičnost'' su standardizovane mjere, te se može vidjeti da se kreću od 0.0 - 1.0 (v.[5]). Primjećujemo da u slučaju ekstraverzije (plava kriva), savjesnosti (crna isprekidana kriva), ugodnosti (ljubičasta kriva) i otvorenosti (crna puna linija) imamo otklon njihovih ROC krivih prema gornjem lijevom uglu. On nije veliki, ali je vidljiv i ukazuje na to da iznadprosječno optimistični ispitanici većinom postižu više rezultate na ovim subskalama. Što se tiče neuroticizma (zelena kriva), imamo obrnut efekat5 . To znači da iznadprosječno optimistične osobe većinom postižu niže rezultate na subskali neuroticizma (niži rezultati na ovoj subskali ukazuju na višu emocionalnu stabilnost). Međutim, kako bismo vidjeli da li je ovaj trend i statistički značajan, trebamo analizirati sljedeću tabelu (Tabela 3.4.2). Tabela 3.4.2 Prikaz površine ispod krivih, standardnih grešaka, značajnosti i intervala povjerenja 5 Da smo izvršili inverziju rezultata na subskali neuroticizma, te ih uključili u ovu analizu, dobili bismo otklon krive kakav imaju preostale osobine ličnosti. Dakle, ukoliko studenti dobiju ovakav rezultat, ne treba ih brinuti što opisana kriva nema otklon ka lijevom gornjem uglu grafikona. Ukoliko joj je dovoljno velik otklon prema desnom donjem uglu, tj. ukoliko (statistički) značajno odstupa od referentne linije na ovaj način, možemo izvesti zaključak da analizirana varijabla dobro razlikuje grupe koje ispitujemo (tj. relevantna je za ''State Variable'', odnosno ''izlaznu varijablu'' dihotomnog tipa). 24 IMO, Vol. VI(2014), Broj 11 S.Repišti Area Under the Curve Test Result Variable(s) Area Std. Errora Asymptotic Sig.b Asymptotic 95% Confidence Interval Lower Bound Upper Bound ekstraverzija .641 .046 .003 .551 .731 neuroticizam .189 .034 .000 .121 .256 savjesnost .740 .042 .000 .657 .823 ugodnost .764 .039 .000 .688 .840 otvorenost .627 .046 .008 .537 .716 The test result variable(s): ekstraverzija, neuroticizam, savjesnost, ugodnost, otvorenost has at least one tie between the positive actual state group and the negative actual state group. Statistics may be biased. a. Under the nonparametric assumption b. Null hypothesis: true area = 0.5 Kao što vidimo, nulta-hipoteza je da je površina ispod krive (AUC) jednaka .500. Površine pod svakom ROC krivom osobina ličnosti se statistički značajno razlikuju od one pod referentnom linijom6 : ekstraverzija (AUC = .641, p < .01), neuroticizam (AUC = .189, p < .001), savjesnost (AUC = .740, p < .001), ugodnost (AUC = .764, p < .001) i otvorenost (AUC = .627, p < .01). Što se tiče neuroticizma, kada bi se izvršila inverzija njegovih rezultata, vidjeli bismo da bi ova površina iznosila AUC = .811 (prostom operacijom oduzimanja .189 od 1). Dijagnostička preciznost testova (ovdje: osobina ličnosti), procijenjena na osnovu AUC, može se odrediti na osnovu visine AUC [22] : 1) ukoliko je AUC < .500, test nije koristan; 2) za .500 < AUC < .600 – test je loš; 3) u slučaju .600 < AUC < .700 – test je dovoljno diskriminativan; 4) ako je .700 < AUC < .800 – test je dobar; 5) za .800 < AUC < .900 – test ima veoma dobru diskriminativnu moć; te 6) za .900 < AUC < 1.000 – dijagnostička tačnost testa je odlična. U našem primjeru: ekstraverzija ima prihvatljivu (dovoljnu) diskriminativnu moć; neuroticizam (uzimajući u obzir podatak da je ovdje, ustvari, AUC = .811) ima veoma dobru dijagnostičku tačnost; savjesnost i ugodnost imaju dobru diskriminativnu moć; a otvorenost ima prihvatljivu (dovoljnu) dijagnostičku preciznost (tačnost). Standardne greške se nalaze u koloni Std. Error, a 95% intervali povjerenja u posljednje dvije kolone. Ukoliko interval povjerenja obuhvati vrijednost .500 (što je postavljeno u okviru nulte hipoteze), to bi značilo da se ova površina ne razlikuje statistički značajno od pomenute vrijednosti. Kao što vidimo (a u skladu sa asimptotskom značajnošću koja je prethodno pomenuta), nijedan interval vezan za AUC pod krivama osobina ličnosti ne obuhvata vrijednost .500. Npr. u slučaju savjesnosti, ovaj interval je 95%-CI = .657 –.823. Zaključak našeg istraživanja bio bi da svih pet osobina ličnosti uspješno razlikuju (diskriminiraju) iznadprosječno optimistične od ispodprosječno optimističnih ispitanika. Kako je površina pod ROC krivom mjera diskriminativne moći testa [4], studentima i istraživačima je bitno da je mogu adekvatno interpretirati (primjer jasne i dobre interpretacije može se naći u [16] i [24]). U našem slučaju, uzećemo primjer ekstraverzije i ugodnosti. Ukoliko slučajnim odabirom ''izvučemo'' ispitanika koji ima iznadprosječni optimizam, on će u 64.1% slučajeva (jer je AUC = .641) imati izraženiju ekstraverziju (biće druželjubivija, komunikativnija, pričljivija) nego slučajno odabran ispitanik iz grupe ispodprosječno optimističnih. Slično, slučajno odabrana osoba iz grupe iznadprosječno optimističnih će u 76.4% slučajeva biti ugodnija (saradljivija, više prijateljski nastrojena) od nasumičnog ispitanika iz grupe ispodprosječno optimističnih. 6 Površina ispod krive se očitava iz kolone Area, a značajnost razlike iz kolone Asymptotic Sig. 25 IMO, Vol. VI(2014), Broj 11 S.Repišti Na kraju, možemo odrediti cut-off skor (graničnu vrijednost) za svaku od osobina ličnosti. Ako se odabere rezultat čija je pripadajuća senzitivnost visoka, postoji opasnost da njegova specifičnost bude niska, i obrnuto [7]. Zato treba odrediti optimalnu graničnu vrijednost. To ćemo učiniti na osnovu Tabele 3.4.3, odnosno posljednje tabele u SPSS ispisu, za komande koje smo zadali.7 Tabela 3.4.3 Potencijalni cut-off skorovi za varijablu otvorenost Coordinates of the Curve Test Result Variable(s) Otvorenost Positive if Greater Than or Equal Toa Sensitivity 1 - Specificity 10.0000 1.000 1.000 11.5000 1.000 .988 15.0000 1.000 .976 18.5000 1.000 .929 19.5000 .985 .893 20.5000 .909 .857 21.5000 .894 .774 22.5000 .894 .726 23.5000 .833 .667 24.5000 .773 .548 25.5000 .682 .440 26.5000 .576 .393 27.5000 .500 .345 28.5000 .364 .286 29.5000 .288 .190 30.5000 .242 .131 31.5000 .167 .107 32.5000 .121 .071 33.5000 .076 .048 34.5000 .076 .024 35.5000 .045 .012 37.0000 .000 .000 The test result variable(s): Ekstraverzija, Neuroticizam, Savjesnost, Ugodnost, Otvorenost has at least one tie between the positive actual state group and the negative actual state group. 7 Prikazali smo samo dio tabele (tj. samo za osobinu ličnosti ''otvorenost''), zbog ograničenosti prostora u ovom članku. 26 IMO, Vol. VI(2014), Broj 11 S.Repišti Coordinates of the Curve Test Result Variable(s) Positive if Greater Than or Equal Toa Otvorenost Sensitivity 1 - Specificity 10.0000 1.000 1.000 11.5000 1.000 .988 15.0000 1.000 .976 18.5000 1.000 .929 19.5000 .985 .893 20.5000 .909 .857 21.5000 .894 .774 22.5000 .894 .726 23.5000 .833 .667 24.5000 .773 .548 25.5000 .682 .440 26.5000 .576 .393 27.5000 .500 .345 28.5000 .364 .286 29.5000 .288 .190 30.5000 .242 .131 31.5000 .167 .107 32.5000 .121 .071 33.5000 .076 .048 34.5000 .076 .024 35.5000 .045 .012 37.0000 .000 .000 The test result variable(s): Ekstraverzija, Neuroticizam, Savjesnost, Ugodnost, Otvorenost has at least one tie between the positive actual state group and the negative actual state group. a. The smallest cutoff value is the minimum observed test value minus 1, and the largest cutoff value is the maximum observed test value plus 1. All the other cutoff values are the averages of two consecutive ordered observed test values. Kao što vidimo, u drugoj koloni su potencijalne granične vrijednosti, u trećoj je senzitivnost otvorenosti, a u četvrtoj ''1-specifičnost'' rezultata na subskali otvorenosti. Da bismo odredili granični rezultat, ''1-specifičnost'' ćemo pretvoriti u specifičnost (oduzimanjem vrijednosti iz kolone 1Specificity od jedinice).8 Potom ćemo analizirati kolonu senzitivnost i novodobijenu kolonu 8 Ovu tabelu studenti mogu prenijeti u MS Excel i izračunati vrijednosti potrebne za dalji tok analize. Mogu to uraditi pregledom novodobijene kolone suma senzitivnosti i specifičnosti, ili odabirom adekvatne funkcije (za identifikovanje maksimalne vrijednosti niza podataka): MAX(number1, number2, ...). 27 IMO, Vol. VI(2014), Broj 11 S.Repišti specifičnost, na način da za svaki rezultat saberemo senzitivnost i specifičnost (pristup koji se koristi npr. u [15]). Tako ćemo dobiti novu kolonu rezultata (sumu Se i Sp). Kako nam je cilj da senzitivnost i specifičnost budu što veće, a ne da jedna bude jako velika, a druga jako mala, za graničnu vrijednost ćemo uzeti onaj rezultat čiji zbir senzitivnosti i specifičnosti bude najveći. U slučaju otvorenosti, to će biti rezultat 25.50, jer je suma Se i Sp ovdje najveća i iznosi 1.242. Senzitivnost vezana za ovaj rezultat je Se = .682, a specifičnost Sp = .560. Ove vrijednosti nisu visoke, s obzirom da je i površina pod ROC krivom za otvorenost bila najmanja (izuzimajući neuroticizam, jer je u njegovom slučaju tumačimo obrnuto) od svih osobina ličnosti (ali, bila je statistički značajna, stoga smo i mogli dalje analizirati ovu varijablu). Svrha optimalnog cut-off skora je da minimizuje broj lažnih pozitivnih i lažnih negativnih slučajeva (ispitanika). U našem primjeru, to je broj pogrešno klasifikovanih osoba kao iznadprosječno optmističnih (LP), kao i broj pogrešno klasifikovanih osoba kao ispodprosječno optimističnih (LN), na osnovu njihovih skorova na subskali otvorenosti. Tako možemo reći da, ukoliko kao graničnu vrijednost odaberemo rezultat 25.50, imaćemo najmanji procenat lažno pozitivnih i lažno negativnih klasifikacija. Drugim riječima, ovaj cut-off skor nam pomaže da izdiferenciramo ispitanike po visokoj i niskoj otvorenosti, preko čega bismo predviđali njihov visoki, odnosno niski optimizam. Cijeli postupak dobija smisao kada napravimo tabelu klasifikacije (Tabela 3.4.4), ukrštajući otvorenost (prije toga smo je dihotomizovali, na sličan način kao i optimizam, s tim što smo ovdje koristili cut-off skor 25.50, te onima koji su imali viši skor pridružili vrijednost 1, a onima sa nižim skorom vrijednost 0) i optimizam (već dihotomizovan, u vidu grupe obilježene 1 i grupe kojoj smi pripisali vrijednost 0). Tabela 3.4.4 Klasifikacioni potencijal otvorenosti i optimizam Otvorenost 0 1 Total Optimizam 0 47 (56.0) 37 (44.0) 84 (56) 1 21 (31.8) 45 (68.2) 66 (44) Total 68 (45.3) 82 (54.7) 150 (100) Kao što možemo očitati iz Tabele 3.4.4 (u zagradi su procenti), od ukupnog broja osoba označenih kao iznadprosječno optimističnih, 68.2% je onih koji takođe imaju visoke rezultate na subskali otvorenosti (dakle, ovo je procenat tačno kolasifikovanih, što se poklapa sa senzitivnošću koja je iznosila Se = .682). Kada pogledamo procenat tačno negativnih (odnosno onih koji u grupi ispodprosječno optimističnih imaju ispodprosječne rezultate i za otvorenost), vidimo da on iznosi 56%, što je u skladu sa prethodnim nalazom da specifičnost iznosi Sp = .560. Dakle, cilj analize ROC krivih je da imamo što veće brojeve (preciznije rečeno, procente, zbog neujednačenosti grupa) u glavnoj dijagonali tablice (dijagonala koja obuhvata ćelije '00' i '11'), a što manje u ćelijama tabele označenim kao '01' i '10'. 4. Alternativne mogućnosti obrade istih podataka Imajući u vidu obilje drugih metoda za obradu podataka, nakon što nastavnik prezentuje kako funkcioniše ROC analiza, trebao bi potaknuti studente da je uporede sa sličnim statističkim procedurama. Naravno, ovdje bi uporedba išla u smjeru povezivanja sa t-testom, regresijskom analizom i diskriminativnom analizom. Studentima se treba pružiti dovoljno informacija o tome kako ove tehnike imaju mnogo toga zajedničkog: 1) T-testom se ispituju razlike između grupa, odnosno između različitih eksperimentalnih uslova/tretmana. U ovom slučaju, važne su nam razlike između grupa, te bi se trebalo obrazložiti kako bi se ovdje moglo provesti pet t-testova, za testiranje razlika između grupe iznadprosječno i ispodprosječno optimističnih, na pet osobina ličnosti. 2) Kada je u pitanju regresija, ovdje bi trebalo primijeniti binarnu logističku regresionu analizu, gdje je optimizam sa svoje dvije kategorije kriterijumska, a osobine ličnosti su prediktorske varijable. 28 IMO, Vol. VI(2014), Broj 11 S.Repišti 3) Diskriminativnom analizom bismo testirali sposobnost osobina ličnosti da razlikuju iznadi ispodprosječno optimistične ispitanike. Vidjeli bismo koja osobina ličnosti najuspješnije pravi razliku između ove dvije grupe, kao i koliko su zajedno uspješne u ovom razlikovanju. 5. Mjesto analize ROC krivih u standardnim kurikulumima iz statistike U velikoj većini silabusa iz nastavnog predmeta statistika, korelacijska analiza i regresija dolaze nakon t-testova i analize varijanse. Autor ovog članka preporučuje da se ROC krive izučavaju nakon regresijske analize, jer se mogu smisleno povezati s njom. Ovu temu ne bi trebalo staviti između analize varijanse i korelacijske analize, zbog sljedećih razloga: 1) ROC analiza ne podrazumijeva uzročno-posljedičnu vezu između varijabli. Ukoliko bi ''došla'' odmah nakon ANOVA-e, postoji mogućnost da bi studenti pomislili kako i u slučaju ROC krivih imamo nezavisne i zavisnu varijablu, što su oznake ulaznih i izlaznih varijabli karakteristični za eksperimentalne nacrte i pretpostavke o kauzalnoj povezanosti među varijablama. 2) Ukoliko se o ROC analizi podučava prije regresione analize, studenti bi vjerovatno bili zbunjeni ulaznim varijablama koje su kontinuiranog/kvantitativnog tipa. Nakon izučavanja regresijske analize, ova nedoumica je puno manje vjerovatna i ROC analiza se samo nadovezuje na prethodno naučeno. Prije samog uvođenja ROC krivih, nastavnicima/saradnicima se preporučuje da upoznaju studente sa konceptima: tačnih pozitivnih, tačnih negativnih, lažno pozitivnih i lažno negativnih rezultata. Nakon toga, treba uvesti pojmove senzitivnosti i specifičnosti, te ''1-specifičnosti''. Najreprezentativniji primjeri za prethodno navedene koncepte su iz medicine. Ako je u pitanju izučavanje statistike na odsjecima za psihologiju, bliski primjeri struci mogu se naći u kliničkoj psihologiji i psihijatriji (ideja o njima može se dobiti iz članka [13]). 6. Zaključak Analiza ROC krivih je jedna od zanemarenih statističkih tehnika u psihologiji, pa i u drugim društvenim naukama. Nije dio standardnih kurikuluma iz nastavnog predmeta statistika, međutim, u radu je predloženo kako je treba uvrstiti u nastavne sadržaje, odnosno kako podučavati o njoj. Studenti trebaju pažljivo proučiti koncepte na kojima se ona zasniva, a tek onda pristupiti njenoj primjeni i pravljenju grafikona i tabela, na osnovu kojih se vrši zaključivanje i interpretacija podataka. Takođe, jako je važno da se senzitivnost i specifičnost povežu sa temom vezanom za testiranje hipoteza (prihvatanje, odnosno odbacivanje hulte hipoteze), jer se na tome zasniva cijela inferencijalna statistika (tj. statistika zaključivanja). Autor ovog rada predlaže da se studenti upoznaju sa člancima u kojima je korišten ovaj tip statističke analize, pokušaju (uz pomoć nastavnika i/ili smaostalno) razumjeti smisao pomenute tehnike i steknu uvid u način prikazivanja i objašnjavanja njenih rezultata. Sam naziv ovih krivih može zavarati studente i buduće istraživače koji će je koristiti, jer njihov naziv aludira na tehniku, elektroniku i informatiku. Međutim, primjena ROC analize je veoma široka i nadamo se da će ovaj članak bar u nekoj mjeri uticati na istraživače da se opredijele za ovakav tip analize. Reference [1] A. K. Akonberg: Understanding diagnostic tests 1: sensitivity, specificity and predictive values, Acta Paediatr, 96(3)(2006), 338-341. [2] E.C. Chang, A. Maydeu-Olivares, & T.J. D'Zurilla: Optimism and pessimism as partially independent constructs: relationship to positive and negative affectivity and psychological well-being, Person. Individ. Diff., 23(3)(1997), 433-440. [3] Č. Dragićević: Statistika za psihologe sa zbirkom zadataka. Beograd, Centar za primenjenu psihologiju, 2005. [4] J. Fan, S. Upadhye, & A. Worster: Understanding receiver operating characteristic (ROC) curves, CJEM, 8(1)(2006), 19-20. 29 IMO, Vol. VI(2014), Broj 11 S.Repišti [5] D. Faraggi & B. Reiser: Estimation of the area under the ROC curve, Statistics in Medicine, 21(20)(2002), 3093-3106. [6] T. Fawcett: An introduction to ROC analysis, Pattern Recognition Letters, 27(8)(2006), 861-874. [7] C. M. Florkowski: Sensitivity, Specificity, Receiver-Operating Characteristic (ROC) Curves and Likelihood Ratios: Communicating the Performance of Diagnostic Tests, Clin Biochem Rev., 29(Suppl 1)(2008), S83-S87. [8] L.Gonçalves, A. Subtil, M. Rosário Oliveira, & P. De Tea Bermudez: ROC curve estimation: An overview, REVSTAT - Statistical journal, 12(1)(2014), 1-20. [9] L. G. Grimm & P. R. Yarnold (Eds.). Reading and Understanding Multivariate Statistics. American Psyhological Association, Washington, 1995. [10] J.F. Hair, W.C. Black, B.J. Babin, R.E. Anderson, & T. Tatham: Multivariate Data Analysis. 6/E, Pearson Education Inc, New Jersey2005. [11] A. Halmi: Multivarijatna analiza u društvenim znanostima. Alinea, Zagreb, 2003. [12] R. Ho: Handbook of Univariate and Multivariate Dana Analysis and Interpretation with SPSS. Chapman and Hall/CRC, Taxlor & Francis Group, LLC, Boca Raton, 2006. [13] B. Janičić i Z. Novović: Procena uspešnosti u klasifikovanju rezultata na osnovu graničnih (cut-off) skorova: receiver operating characteristic curve, Primjenjena psihologija, 4(4)(2011), 335-351. [14] I. Kardum i I. Smojver: Petofaktorski model strukture ličnosti: izbor deskriptora u hrvatskom jeziku, Godišnjak Zavoda za psihologiju (Rijeka), 2(1993), 91-100. [15] A. F. G. Leentjens, F.R.J. Verhey, G.J.L. Luijckx, & J. Troost: The validity of the Beck Depression Inventory as a screening and diagnostic instrument for depression in patients with Parkinson's disease, Movement Disorders, 15(6)(2000), 1221-1224. [16] Z. Novović i B. Janičić: Diskriminativne mogućnosti Hamiltonove skale depresivnosti: ROC analiza, Psihologija, 38(4)(2005), 473-489. [17] Z. Penezić: Skala optimizma i pesimizma (O-P skala). U: K. Lacković-Grgin, A. Proroković, V. Ćubela i Z. Penezić (Ured.): Zbirka psihologijskih skala i upitnika. Sveska 1, Filozofski fakultet, Zadar, 2002, (str. 15-17.) [18] B. Petz: Osnovne statističke metode za nematematičare. Naklada Slap, Jastrebarsko, 2007. [19] S. Repišti: Problem razumijevanja varijance i kovarijance i postupaka njihovog računanja u psihometriji, IMO, IV(2012), Broj 7, 31-43. [20] D. Sharma, U.B. Yadav, & P. Sharma: The concept of sensitivity and specificity in relation to two types of errors and its application in medical research, Journal of Reliability and Statistical Studies, 2(2)(2009), 53-58. [21] J. A. Swets: The Relative Operating Characteristic in Psychology, Science, 182(1973), 990-1000. [22] A. M. Šimundić: Measures of diagnostic accuracy: basic definitions, eHIFCC, 19(4)(2008), (Distupan na internet-adresi: http://www.ifcc.org/ifccfiles/docs/190404200805.pdf) [23] J. Tacq: Multivariate Analysis Techniques in Social Science Research. SAGE Publications, Ltd, London, 1997. [24] G. Trajković, M. Latas i V. Starčević: Dijagonostička efikanost bekovog upitnika za anksioznost, Engrami, 24(2)(2002), 25-34. [25] V. Turjačanin i Đ. Čekrlija: Osnovne statističke metode i tehnike u SPSS-u. Centar za kulturni i socijalni popravak, Banja Luka, 2006. Primljeno u redakciju 17.06.2014. Dostupno na internetu 01.09.2014. 30
© Copyright 2024 Paperzz