5. HAFTA PFS 107 EĞİTİMDE ÖLÇME VE DEĞERLENDİRME Yrd. Doç Dr. Fatma Betül Kurnaz [email protected] KBUZEM Karabük Üniversitesi Uzaktan Eğitim Uygulama ve Araştırma Merkezi PFS 107 ÖLÇME VE DEĞERLENDİRME İçindekiler Standart Hata ........................................................... Hata! Yer işareti tanımlanmamış. Ölçme Aracında Bulunması İstenilen Özellikler .......................................................... 3 Güvenirlik .......................................................................................................................... 3 Güvenirlik Kestirme Yöntemleri ..................................................................................... 4 Kaynakça ............................................................................................................................ 8 KBUZEM Karabük Üniversitesi Uzaktan Eğitim Uygulama ve Araştırma Merkezi 2 PFS 107 ÖLÇME VE DEĞERLENDİRME STANDART HATA Standart hata (Se) ölçme işlemine karışan tesadüfi hatanın miktarını gösterir. Ölçülen özelliğin bireyde ya da nesnede var olan gerçek değeriyle, ölçme sonucunda elde edilen gözlenen değeri arasındaki farkı ifade eder. Standart hata bireyler hakkında geleceğe dönük önemli kararlar alınırken kullanılır. Aşağıdaki formülle hesaplanır. Se: Standart hata Sx: Standart sapma Rx: Güvenirlik katsayısı ÖLÇME ARAÇLARINDA BULUNMASI İSTENEN ÖZELLİKLER Ölçme aracında bulunması istenen üç özellik vardır. Bunlar güvenirlik, geçrlik ve kullanışlılıktır. Bu bölümde güvenirliğin anlamlarına ve güvenrilik kestirme yöntemlerine yer verilecektir. GÜVENİRLİK Güvenrilik, tesadüfi hatalardan aranıklıktır. Güvenirliğin pratikteki anlamı ise birbiri ardına yapılan denemelerden aynı sonucun elde edilmesidir. Bireyin sahip olduğu gerçek puan değerine ulaşabilmek, Se değerinin düşük olmasıdır. Güvenirlik araştırılırken elde edilen korelasyon katsayısı 0 ile 1 arasında bulunur. Güvenirlik 0 ya da 1 olmaz, yani tam çıkmaz. Güvenirliğin yüksek olduğu yorumu yapabilmek için elde edilen korelasyon katsayısının en az 0,70 ve daha büyük olması gerekir. Güvenirliğin anlamı olan bazı önemli kavramlar bulunmaktadır. Bunlar duyarlık, kararlılık, iç tutarlılık ve objektifliktir. Aşağıda bu kavramlara ilişkin bilgi yer almaktadır. KBUZEM Karabük Üniversitesi Uzaktan Eğitim Uygulama ve Araştırma Merkezi 3 PFS 107 ÖLÇME VE DEĞERLENDİRME Güvenirlikle İlgili Temel Kavramlar Duyarlık Kararlılık Ölçme aracının birim aralıklarının küçük olması, bir başka deyişle birim sayısının fazla olmasıdır. Ölçme aracının aynı gruba birden fazla uygulanması sonucunda elde edilen ölçülerin benzer olmasıdır. Objektiflik İçtutarlılık Bireylere ait bir performansın, aynı ya da farklı puanlayıcılar tarafından benzer sonuçlar vermesidir. Bir testi oluşturan maddelerin birbirleriyle uyumlu sonuçlar vermesidir. GÜVENİRLIK KESTİRME YÖNTEMLERİ Test-Tekrar Test Aynı öğrenci grubuna, aynı testin belli aralıklarla iki kez uygulanmasını gerektirir. Ölçülen özelliğin kararlılığı araştırıldığında ya da ölçülen özellikteki değişmenin az olduğu düşünülen durumlarda kullanılması uygundur. Test-tekrar test güvenirliğinde ölçülen özelliğin zamana karşı kararlılığı ve iki uygulamada elde edilen yanıtların tutarlılığı araştırılır. Test-tekrar test yöntemi kullanılırken; iki uygulama arasında geçen zaman öğrencilerin soruları ve yanıtları hatırlayamayacakları kadar uzun, ölçülen özelliğin değişmeyeceği kadar kısa olmalıdır. Bu yöntemde güvenirliği düşüren sebepler ölçülen özelliğin zaman içinde değişmesi, testte yer alan soruların her okumada farklı anlaşılması, uygulama koşullarının değişmesi, iki uygulama arasında geçen zamanın uygun belirlenememesi ya da tesadüfi hatalar olabilir. Paralel (Eşdeğer) Formlar Aynı öğrenci grubuna; soru sayıları, soru türleri, güçlükleri, kapsamları, ölçülen özellik, vb. her bakımdan paralel iki testin aynı gün ya da bir kaç hafta arayla uygulanmasını gerektirir. İki formdan elde edilen ölçüler arasındaki eşdeğerlik katsayısı araştırıldığında kullanılabilir. Ayrıca, ölçme sonuçlarının zaman içindeki kararlığı ve yanıtların tutarlılığını da verir. KBUZEM Karabük Üniversitesi Uzaktan Eğitim Uygulama ve Araştırma Merkezi 4 PFS 107 ÖLÇME VE DEĞERLENDİRME Bu yöntemde güvenirliği düşüren sebepler iki uygulama arasında geçen sürenin çok kısa tutulması ya da formların arka arkaya uygulanması, iki formun birbirine eşdeğer olmaması, formların arka arkaya uygulanması sonucunda birinci uygulamanın ikinci uygulamayı etkilemesi oabilir. Bilişsel alan sınıflamasında daha alt boyutlarda (bilgi, kavrama gibi) paralel sorular yazmak daha kolayken, üst düzey becerileri yoklayan paralel soru hazırlamak daha güçtür. Paralel formlar güvenirliğinde ise, iki formdan elde edilen yanıtların tutarlılığı, iki formun eş değerliliği ve ölçülen özelliğin zamana karşı kararlılığı araştırılır.6 Testi Yarılama Bir test tek oturumda bir grup bireye uygulanır. Test eşit iki parçaya bölünür. Bireylerin birinci yarı ile ikinci yarıdan aldıkları puanların ilişkisi araştırılır. İki yarıya bölünen testin her iki yarısının birbirine paralel olduğu ve ortalamaları ile varyanslarının eşit olduğu varsayılır. Bireylerin testin iki yarısından elde ettikleri puanların korelasyonu eşdeğerlik katsayısı olarak adlandırılır. Testin iç tutarlık katsayısının bir ölçüsüdür. Bu yöntemde testin iki yarısının kapsam bakımından eşitliğinin sağlanamaması, iki yarının güçlüklerinin eşit olmaması, yanıtlayıcının yorgunluğu, sınav ortamı gibi tesadüfi değişkenlerin test boyunca aynı kalmaması güvenirliği düşürebilir. Eşdeğer yarılar güvenirliği kapsam tutarlılığına ilişkin bilgi sağlar. Testteki maddeleri iki yarıya bölerken; eğer bu başarı testi gibi kapsam bakımından farklı maddelerden oluşmuş bir testse tek numaralı maddeler bir yarı, çift numaralı maddeler diğer yarı alacak biçimde ayrılabilir. Test kapsam bakımından farklı maddelerden oluşmuyorsa maddeler tesadüfi çekilerek yarılar oluşturalabilir. Test eşdeğer iki yarıya bölündükten sonra, yarılardan elde edilen puanlar arasındaki korelasyon hesaplanır. Elde edilen bu katsayı yarıların güvenirliğini verir. Testin tümüne ilişkin güvenirlik katsayısı ise 2r /(1+r) formülü ile belirlenir. KBUZEM Karabük Üniversitesi Uzaktan Eğitim Uygulama ve Araştırma Merkezi 5 PFS 107 ÖLÇME VE DEĞERLENDİRME KR 20 ve KR 21 Doğru yanıta “1”, yanlış yanıta “0” puan verilen yani kategorik puanlanan testlerin iç tutarlılığını kestirmede kullanılır. KR 20 ve KR 21 güvenirliği testin içtutarlık katsayısının bir ölçüsüdür. KR 20 iç tutarlılık katsayısı, testte yer alan her bir maddenin madde güçlük indekslerinin bilinmesi ya da hesaplanabilmesi durumunda kullanılır. Madde güçlük indekslerinin bilinmediği ya da hesaplanamadığı durumlarda KR 21 iç tutarlılık katsayısı kullanılır. Bu yöntemde testi yanıtlayan bireylerin %90-95’inin tüm soruları yanıtlaması istenir. KR 21, madde güçlüklerinin eşit olduğu varsayımına dayandığı için, testi oluşturan madde güçlükleri arasındaki farklılıklara duyarlı değildir. Bu nedenle KR 21, KR 20’den düşük çıkma eğilimindedir. KR 20 ve KR 21 güvenirliğinin yüksek çıkması durumunda, testi yanıtlayan grup heterojendir, testi oluşturan maddeler homojendir, madde örnekleminden kaynaklı hata azdır, test tek boyutludur yorumları yapılabilir. Cronbach Alfa Test, ağırlıklı ya da çok kategorili puanlanan maddelere sahipse kullanılır. Likert tipi tutum ölçeklerinin, dereceleme ölçeklerinin ya da ağırlıklı puanlama gerektiren yazılı yoklamaların içtutarlığını hesaplamada kullanılabilir. Cronbach α güvenirliği yüksekse, iç tutarlılık yüksektir. Testi yanıtlayan grup heterojendir, testi oluşturan maddeler homojendir, madde örnekleminden kaynaklı hata azdır, test tek boyutludur. Güvenirliği Etkileyen Faktörler  Açık ve anlaşılır bir dil kullanılması güvenirliği artırır.  Yazım ve imla kurallarına uygunluk güvenirliği artırır.  Soruların öğrenci düzeyine uygunluğu güvenirliği artırır.  Orta güçlükte ve ayırıcı olan sorular güvenirliği artırır. KBUZEM Karabük Üniversitesi Uzaktan Eğitim Uygulama ve Araştırma Merkezi 6 PFS 107 ÖLÇME VE DEĞERLENDİRME  Teste ölçülen özellikle ilgili yeni sorular eklemek belli bir noktaya kadar güvenirliği artırırken; belli bir noktadan sonra yorgunluk, motivasyon kaybı gibi tesadüfi nedenlerle güvenirliği düşürür.  Kişi sayısı arttıkça, grup heterojen olacağından dağılım normalleşir. Ranj, standart sapma, varyans büyür. Ayırıcılık artar. Güvenirlik artar.  Standart hata arttıkça güvenirlik düşer.  Tahminle doğru cevabı bulma olasılığı (şans başarısı) arttıkça güvenirlik düşer.  Kağıdın düzeni, puntosunun büyüklüğü gibi etkenler dikkati etkilerse güvenirlik düşer.  Sınav süresi, soru sayısına ve soruların güçlük düzeylerine uygun olmalıdır.  Sınav ortamı ısı, ışık, ses gibi etkenler bakımından uygun düzenlenmelidir.  Cevaplayıcıların birbirlerinden kopya çekmeleri engellenmelidir.  Sorular kolaydan zora bir sıra izlemelidir.  Puanlayıcıdan kaynaklı dikkatsizlik gibi hatalar önlenmelidir. KBUZEM Karabük Üniversitesi Uzaktan Eğitim Uygulama ve Araştırma Merkezi 7 PFS 107 ÖLÇME VE DEĞERLENDİRME Kaynakça Baykul, Y. (2000). Eğitimde ve Psikolojide Ölçme Klasik Test Teorisi ve Uygulaması. Ankara: ÖSYM Yayınları. Crocker, L ve Algina, J. (1986). Introduction to Classical and Modern Test Theory. Florida: Harcourt Brace Jovanovich College Publishers. Ertürk, S. (1972). Eğitimde Program Geliştirme. Ankara: Yelkentepe Yayınları. Özçelik, D.A. (1998). Ölçme ve Değerlendirme. Ankara: ÖSYM Yayınları. Turgut, F. (1987). Eğitimde Ölçme ve Değerlendirme Metotları. Beşinci Baskı, Ankara: Saydam Matbaacılık. KBUZEM Karabük Üniversitesi Uzaktan Eğitim Uygulama ve Araştırma Merkezi 8