Eurasian Journal of Educational Research

Print ISSN: 1302-597X & e-ISSN: 2528-8911
Onder Kamil TULEK, Ibrahim Alper KOSE
Bir Testin DMF’li Madde İçeren ve DMF’li Maddeden Arındırılmış Formlarının Karşılaştırılması
10.14689/ejer.2019.83.8

Problem Durumu: Bir ölçme aracında bulunması gereken yapısal niteliklerden en önemlisi olarak kabul edilen geçerlik, klasik anlamıyla bir ölçme aracının ölçmek istediği özelliği başka özelliklerle karıştırmadan ölçebilmesi olarak açıklanabilir. Ancak bir testten elde edilen puanların test ile ölçülmek istenen özellik dışında farklı değişkenlerden de etkilenmesi her ne kadar istenmeyen bir durum da olsa pratikte bu durum kaçınılmazdır. Testi alan bireylerin bulunduğu alt grupların da bu değişkenlerden ne derece etkilendiği önemlidir. Değişkenlerin alt grupları farklı biçimlerde etkilemesi ise madde yanlılığına sebep olabilmektedir. Yanlılığının ilk koşulu olan Değişen Madde Fonksiyonunun (DMF’nin) bir maddede bulunması o maddenin, maddeyi yanıtlayan farklı alt gruplardan herhangi birine ya da birkaçına avantaj sağlamasına neden olmaktadır. Bir testin madde ya da maddelerinde DMF’nin bulunabilme ihtimali özellikle sonuçlarına bakarak bireyler hakkında çeşitli kararların alındığı geniş ölçekli sınavlar için ayrıca dikkat edilmesini zorunlu hâle getirmiştir. Öyle ki eğitimin birçok alanında, sıralama ya da seçme amaçlı uygulanan sınavlarda alınan kararlar bireyler için hayati olabilmekte ve bu sınavların niteliği alınan kararların doğruluğuna, isabetli ve yerinde olmasına direkt olarak etki etmektedir. Peki bahsi geçen yanlı maddelerin testten arındırılması bireyler hakkında verilen hayati kararları değiştirmekte midir? Yanlılık üzerine yapılan birçok çalışmada, SBS, TEOG, ÖSS, PISA, ALES, KPSS gibi geniş ölçekli sınavlarda DMF içeren maddeler tespit edilmiştir Ancak geniş ölçekli bu sınavlarda DMF içeren maddelerin testten çıkarılmasının sonuçlar üzerinde nasıl bir etki oluşturduğuna dair; başka bir ifadeyle DMF’li maddelerin testten çıkarılmasıyla yeniden belirlenen sonuçlara göre bireylerin sınavdaki başarı sıralamalarının etkilenip etkilenmediğine dair çalışmalar sınırlı sayıdadır.

Araştırmanın Amacı: Bireyler hakkında hayati kararların alındığı sınavlarda belirli bir gruba avantaj sağlayan maddelerin testte bulunmasının bireyler arasında eşitsizliğe ve adaletsizliğe neden olabileceği düşünülmektedir. Bu nedenle bu maddelerin testten arındırılması gerekli olabilmektedir. Bu düşünceyle gerçekleştirilen araştırmanın amacı bir testin DMF’li madde içeren ve DMF’li maddeden arındırılmış formlarından kestirilen yetenek kestirimlerinin farklı madde sayısı, farklı örneklem büyüklüğü ve farklı DMF oranı koşulları altında karşılaştırmaktır.

Araştırmanın Yöntemi: Araştırma kapsamında araştırmacı tarafından R 3.4.1 paket programı kullanılarak manipüle edilen değişkenlere göre farklı koşullar altında simülasyon çalışmasıyla veri üretimi gerçekleştirilmiştir. Manipüle edilen değişkenler düzeylerine göre örneklem büyüklüğü (n=1000 ve n=2000), madde sayısı (k=40 ve k=60) ve DMF oranı (d=%5 ve d=%10) olarak belirlenmiştir. Değişkenlerin çaprazlanması sonucunda sekiz koşulun her birine uygun olacak şekilde DMF’li madde içeren veriler üretilmiştir. Çeşitli düzeylerde DMF’li maddeler içerecek şekilde verilerinin üretildiği bir testin öncelikle DMF’li maddeler içeriyorken yetenek kestirimleri gerçekleştirilmiştir. Testin DMF’li maddeler içeren hâliyle kestirilen yetenek kestirimlerine θ1 ismi verilerek veriler saklı tutulmuştur.  Ardından bu testte yer alan DMF’li maddeler testten arındırılarak aynı şekilde yetenekler kestirilmiştir.  Testin DMF’li maddeler içermeyen hâliyle kestirilen yetenek kestirimleri ise θ2 şeklinde saklanmıştır. Son olarak da aynı testin θ1 ve θ2 adıyla elde edilmiş olan bu kestirimleri arasındaki ilişkiye bakılmıştır. Bu yetenek kestirimleri ilişkisine göre bireylerin sıralamalarının farklılaşıp farklılaşmadığını tespit etmek amaçlandığı için spearman sıra farkları korelasyon analizi uygulanmıştır.

Araştırmanın Bulguları: Yöntem bölümünde özetlenen bir testin DMF’li madde içeren ve DMF’li maddeden arındırılmış formlarından kestirilen yetenek kestirimlerini (θ1 ve θ2) arasındaki ilişki düzeyine bakmak için gerçekleştirilen spearman sıra farkları korelasyon analizi sonucunda elde edilen katsayıların 0’a yakın olmasından dolayı yetenek kestirimleri arasında pozitif ya da negatif yönlü bir ilişki görülmemiştir. Yetenek kestirimleri arasında ilişki görülmemesi ise bireylerin test sonuçlarındaki sıralamalarının değiştiğini işaret etmektedir. Başka bir ifadeyle test DMF’li maddeden arındırıldıktan sonra bireylerin testteki sıralamaları, bir önceki DMF’li madde içeren test formu sıralamalarına göre farklılaşmıştır. Bu tespit, çeşitli koşulların araştırıldığı tüm alt problemlerde benzer şekilde olmuştur. Başka bir ifadeyle madde sayısının 40 ve 60, örneklem büyüklüğünün 1000 ve 2000, DMF oranın %5 ve %10 olarak çaprazlandığı 8 farklı koşulda da testin DMF’li maddeden arındırılmasının bireylerin sıralamalarını değiştirdiğini belirlenmiştir.

Araştırmanın Sonuçları ve Öneriler: Bu çalışma ile bir testin DMF’li madde içeren ve DMF’li maddeden arındırılmış formlarından kestirilen yetenek kestirimleri arasında ilişki bulunmadığı, başka bir ifadeyle DMF’li maddelerin testten çıkarılmasıyla bireylerin başarı sıralamalarının değiştiği sonucuna ulaşılmıştır. Bir testin DMF’li maddelerden arındırılmasıyla testi alan bireylerin sıralamalarının farklılaşması o testin geçerliğini yani özelliğe sahip olanla olmayanı ayırt etme derecesini problemli hâle getirebilecektir. Öyle ki testte DMF’li madde bulunması testin geçerliğine önemli bir tehdit oluştururken bu maddelerin testten çıkarılmasıyla bireylerin sıralamaları değişiyorsa, yapılan arındırma işleminin önemli bir etkisinin olduğu görülmektedir. Bu durum, gerek ulusal gerekse de uluslar arası düzeyde bireyler hakkında hayati kararların alındığı, sonuçlarına bakılarak seçme ve yerleştirme işlemlerinin gerçekleştirildiği sınavların bireyler arasındaki farklılıkları ölçme derecelerinin sorgulanabilir olduğunu gösterebilmektedir.

Anahtar Kelimeler: Yanlılık, değişen madde fonksiyonu, yetenek kestirimi, arındırma.

34 Görüldü
2019 Sayı 83

Indexed By

 
#
Tamam