Eurasian Journal of Educational Research

Print ISSN: 1302-597X & e-ISSN: 2528-8911
Hatice INAL, Duygu ANIL
Test Eşitlemede Grup Değişmezliğinin Farklı Simülasyon Koşulları Altında İncelenmesi
10.14689/ejer.2018.78.4

Problem Durumu: Psikometride, bir testin farklı formlarından elde edilen puanların karşılaştırılabilmesini ve birbiri yerine kullanılabilmesini sağlayan puanları dönüştürme süreci eşitleme olarak adlandırılmaktadır. Eşitleme işlemin hatasız olması, gerçekleştirilen test uygulamalarının daha adil olması ve bireylerin geleceği ile ilgili doğru kararlar alınmasında kritik önem arz etmektedir. Başarılı bir eşitleme, bir testin daha kolay formuna alan bireylerin testin daha zor formuna giren bireylere göre haksız bir avantajı olmadığı ve bir testin farklı formlarını alan bireylerin puanlarındaki farklılığın, bireylerin başarı düzeyindeki farklılıktan kaynaklandığı anlamına gelmektedir. Eşitleme sürecinin başarılı bir şekilde yürütülmesi için, başka bir değişle eşitleme süreci yardımı ile farklı formlardan alınan puanların birbiri yerine kullanılabilmesi için eşitlemenin, grup değişmezliği şartının da yer aldığı birtakım şartları karşılanması gerekmektedir. Eşitlemenin grup değişmezliği, farklı ölçekler üzerindeki puanları eşitlemek için kullanılan fonksiyonun alt gruplara bağlı olmamasıyla sağlanır.
Diğer yandan, bir testte yer alan bir maddeye ait performansın farklı alt gruplarda nasıl değiştiğini incelemek için Değişen Madde Fonksiyonu (DMF) kullanılmaktadır. Bundan dolayı parametre kestirimi ya da test eşitleme çalışmasına başlanmadan önce DMF gösteren maddeleri belirlemek ve gerekirse silmek için DMF analizi yürütmek gerekmektedir. Ancak bazı koşullarda iyi yapılandırılmış bir test çok sayıda DMF gösteren madde içerse de testten DMF gösteren maddelerin silinmesi testin yapı geçerliliğinin düşmesine ve yetenek parametre kestirimlerindeki hatanın artmasına neden olur. Ayrıca DMF gösteren maddelerin silinmesi durumunda testin geçersiz olacağı durumlar oluşabilir. Bu nedenle, eşitleme sırasında DMF gösteren maddelerin varlığında da eşitlemeye olan etkisini en aza indirebilecek koşulların incelenmesi önemlidir.
Araştırmanın Amacı: Bu çalışmanın amacı ortak maddelere dayalı olarak yapılan eşitlemelerde, ortak maddelerin DMF göstermesi durumunda; DMF ve örneklem büyüklüğünden oluşturulan çeşitli koşullara göre grup değişmezliği indislerini belirlemek ve elde edilen sonuçları karşılaştırmaktır. Araştırmanın amacı doğrultusunda; ortak maddeler yardımıyla eşitlenmede, DMF ve örneklem büyüklüğü faktörleri altında simülasyon yardımıyla eşitleme açısından en optimum durum belirlenmeye çalışılmıştır. Çalışmada kullanılan simülasyon faktörleri; örneklem büyüklüğü, örneklem büyüklüğü oranı, DMF gösteren maddelerin bulunduğu form, DMF gösteren madde oranı, DMF yönü ve gruplar arası ortalama yetenek farkıdır.
Araştırmanın Yöntemi: Bu araştırmada, belirlenen koşullara göre üretilen simülasyon veriyi kullanarak farklı eşitleme tasarımlarının karşılaştırılması amaçlanmaktadır. Böylece belirlenen koşullar altında eşitleme tasarımı için optimum koşullar incelendiği bu araştırmanın bir simülasyon çalışması niteliği taşımakta olduğu söylenebilir.
Bu araştırmada iki test formunu eşitleyebilmek için “denk gruplarda ortak madde/test deseni” kullanılmıştır. Ortak maddeler, F0 ve F1 arasındaki eşitleme ilişkisini kurmak için kullanılmıştır. Eşitlenecek her bir form %25’si yani 10 tanesi ortak madde olmak üzere ikili puanlanmış 40 maddeden oluşmaktadır.
Verilerin üretilmesinde R programından yararlanılmıştır. Bu çalışmada sonuçların tutarlı ve genellenebilir olabilmesi için her veri seti 100 defa türetilmiştir. Çalışma kapsamında bazı ortak test maddelerinde DMF tanımlamak gerekmektedir. Bu nedenle eşitlenecek olan F0 ve F1 formlarının uygulandığı gruplar, odak grup ve referans grup olarak ikiye ayrılmıştır.
Araştırmanın Bulguları: REMSD grup değişmezliğinin çalışmada ele alınan tüm değişkenlere göre manidar farklılık gösterdiği görülmektedir. Çalışma grubu büyüklüğü arttıkça REMSD grup değişmezliği indisinin manidar olarak azaldığı görülmektedir. Ayrıca, DMF gösteren ortak madde oranı arttıkça ise manidar şekilde REMSD grup değişmezliği indisi de artmaktadır. REMSD grup değişmezliği indisinin DMF gösteren ortak madde oranına göre gösterdiği manidar farklılığın hangi alt gruplar arasında olduğunu belirlemek için yapılan Post Hoc testine göre ise DMF gösteren ortak madde oranı değişkeninin tüm ikili alt grup karşılaştırmalarında manidar fark olduğu belirlenmiştir. REMSD grup değişmezliği, tek yönlü DMF’nin söz konusu olduğu koşullarda iki yönlü DMF’nin söz konusu olduğu koşullara göre manidar olarak daha büyük değer aldığı görülmektedir. Ayrıca gruplar arası yetenek farkının 0 olduğu koşullar, gruplar arası yetenek farkının 1 olduğu koşullara göre daha küçük REMSD değerleri hesaplanmıştır.
Araştırmanın Sonuç ve Önerileri: Bu çalışmada veriler 3 parametreli lojistik modele göre üretilerek eşitleme yapılmıştır. Farklı modellere göre veri üretip farklı çalışmalar oluşturulabilir. Ayrıca, farklı eşitleme desenlerinde ortak maddelerde ya da eşitlenecek testte DMF gösteren maddelerin yer alması durumunda da test eşitlemede grup değişmezliğinin nasıl değiştiği incelenebilir. Diğer yandan, farklı örneklem büyüklükleri için farklı test uzunluklarında farklı eşitleme yöntemleri kullanılarak test eşitlemenin grup değişmezliği araştırılabilir. Bu çalışmada DMF gösteren ortak maddelerin test eşitlemenin grup değişmezliğine etkisi simülasyon verisi kullanılarak gerçekleştirilmiştir. Benzer şekilde gerçek bir veri setinde ya da simülasyon çalışması ile birlikte gerçek veri seti kullanılarak ortak maddelerde DMF görülmesi durumunda test eşitlemenin grup değişmezliğini nasıl etkilediği hususunda bir çalışma yapılması önerilebilir.

Anahtar Kelimeler:
Test eşitleme, grup değişmezliği, simülasyon çalışması, değişen madde fonksiyonu.

218 Görüldü
2018 Sayı 78

Indexed By

 
#
Tamam