Can TIMSS Mathematics Assessments be Implemented as a Computerized Adaptive Test?

• Published in: Eğitimde ve psikolojide ölçme ve değerlendirme dergisi Vol. 9; no. 4; pp. 422 - 436
• Main Authors: GOKCE, Semirhan, GLAS, Cees A.W.
• Format: Journal Article
• Language: English
• Published: 28.12.2018
• ISSN: 1309-6575; 1309-6575
• DOI: 10.21031/epod.487351

In recent years, there has been a growing interest and extensive use of computerized adaptive testing (CAT) especially in large-scale assessments. Numerous simulation studies have been conducted on both real and simulated data sets to determine the optimum conditions and develop CAT versions. Being one of the most popular large-scale assessment programs, Trends in International Mathematics and Science Study (TIMSS) has been implemented as paper and pencil tests to monitor student achievement in mathematics and science at fourth and eighth grade levels since 1995. The purpose of this study is to investigate the optimum CAT algorithm for TIMSS eighth grade mathematics assessments. Since Turkey and USA participated in 2007, 2011 and 2015 administrations, their data were combined and then 393 items were calibrated on the same scale by using marginal maximum likelihood estimation method. With this item pool, several scenarios were proposed and tested to determine not only the optimum starting rule, ability estimation method, test termination rule but also the efficiency of exposure control method. The results of the study indicated that estimating abilities with expected a posteriori method after 6 random items, terminating the fixed-length test after 20 items seemed to be the optimum algorithm for TIMSS eighth grade mathematics assessments. Also, it was found that using item exposure control had a prior importance for the effective use of the item pool. This study has some implications for both national and international large-scale test developers in determining the optimum CAT algorithm and its consequences compared with paper and pencil versions.   Son yıllarda, bilgisayar ortamında bireye uyarlanmış testlerin (BOBUT) özellikle geniş ölçekli test uygulamalarında kullanımı yaygın hale gelmiştir. Testte kullanılan maddelerin ve katılımcıların özelliklerine bağlı olarak en uygun bireye uyarlanmış test algoritmasının belirlenebilmesi amacıyla gerçek ya da türetilmiş veri setlerinin kullanıldığı çok sayıda simülasyon çalışması gerçekleştirilmiş ve çalışmalardan elde edilen bulgular sonucunda birçok test gerçek anlamda bilgisayar ortamında bireye uyarlanmış halleriyle uygulanmaya konulmuştur. Geniş ölçekli test uygulamaları dendiğinde ilk akla gelen uygulamalardan biri olan Uluslararası Matematik ve Fen Eğilimleri Araştırması (TIMSS) 1995 yılından itibaren dördüncü ve sekizinci sınıf düzeylerinde matematik ve fen bilimlerindeki öğrenci başarısını izlemek amacıyla kağıt ve kalem testleri kullanılarak gerçekleştirilmektedir. Bu çalışmanın amacı, TIMSS sekizinci sınıf matematik değerlendirmeleri için en uygun BOBUT algoritmasının belirlenmesini sağlamaktır. TIMSS 2007, 2011 ve 2015 uygulamalarına sekizinci sınıf düzeyinde katılan Türkiye ve ABD’ye ait veri setlerinde yer alan 393 madde, marjinal maksimum olabilirlik tahmin yöntemi kullanılarak aynı ölçek üzerinde kalibre edilmiştir. Madde havuzu oluşturulduktan gerçekleştirilen simülasyonlar ile en iyi test başlangıç kuralının, yetenek kestirim yönteminin, test sonlandırma kuralının ve madde kullanım sıklığı kontrolünün belirlenmesi amaçlanmıştır. Araştırma bulguları beklenen sonsal dağılım yetenek kestirim yönteminin kullanıldığı, test başlangıç kuralı olarak rastgele 6 maddenin uygulandığı, test sonlandırma kuralı olarak 20 maddeden oluşan sabit uzunluktaki testlerin kullanıldığı algoritmanın TIMSS sekizinci sınıf matematik değerlendirmeleri için en uygun yapı olduğunu ortaya koymuştur. Bununla birlikte, madde kullanım sıklığı kontrolünün madde havuzunun etkili kullanımında çok önemli bir yere sahip olduğu belirlenmiştir. Bu çalışmanın hem ulusal hem de uluslararası düzeyde uygulanan geniş ölçekli kağıt ve kalem testlerine alternatif olarak geliştirilebilecek BOBUT uygulamalarındaki en uygun algoritmanın belirlenmesi ve geliştirilmesi süreçlerine katkı sağlayacağı düşünülmektedir.