ABSTRAK
RAHMAWATI: Penyetaraan Skor Tes dan Deteksi Item Parameter Drift
Menggunakan Metode Robust Z yang Dimodifikasi. Disertasi. Yogyakarta:
Program Pascasarjana Universitas Negeri Yogyakarta, 2014.
Studi ini bertujuan untuk: (1) memperbaiki kriteria yang digunakan metode
Robust Z dalam mendeteksi item parameter drift(IPD), (2) mengetahui kelebihan
serta kelemahan hasil modifikasi metode Robust Z, dan (3) mengimplementasikan
hasil modifikasi pada data empirik untuk mengetahui pengaruh IPD terhadap
konsistensi klasifikasi kelulusan.
Penelitian ini merupakan penelitian deskriptif yang mencakup deskripsi proses
modifikasi metode dan deskripsi implementasi hasil modifikasi. Penelitian ini
menggunakan dua jenis data, yaitu: data bangkitan dan data empirik. Data bangkitan
berupa respon 20.000 siswa terhadap 40 butir soal dikotomus dengan memanipulasi 6
variabel berikut: (1) bentuk distribusi kemampuan peserta, (2) perbedaan kemampuan
antar kelompok, (3) jenis drifting, (4) magnitude drifting, (5) panjang set soal anchor,
dan (6) jumlah soal drifting. Setiap kondisi manipulasi direplikasi sejumlah 50 kali
sehingga total digunakan 18.800 dataset pada studi simulasi. Populasi data empirik
adalah siswa peserta ujian nasional SD/MI tahun 2011 pada paket utama baik pada
bidang studi Bahasa Indonesia, matematika, dan IPA. Total digunakan 41 paket tes
untuk setiap bidang studi dan respon dari 4.187.444 peserta ujian. Modifikasi metode
Robust Z digunakan untuk mendeteksi IPD dan mendapatkan konstanta penskalaan.
Konsistensi klasifikasi kelulusan dianalisis dengan menggunakan metode penyetaraan
IRT true score.
Hasil penelitian menunjukkan: (1) kriteria selisih 0,5 rawscore pada test
characteristic curve menghasilkan konsistensi kelulusan 100%, (2) akurasi metode
Robust Z modifikasi baik untuk mendeteksi drifting tingkat kesukaran dan drifting
campuran pada kondisi jumlah soal anchor minimal 25% namun tidak akurat pada
kondisi jumlah soal IPD 40% dari total soal anchor, (3) IPD yang muncul pada tes
UN SD/MI 2011 berpengaruh terhadap status kelulusan lebih dari 2000 siswa peserta
ujian. Hasil deteksi IPD dapat digunakan sebagai indikator perbedaan hasil
pembelajaran antar wilayah.
Kata Kunci: Metode Robust Z, Item Parameter Drift, Penyetaraan IRT True Score
ABSTRACT
RAHMAWATI: Equating Score and Detecting Item Parameter Drift Using the
Modified Robust Z Method. Dissertation. Yogyakarta: Graduate School,
Yogyakarta State University, 2014.
This study aims at: (1) revising the criterion used in Robust Z Method for
detecting item parameter drift (IPD), (2) identifying the strengths and weaknesses of
the modified Robust Z Method, and (3) implementing the modified method on
empirical data in order to investigate the effect of IPD on examinees’ classification
consistency.
This study was a descriptive research which described the modification
process and results of the modification implementation. This study used two types of
data: simulated data and empirical data. The simulated data were in the form of
responses of 20,000 students on 40 dichotomous items generated by simulating six
variables including: (1) ability distribution, (2) differences of ability between groups,
(3) type of drifting, (4) magnitude of drifting, (5) anchor test length, and (6) number
of drifting items. Each condition was replicated 50 times and thus resulted in 18,800
datasets for the simulation study. The population of the empirical data was examinees
of UN SD/MI 2011 who administered the main test of Indonesian language,
mathematics, and science. In total, 41 test forms for each subject were used and
4,187,444 students responses were analyzed. Modified Robust Z method was used to
detect IPD and the IRT true score equating method was used to analyze the
classification consistency.
The results of this study show that: (1) the criterion of 0.5 poin raw score TCC
difference leads to 100% consistency on passing classification, (2) the modified
Robust Z is accurate to detect the item difficulty drifting and mixed drifting when the
minimal length of anchor test is 25%, but less accurate to detect IPD when the
number of IPD is 40% of the anchor test’s length, (3) IPD occurring in on empirical
data affected the passing status of more than 2,000 students. In addition, IPD
detection results on empirical data can be used as an indicator of differences of
opportunity to learn accross provinces.
Keywords: Robust Z Method, Item Parameter Drift, IRT True Score Equating