Analisis Item Menggunakan Winstep

Tulisan ini merupakan kelanjutan dari tulisan Analisis Rasch Menggunakan Winstep. Tulisan ini akan mencoba mengeksplorasi apa saja yang bisa kita ketahui dari analisis Rasch dengan Winstep. Aplikasi Winstep memberikan banyak sekali output analisis yang dapat kita manfaatkan sesuai kebutuhan kita. Pilihan output itu dapat dilihat di output tables untuk melihat hasil analisis secara umum, output files untuk menyajikan keluaran di file lain seperti excel atau SPSS, dan juga bisa berupa graph untuk menampilkan kurva tes atau item. Winstep juga menyajikan output yang memberikan informasi mengenai item dan juga mengenai responden kita. Kali ini kita akan fokus mengeksplore keluaran winstep yang menganalisis item terlebih dahulu.

Untuk mulai menganalisis, silakan buka winstep kita dan buka script winstep kita dengan cara kli file – open file, kemudian pilih file script kita. Script yang sudah kita buat dalam tulisan sebelumnya untuk latihan dapat didownload di sini. Jika file sudah dibuka, silakan tekan enter, kemudian tekan enter lagi, maka winstep akan mulai menganalisis. Jika sudah selesai menganalisis, klik bagian output tables.

Dari tampilan tersebut banyak sekali pilihan output yang bisa dikeluarkan baik itu yang memberikan informasi terkait item maupun terkait responden (person). Kita mulai saja untuk melihat analisis item kita dengan winstep.

Melihat Peta Item-Person

Salah satu keistimewaan analisis Rasch dengan Winstep adalah adanya peta yang menggambarkan pesebaran kemampuan subjek dan sebaran tingkat kesulitan item dengan skala yang sama. Peta ini disebut Wright Map yang tidak lain adalah peta person-item. Untuk melihat peta item, kita dapat klik output tables – 12. Item: map. Maka akan diperoleh output seperti gambar di bawah.

Pada sisi kiri adalah pesebaran kemampuan subjek, sedangkan pada sisi kanan adalah pesebaran item. Dari peta tersebut dapat diketahui bahwa secara umum soal-soal dalam tes lebih sulit jika dibanding dengan kemampuan subjek. Item yang paling sulit adalah item nomer 38 (i38) yang berada di posisi paling atas. Secara teoritis dengan soal itu tidak akan ada subjek yang punya peluang menjawab benar soal tersebut karena memiliki kemampuan yang lebih rendah dari tingkat kesulitan soal tersebut. Untuk melihat tingkat kesulitan item lebih detail akan diulas di bawah.

Melihat Tingkat kesulitan item

Untuk mengetahui tingka kesulitan item, pada menu di bagian atas kita klik outupt tables, lalu pilih 13. Item:measure. Maka akan keluar output seperti gambar di bawah.

Kalau kita perhatikan, output tersebut sudah diurutkan oleh Winstep berdasarkan tingkat kesulitannya. Item yang memiliki tingkat kesulitan paling tinggi berada di paling atas, sedangkan item yang paling mudah berada di paling bawah. Hal ini juga sama dengan yang ditampilkan dalam peta item yang sudah dibahas di atas. Mari kita bedah satu per-satu tampilan di atas. Entry number menunjukkan urutan kita dalam menginput data. Karena kita menginput data sesuai dengan urutan nomor item, maka entri number disini juga sama dengan nomor item. Hal ini bisa dilihat bahwa entry number sama dengan kolom item di paling kanan. Total score merupakan jumlah penjawab benar pada soal tersebut. Total count adalah jumlah penjawab pada soal tersebut.  Sedangkan measure menunjukkan tingkat kesulitan item kita. Infit-outfit MNSQ dan ZSTD menunjukkan apakah item kita fit sesuai dengan model Rasch. PT-Measure corr merupakan kepanjangan dari Point Measure Correlation, atau hampir sama dengan korelasi point-biserial dalam teori tes klasik. Parameter ini menunjukkan daya diskriminasi ietm. Paduan hal mengenai ini sudah dibahas dalam tulisan mengenai pengenalan Rasch model.

Ada beberapa hal yang perlu kita perhatikan dari output analisis Rasch dengan wisntep ini. Nilai logit (measure) yang tinggi menunjukkan bahwa item tersebut memiliki tingkat kesulitan yang tinggi. Hal ini berkorelasi dengan total score, dimana jumlah penjawab benar yang sedikit dalam total score berkorelasi dengan nilai measure yang semakin tinggi. Data measure item ini juga memiliki skala yang sama. Sebagai contoh item nomer 38 nilai measurenya adalah 1,50 yang hampir dua kali dari item nomer 25 yang nilai measurenya adalah 0,73. Jadi dapat dikatakan item nomer 38 tingkat kesulitannya hampir dua kali dari item nomer 25. Algoritma perhitungan melalui probabilitas odd ratio dan transformasi logit inilah yang dapat menunjukkan secara pasti tingkat kesulitan dalam interval yang sama. Hasil analisis ini tentu akan menghasilkan output yang berbeda lagi jika cara skoring kita diubah dengan mengidentifikasi item missing misalnya karena item missing belum tentu akan di skor 0 (jawaban salah).

Nilai measure ini juga disusun seperti nilai Z dimana nilai biasanya akan berkisar antara -3 sampai +3. Namun nilai dalam hal ini nilai logit diatas 2 atau di bawah -2 sudah bisa dianggap sebagai nilai yang ektstrem. Suminto dan Widhiarso (2015) memberikan panduan dalam menilai item tersebut menjadi empat kategori, yakni:

1. Nilai measure < -1 = item sangat mudah
2. Nilai measure -1 s.d. 0 = item mudah
3. Nilai measure 0 s.d. 1 = item sulit
4. Nilai measure > 1 = item sangat sulit

Tingkat Kesesuaian Item (Item Fit)

Tingkat kesesuaian item ini digunakan untuk melihat ketepatan item dengan model atau item fit. Item fit menjelaskan apakah item soal kita berfungsi normal melakukan pengukuran atau tidak.  Jika ada item yang tidak fit, hal ini mengindikasikan adanya miskonsepsi subjek dalam menjawab soal tersebut. Untuk mengetahui tingka kesulitan item, pada menu di bagian atas kita klik outupt tables, lalu pilih 10. Item:fit order Maka akan keluar output seperti gambar di bawah.

Menurut Boone, Staver, & Yale (2014), nilai outfit means-square, outfit z-standard, dan point measure correlation  adalah kriteria yang digunakan untuk melihat tingkat kesesuaian butir. Jika item tersebut tidak memenuhi kriteria ada baiknnya item tersebut diperbaiki atau diganti. Panduan untuk menilai kriteria kesesuaian butir menurut Boone, et al (2014) adalah sebagai berikut

1. Nilai Outfit Mean Square (MNSQ) yang diterima : 0,5 < MNSQ < 1,5
2. Nilai outfit Z-standard (ZSTD) yang diterima: -2,0 < ZSTD < +2,0
3. Nilai Point Measure Correlation yang diterima: 0,4 < pt measure corr <0,85

Karena point measure correlation pada prinsipnya sama dengan korelasi point-biserial pada teori tes klasik, Alagumalai, Curtis, & Hungi (2005) mengklasifikasikan nilai Point Measure Correlation tersebut menjadi sangat bagus (>0,40), bagus (0,30–0,39), cukup (0,20-0,29), tidak mampu mendiskriminasi (0,00-0,19), dan membutuhkan pemeriksaan terhadap butir (<0,00).

Jika kita lihat pada output tesebut, dapat kita lihat bahwa Winstep sudah mengurutkan item berdasarkan item mana saja yang tidak fit. Item yang tidak fit biasanya ditaruh di urutan paling atas. Seperti pada tampilan contoh di atas, item-item yang ditampilkan memiliki nilai Point Measure Correlation yang rendah meskipun kalau dari kriteria yang lain (outfit means-square dan outfit z-standard) masih memenuhi syarat. Kemputusan untuk memperbaiki, mengganti atau membiarkan soal tetap berada di tangan peneliti atau pembuat soal sesuai dengan telaah kualitas soal secara kualitatif.

Referensi

Alagumalai, S., Curtis, D. D., & Hungi, N. (2005). Applied Rasch Measurement: A Book of Exemplars. Dordrecht: Springer

Boone, W. J., Staver, R. J., & Yale, S. M. (2014). Rasch Analysis in the Human Sciences. London: Springer.

Sumintono, B., & Widhiarso, W. (2015). Aplikasi Pemodelan Rasch pada Assessment Pendidikan. Cimahi: Trim Komunikata.