Membaca Output Hasil Analisis Program Quest

Tulisan sebelumnya telah menjelaskan bagaimana cara menganalisis item dengan program Quest, mulai dari membuat data file sampai menjalankan program Quest. Dari hasil analisis dengan Quest kita telah memperoleh empat file output, yakni TPAsh, TPAit, TPAca, TPAtn yang semuanya memiliki format .out. Sekarang kita akan melihat satu per satu file tersebut dan melihat informasi apa yang bisa kita peroleh dari masing-masing file tersebut.

Hasil Analisis Secara Simultan

Hasil analisis secara simultan dapat dilihat pada file TPAsh.out. File ini menyajikan ringkasan statistik analisis item dan analisis subjek kita.

Data di atas merupakan rangkuman statistik item dan subjek kita. Data ini menyajikan mean, SD, mean INFIT dan OUTFIT dan juga reliabilitas baik itu pada item maupun subjek. Dari data tersebut diketahui nilai person reliability adalah 0,51 dan nilai item reliability adalah 0,94. Hal ini menunjukkan bahwa konsistensi jawaban dari subjek kita masih lemah, namun kualitas butir soal dalam instrumen aspek reliabilitasnya cukup baik. Temuan ini serupa dengan yang dihasilkan dari analisis dengan winstep

 

Selain menyajikan data statistik, Quest juga mampu menyajikan peta item dan person. Bagian sebelah kanan merupakan nomor item, sedangkan bagian sebelah kiri adalah pesebaran subjek dimana setiap tanda silang mewakili 50 subjek. Pesebaran item dan subjek disusun dengan skala yang sama sehingga secara umum dapat kita ketahui bahwa soal yang ada memiliki tingkat kesulitan yang lebih tinggi daripada kemampuan subjek. Item nomer 38 merupakan item yang paling sulit, dan secara teoritis tidak ada subjek yang mampu menjawab soal tersebut karena kemampuannya masih di bawah tingkat kesulitan soal tersebut.

Tampilan di atas merupakan distribusi item berdasarkan kecocokannya dengan model. Parameter yang digunakan adalah INFIT MNSQ. Garis putus-putus secara vertikal menandakan rentang nilai INFIT MNSQ yang diterima, yakni antara 0,77 – 1,30 (Adam & Khoo, 1996). Dari gambar tersebut dapat kita ketahui bahwa semua item berada di range nilai yang diterima, sehingga semua item fit dengan model.

Hasil Analisis tentang Item

Hasil analisis tentang item dapat dilihat di dalam file TPAit.out. File ini merupakan versi lengkap dari gambar sebelumnya yang memuat kecocok item dengan model.

Dari gambar di atas dapat diketahui bahwa item nomer 1, dari 185 orang yang menjawab, ada 38 orang yang menjawab dengan benar. Sedangkan angka 0,58 merupatan tingkat kesulitan item (b). Semakin tinggi nilainya, semakin sulit soal tersebut. Untuk nilai b semakin mendekati -2 berarti item tersebut terlalu mudah, begitu juga sebaliknya, semakin mendekati 2 berarti item tersebut terlalu sulit.  Nilai INFIT dan OUTFIT adalah untuk menguji ketepatan item dengan model. Dalam Quest ditetapkan suatu item akan fit dengan model jika nilai INFIT MNSQ berkisar antara 0,77 – 1,33 (Adam & Khoo, 1996). Ada juga yang menggunakan pengujian berdasar nilai INFIT t, yakni menggunakan kisaran antara -2 sampai +2 (Bond & Fox, 2007).

Hasil Analisis Tentang Subjek

Hasil analisis tentang item dapat dilihat di dalam file TPAca.out.

Dari gambar di atas dapat diketahui bahwa subjek nomer 1 (001LK) memiliki skor mentah 13 (jawaban benar 13) dari 40 soal yang dia kerjakan. Estimates merupakan nilai abilitas (θ) setelah dikalibrasikan.  Untuk subjek nomer 1 nilai abilitasnya yaitu -0,82. Semakin tinggi nilai abilitasnya, semakin pintar orang tersebut.  Nilai INFIT dan OUTFIT juga berfungsi sama dengan pada analisis item, yakni untuk menguji ketepatan subjek dengan model. Dalam Quest ditetapkan suatu subjek akan fit dengan model jika nilai INFIT MNSQ berkisar antara 0,77 – 1,33 (Adam & Khoo, 1996). Ada juga yang menggunakan pengujian berdasar nilai INFIT t, yakni menggunakan kisaran antara -2 sampai +2 (Bond & Fox, 2015).

Hasil Analisis tentang Item dengan Teori Klasik

Salah satu kelebihan Quest yaitu mampu menganalisis tes dalam pendekatan modern maupun klasik secara bersamaan. Untuk melihat hasil analisis Teori Tes klasik dapat dilihat pada file TPAtn.out.

Dari gambar di atas kita dapat melihat tiga parameter analisis item pada teori tes klasik, yakni tingkat kesulitan, daya diskriminasi, dan efektivitas distraktor. Pada Quest, tingkat kesulitan dituliskan dalam bentuk persen, bukan proporsi seperti di iteman. Pada contoh di atas item 1 memiliki tingkat kesulitan 20,5% atau 0,20. Hal ini berarti item cukup sulit. Ingat, pada analsis klasik, indeks tingkat kesulitan yang rendah menandakan item yang sulit. Daya diskriminasi item nomer 1 adalah 0,16 (dilihat dari nilai pt-biserial). Hal ini berarti item nomer 1 masih perlu diperbaiki. Untuk melihat efektivitas distraktor, kita lihat presentase subjek dalam memilih opsi yang ada. Pada nomer 1, ternyata semua opsi distraktor dipilih oleh subjek dan pt-biserialnya lebih rendah dari kunci (kunci diberi tanda *). Hal ini menandakan distraktor kita sudah berfungsi dengan baik. Panduan menilai item dari pendekatan teori klasi dapat dibaca ulang disini. Selain tiga parameter teori klasik, output ini juga masih menyajikan hasil analisis tes modern yakni adanya tresholds/nilai logit/tingkat kesulitan Rasch, error, dan INFIT MNSQ.

Selain pada level item, output file ini juga menyajikan informasi mengenai instrumen tes. Dari gambar dapat diketaui tes memiliki nilai mean 13,10 dengan SD 4,09. Reliabilitas internal consistency (Alpha) adalah 0,54 yang berarti tes masih perlu diperbaiki. Di situ juga disebutkan bahwa perhitungan mean, SD, dan Reliabilitas Alpha di kasus ini mengasumsikan jawaban yang kosong diskor sebagai jawaban salah (0).

Referensi

Adam, R.J. & Khoo S.T. (1996). Acer Quest: The Interactive Test Analysis System. Victoria: The Australia Council for Educational Research, 2010, Hlm 1-24

Bond, T. G., & Fox, C. M. (2015). Applying the Rasch Model Fundamental Measurement in the Human Sciences, Third Edition. New York: Routledge

Author : Hanif Akhtar

Mahasiswa PhD di ELTE, Hungaria. Dosen Psikologi di UMM, Indonesia.

Share this

Related Posts