Analisis Item dengan Iteman

Pada artikel sebelumnya telah dibahas parameter yang perlu diperhatikan dalam prosedur analisis item dengan menggunakan Pendekatan Tes Klasik, yakni (1) tingkat kesulitan item, (2) daya diskriminasi item, dan (3) efektivitas distraktor. Secara konseptual ketiga parameter tersebut telah dibahas. Tulisan ini akan menjelaskan prosedur analisis item berdasarkan tiga parameter menggunakan Software Iteman. Iteman merupakan salah satu software analisis butir soal berbasiskan pendekatan teori tes klasik.  Program ini termasuk satu paket program dalam MicroCAT°n yang dikembangkan oleh Assessment Systems Corporation mulai tahun 1982 dan mengalami revisi hingga saat ini. Versi yang paling umum dipakai guru-guru atau dosen kita adalah versi yang masing menggunakan DOS, namun karena versi tersebut sudah tidak kompatibel lagi dengan laptop saya, maka dalam contoh ini versi yang akan digunakan dalam analisis ini adalah Iteman 3.6. Namun pada prinsipnya, file yang digunakan dan script membuat data filenya sama saja.

Menyiapkan data untuk analisis

Program iteman dapat menganalisis file dalam format .txt atau .dat. Untuk menyiapkan data, kita perlu menginput terlebih dahulu jawaban dari subjek kita. Untuk lebih mudah kita bisa menginput di Microsoft Ecxel baru kemudian kita copy ke notepad. Berikut ini contoh data yang akan digunakan dalam analisis kita. Tes yang disajikan adalah tes TPA dengan jumlah soal 45 item.

Gambar di atas adalah file yang akan kita gunakan untuk input ke dalam program iteman untuk dianalisis. Keterangan dari script file input adalah sebagai berikut.

Baris pertama

Kolom 1-3       : jumlah butir soal, maksimal 250 butir (dalam contoh 045)

Kolom 4           : kosong/spasi

Kolom 5           : kode untuk jawaban kosong (dalam contoh “O”)

Kolom 6           : kosong/spasi
Kolom 7       : kode untuk butir yang belum dijawab (dalam contoh “N”)

Kolom 8           : kosong/spasi

Kolom 9-10     : jumlah karakter identitas data siswa (dalam contoh 05)

Baris kedua     : kunci jawaban

Baris ketiga     : jumlah pilihan jawaban (dalam contoh ada soal yang memiliki 4 opsi, ada yang 5 opsi)

Baris keempat : kode Y jika soal ikut dianalisis, kode N jika soal tidak diikutkan dianalisis

Baris kelima dan seterusnya merupakan identitas dan jawaban subjek.

Jika file sudah siap, silakan disimpan dalam format .txt atau .dat. Misalkan dalam analisis ini file disimpan dengan nama TES-TPA.txt. Lokasi penyimpanan file harus satu folder dengan program iteman berada.

Menjalankan Iteman

Untuk mulai menjalankan iteman silakan buka program iteman. Untuk memasukan file script kita, tekan configure, kemudian pada input data file name masukan file TES-TPA.txt kita tadi. Kemudian pada analysis output file nama, silakan buat nama file output kita nanti, bebas, misalkan dalam hal ini nama filenya OUTPUT-TPA.OUT .

Pada tab options, ada beberapa pilihan analisis yang akan dilakukan. Type of corelation merupakan pilihan apakah kita mau mengeluarkan output berupa korelasi point-biserial atau biserial. Pada ability grouping, jika kita menghendaki dikeluarkan output indeks diskriminasi dari kelompok tinggi dan kelompok rendah centang “yes”. Correct for spuriousness merupakan koreksi terhadap efek spurious seperti yang sudah dijelaskan di artikel sebelumnya. Express endorsement merupakan tingkat kesulitan item yang bisa dipilih apakan disajikan dalam bentuk proporsi atau persentase. Jika sudah kita pilih sesuai kebutuhan, lalu tekan ok dan kemudia tekan run analysis atau icon gambar komputer.

Untuk melihat output analisis kita, silakan tekan view output. File output juga bisa kita lihat di folder yang sudah kita tentukan tadi dengan nama file OUTPUT-TPA.OUT.

Membaca Output Iteman

  

Rambu-rambu untuk menilai hasil analisis telah dijelaskan di tulisan sebelumnya. Item nomer 1 mempunyai tingkat kesulitan (prop.correct) 0,13, artinya item ini termasuk item yang sulit karena hanya 13% dari seluruh subjek yang mampu menjawab dengan benar. Item nomor 1 juga memiliki korelasi point-biserial (rpbis) sebesar 0,09 dan indeks diskriminasi sebesar -0,15. Item ini termasuk item yang kurang baik karena tidak mampu membedakan subjek dengan kemampuan tinggi dan rendah.  Iteman juga memberikan rekomendasi seperti yang tertulis di output “CHCEK THE KEY, C was specified, A works better”. Artinya ada kemungkinan kita salah kunci karena ternyata dengan kunci A, korelasi point-biserialnya lebih baik. Pada item nomer 1 semua distraktor berfungsi dengan baik karena semuanya dipilih oleh subjek.

Item nomer 2 mempunyai tingkat kesulitan (prop.correct) 0,74, artinya item ini termasuk item yang mudah karena ada 74% dari seluruh subjek yang mampu menjawab dengan benar. Item nomor 1 juga memiliki korelasi point-biserial (rpbis) sebesar 0,22. Butir yang memiliki daya beda di atas 0,2 menurut Fernandes (1984) sudah dianggap baik, sehingga item tersebut dapat diterima, sedangkan jika menurut Ebel (dalam Azwar, 2015), dengan nilai rpbis=0,22 item ini belum memuaskan dan masih perlu perbaikan. Pada item nomer 2, distraktor C tidak bekerja dengan efektif karena tidak ada subjek yang memilihnya, sehingga pilihan ini perlu direvisi.

Selain memberikan informasi masing-masing item, iteman juga mengeluarkan output berupa rangkuman statistik alat tes kita. Dari output tersebut dapat kita ketahui reliabilitas alpha tes ini 0,778 dengan Standard Error Measurement (SEM) sebesar 2,625. Instrumen yang memiliki reliabilitas Alpha di atas 0,7 menurut Feldt dan Brennan (1989) sudah dianggap reliabel. Sehingga tes ini sudah memenuhi kriteria tersebut. Keterangan statistik lainnya dapat dilihat dari hasil output di atas. 

Untuk mempelajari iteman secara lebih detil, buku user manual iteman versi 3.6 dapat didownload di sini
File input TES-TPA.txt dalam tulisan ini dapat digunakan untuk latihan teman-teman, silakan download di sini

Referensi

Azwar, S. (2015). Konstruksi Tes Kemampuan Kognitif. Yogyakarta: Pustaka Pelajar

Fernandes, H.J.X. (1984). Testing and Measurement. Jakarta: Nasional Education Planing Evaluation and Curriculum Development.

           

Feldt, L. S. & Brennan, R. L. (1989). “Reliability” dalam Linn R. L. (Eds.), Educational Measurement Third Edition. (pp. 105-146). New York: McMillan.