Identifikasi Bias Butir dengan Uji DIF pada Winstep

Tujuan penyusunan instrumen tes adalah untuk mengukur kemampuan tertentu dari peserta tes. Dari sejumlah peserta tes tersebut tentu memiliki beragam karakteristik, misal jenis kelamin atau asal daerah.  Sebuah butir soal dikatakan adil jika kemungkinan keberhasilan pada butir soal tersebut adalah sama untuk pengambil tes yang memiliki kemampuan sama dari populasi yang sama tanpa memperhatikan karakteristik mereka.  Namun terkadang suatu soal dikerjakan oleh dua orang yang memiliki kemampuan sama ternyata peluang untuk menjawab benar dari kedua orang tersebut berbeda hanya karena perbedaan karakteristik. Bias butir adalah suatu kondisi tes yang tidak adil, tidak konsisten, dan tercemar oleh faktor-faktor di luar faktor kemampuan yang hendak dites. Butir yang bias mengakibatkan suatu tes bersifat diskriminatif atau memihak pada kelompok tertentu yang penyebabnya dapat ditinjau dari berbagai segi yang sama sekali tidak ada hubungannya dengan faktor kemampuan, seperti jenis kelamin, suku, budaya, wilayah, dan lain-lain (Osterlind, 1983). Sehingga bias suatu tes dapat diartikan sebagai ketakvalidan atau error sistematik dalam mengukur anggota-anggota dari suatu kelompok yang diteliti.

Ada 2 pendekatan dasar statistika untuk mendeteksi bias pada suatu tes. Pendekatan pertama yaitu pendekatan eksternal. Pendekatan eksternal ini menggunakan suatu kriteria diluar dari tes. Pendekatan ini juga dikenal dengan model validitas prediktif untuk mendeteksi bias suatu tes dengan metode regresi. Pendekatan kedua yaitu pendekatan internal. Pendekatan internal ini didasarkan pada Differential Item Functioning (DIF) dari butir-butir tes itu yang secara keseluruhannya tentu akan menggambarkan bias suatu tes secara utuh. Hanya saja DIF ini sensitif terhadap tes yang multidimensional, sehingga hasil uji statistiknya yang signifikan belum tentu menunjukkan butir yang diteliti mengandung bias.  Inilah perbedaan mendasar antara bias butir dan DIF. Untuk mendeteksi DIF sendiri ada dua pendekatan yang digunakan, yakni pendekatan dengan Teori Klasik dan Pendekatan Teori Respon Butir. Tulisan ini akan membahas teknis mengidentifikasi biar butir dengan uji DIF melalui pendekatan Teori Respon Butir (Rasch) menggunakan software Winstep.

Untuk latihan kali ini, script yang sudah kita buat dalam tulisan sebelumnya untuk latihan dapat didownload di sini. Sebelum kita mulai mengalaisis DIF dalam Winstep mari kita cermati terlebih dahulu script kita untuk melihat format label subjek kita. Kita buka script kita dalam notepad dan scrol script ke bagian bawah hingga menemukan format seperti ini.

Tampilan di atas merupakan data yang sudah kita input. Mari kita cermati pada bagian label subjek kita. Kolom 1-3 menunjukkan nomor absen, kolom 4 menunjukkan jenis kelamin (laki-laki – perempuan), dan kolom 5 menunjukkan asal daerah (kota - desa). Sehingga jika kita ingin menguji DIF antar jenis kelamin, target sasaran kita adalah kolom ke-4 sejumlah 1 karakter.

Mari kita mulai analisis di winstep. Jalankan winstep, klik file – open file, kemudian pilih file script kita. Jika file sudah dibuka, silakan tekan enter, kemudian tekan enter lagi, maka winstep akan mulai menganalisis. Jika sudah selesai menganalisis, klik bagian output tables – 30. Item: DIFF,betwee/within. Karena kita hendak melihat apakah ada bias butir antar jenis kelamin, maka pada kolom DIF masukan $S4W1 (pada label subjek kolom ke 4 sejumlah 1 karakter). Untuk menampilkan plot DIF kita, centang bagian display plot.

Jika sudah, tekan OK, lalu pilih label dan kemudian winstep akan mulai menganalisis. Akan ada dua output yang diberikan winstep yakni berupa output hasil analisis statistik dalam format txt dan output plot dalam format excel. Mari kita lihat output dalam format txt terlebih dahulu.

Untuk melihat signifikansi DIF, silakan langsung scroll ke bawah di bagian tabel 30.4. Untuk melihat ada tidaknya item yang DIF, kita lihat probabilitnya. Jika probability  <0,05, maka ada perbedaan yang signifikan antara laki-laki dan perempuan. Dari tampilan di atas terlihat bahwa item nomer 33 memiliki probability sebesar 0,0179 (<0,05), jadi item tersebut teridentifikasi DIF atau terindikasi ada bias butir. Selanjutnya mari kita lihat output plot dari excel.

 Plot ini adalah versi visual dari analisis statistik yang sudah ditampilkan dalam output tabel 30.4. Grafik menunjukan tingkat kesulitan item relatif bagi masing-masing kelompok. Semakin tinggi titik grafik, semakin sulit item tersebut bagi kelompok itu. Terdapat tiga buah kurva berdasarkan jenis kelamin, yakni L (laki-laki), P (perempuan), dan tanda * (bintang) yang menunjukkan nilai rata-ratanya. Dari grafik tersebut secara kasar terlihat bahwa jarak nilai DIF measure antara L dan P yang paling jauh adalah pada item nomer 33. Sedangkan pada item lainnya jarak antara L dan P tidak terlalu jauh. Hal ini menunjukkan pada item 33 perbedaan tingkat kesulitan antara laki-laki dan perempuan berbeda cukup besar. Dalam hal ini perempuan lebih diuntungkan karena item tersebut nampak lebih sulit bagi laki-laki dibandingkan perempuan. Oleh karena itu item nomer 33 ada baiknya ditinjau ulang apakah memang benar item tersebut lebih menguntungkan perempuan dibandingkan laki-laki. Kita bisa mengulangi prosedur tersebut untuk mengidentifikasi apakah ada bias item antara subjek yang berbeda asal daerahnya (desa – kota).

Referensi:

Osterlind, S. J. (1983). Test item bias. Beverly Hills, CA: Sage Publication Inc.