Estimasi Reliabilitas Antar Rater (Interrater Reliability) dengan SPSS

Dalam proses uji reliabilitas alat ukur, pendekatan konsistensi internal dengan koefisien Alpha Cronbach menjadi koefisien reliabilitas yang menjadi yang paling populer. Pendekatan ini cocok digunakan untuk alat ukur yang sifatnya self repport, sehingga reliabilitas dimaknai sebagai konsistensi jawaban dari responden terhadap item-item dalam alat ukur. Pendekatan lain yang menggunakan prinsip berbeda adalah reliabilitas antar rater. Pendekatan ini dipakai untuk menilai kesepakatan antar rater dalam menilai suatu individu. Dengan demikian reliabilitas tersebut melekat pada skor yang diberikan, bukan pada alat ukurnya. Misalkan dalam suatu kompetisi lompat indah, dua juri menilai seberapa indah lompatan atlet tersebut. Jika kedua juri tersebut memiliki penilaian yang hampir sama, maka ada kesepakatan penilaian, yang berarti reliabilitasnya tinggi. Namun sebaliknya, jika juri pertama menilai lompatannya sangat indah sedangkan juri kedua menilai lompatannya biasa saja, maka tidak ada kesepakatan.

Ada dua teknik untuk estimasi reliabilitas antar rater yang dapat digunakan, yakni dengan koefisien Kappa dari Cohen dan Intraclass Correlation Coefficients (ICC).

Koefisien kappa cocok digunakan saat:

-       Rater yang dipakai hanya dua rater

-       Skor hasil penilaiannya bersifat kategori dan hanya dua kategori

Intraclass Correlation Coefficients (ICC) cocok digunakan saat:

-       Rater yang dipakai banyak, lebih dari dua

-       Skor hasil penilaiannya bersifat kontinum

Estimasi reliabilitas antar rater dengan Koefisien Kappa

Contoh kasus

Dua orang Psikolog (yang berperan sebagai rater) menilai 10 orang di kelas apakah mereka mengalami gangguan konsetrasi atau tidak. Cara kedua rater menilai adalah dengan memberi skor 1 jika mengalami gangguan konsentrasi, dan 0 jika tidak mengalami. Peneliti hendak mencari seberapa jauh kesamaan rater dalam menilai gangguan konsentrasi yang muncul. Data yang diperoleh adalah sebagai berikut

Siswa	Rater1	Rater2
A	1	1
B	1	1
C	0	0
D	1	1
E	1	1
F	0	1
G	0	0
H	0	0
I	1	1
J	0	0

Analisis Koefisien Kappa dengan SPSS

Untuk mengestimasi koefisien Kappa di SPSS, ikuti langkah berikut:

1.    Tekan Analyze – descriptive statistics – crosstab

2.    Masukkan variabel “rater1” pada rows dan “rater2” pada coloumn(s)

3.    Masuk ke menu statistics, lalu centang menu kappa - tekan Continue

4.    Masuk ke menu Cells, lalu pilih menu Total di bawah Percentages - tekan Continue

5.    Klik OK

Interpretasi Ouput

Tabel pertama memperlihatkan konsistensi penilaian antar rater. Terlihat bahwa dari 10 orang yang dinilai, terdapat 9 orang yang dinilai konsisten, yakni 4 orang sama-sama dinilai tidak mengalami gangguan konsentrasi dan 5 orang sama-sama dinilai mengalami gangguan. Hanya 1 orang yang dinilai berbeda, rater1 menilai tidak ada gangguan sedangkan rater2 menilai ada gangguan.

Tabel kedua menunjukkan Reliabilitas antar rater, yaitu K=0,800. Ayimptotic standardized error menunjukkan kesalahan pengukuran terstandar, yakni semakin kecil semakin reliabel.

Menurut Fleiss (1975) kategori nilai kappa adalah sebagai berikut :

k < 0.40 poor agreement

0.40 < k < 0.75 good, and

k > 0.75 excellent agreement.

Estimasi reliabilitas antar rater dengan Intraclass Correlation Coefficients (ICC)

Contoh kasus

Empat orang observer diminta untuk menilai tingkat keaktifan pada 10 siswa di dalam kelas. Skor yang diberikan observer berkisar antara 1-5. Skor 1 menunjukkan tidak aktif sama sekali, sementara skor 5 menunjukkan siswa sangat aktif. Peneliti hendak mencari seberapa jauh kesepakatan rater dalam menilai keaktifan siswa. Data yang diperoleh adalah sebagai berikut

Siswa	Rater1	Rater2	Rater3	Rater4
A	1	1	2	1
B	2	2	2	3
C	3	3	3	3
D	4	4	4	4
E	5	5	5	5
F	4	4	4	4
G	3	3	3	3
H	2	2	2	2
I	1	2	1	1
J	3	2	2	2

Analisis Intraclass Correlation Coefficients dengan SPSS

Untuk mengestimasi Intraclass Correlation Coefficients di SPSS, ikuti langkah berikut:

1.    Pilih Menu Analyze – Scale - Reliability Analysis

2.    Masukkan variabel Rater1, Rater2, Rater3, dan Rater4 ke dalam kotak Item

3.    Pilih Statistics

4.    Pilih kotak F-test dan centang Intraclass Correlation Coefficients

5.    Pilihlah jenis analisis sesuai dengan default SPSS, yaitu Two Way Mixed dan Consistency dengan Confidence Interval 95%

Interpretasi Ouput

Tabel pertama menunjukkan output jika diestimasi dengan menggunakan koefisien Alpha. Tabel menunjukkan reliabilitas Alpha yang memuaskan, yakni 0,982.

Tabel kedua adalah keluaran analisis melalui ANOVA. Dari output tersebut menunjukkan tidak adanya perbedaan penilaian antar rater (p> 0,05)

Tabel ketiga menunjukkan output ICC dengan reliabilitas antar rater yang cukup memuaskan, yakni rxx = 0,932

Referensi

Fleiss, J. L. (1975). Measuring Agreement between Two Judges on the Presence or Absence of a Trait. Biometrics, 31(3), 651 ‐ 659.