Berapa Jumlah Rater dan Nilai Minimal yang Dapat Diterima pada Uji Validitas Isi?

Salah satu prosedur utama yang digunakan dalam validasi sebuah alat ukur adalah dengan cara validitas isi. Validitas isi ini dilakukan sejak awal penyusunan tes, bukan setelah tes selesai dirancang. Validitas isi terkait dengan apakah item-item dalam tes layak mewakili komponen dari kawasan isi materi yang diukur atau sejauh mana item tersebut  sesuai dengan indikator keperilakuan dari atribut yang diukur (Azwar, 2012). Layak tidaknya suatu item ditentukan oleh hasil penilaian (judgement) yang dilakukan oleh ahli/rater berdasarkan logic. Judgement ini dapat ditingkatkan objektivitasnya jika dilakukan oleh banyak orang.

Seiring berjalannya waktu, muncul metode yang mampu mengkuantifikasikan judgment dari rater ini dalam menilai suatu item, sehingga dapat diketahui berapa indeks validitas isi dari item tersebut. Dua indeks validitas isi yang paling populer dan banyak digunakan dalam skripsi dan tesis adalah indeks validitas isi seperti yang dinyatakan oleh Lawshe dengan CVR dan Aiken dengan indeks Aiken’s V. Kedua indeks ini didasarkan pada hasil penilaian panel ahli sebanyak n orang terhadap suatu item mengenai sejauh mana item tersebut mewakili konstrak. Perhitungan kedua koefisien ini sudah dijelaskan secara mendetail dalam buku Azwar (2012), namun sayangnya buku ini tidak memberikan penjelasan mengenai berapa jumlah rater dan nilai minimal yang dapat diterima dari suatu item. Aiken dan Lawshe menjawab pertanyaan tersebut dalam jurnal mereka. 

Jumlah Rater dan Nilai Minimum Indeks Aiken's V

Aiken dalam jurnalnya berjudul Three Coefficients for Analyzing the Reliability and Validity of Ratings tahun 1985, menjelaskan formula untuk menghitung koefisien validitas Aiken’s V adalah sebagai berikut.

s = r – lo
r = angka yang diberikan penilai
lo = angka penilaian validitas terendah

n = jumlah penilai
c = angka penilaian validitas tertinggi

Sebagai contoh, suatu item dinilai oleh 3 rater dengan skala 1-5 dengan masing-masing nilai dari rater A,B,C adalah 4, 4, 5, maka n=3, c=5, lo=1. 
S rater A = 4-1=3
S rater B = 4-1=3
S rater C= 5-1=4
V=(3+3+4)/[3(5-1)]=0,833
Setelah dilakukan perhitungan dan menghasilkan indeks V, Aiken juga memberikan panduan untuk kita apakah suatu item tersebut diterima atau tidak. Rambu-rambu untuk menilai indeks V tersebut ditampilkan dalam tabel di bawah ini.

Sumber: Aiken, 1985

Kolom pertama tabel tersebut menunjukkan jumlah rater. Untuk jumlah rater yang berbeda, nilai minimum indeks V juga berbeda. Semakin banyak rater, semakin kecil nilai V yang disyaratkan. Dari tabel tersebut terlihat bahwa sebenarnya secara teoritis batas minimal untuk menetapkan jumlah rater adalah dua orang. Meskipun demikian, untuk dapat diterima suatu item harus memperoleh nilai V yang sempurna (1).

Number of categori menunjukkan pilihan skala kita ketika memberikan penilaian ke rater. Apabila kita menyusun skala kita menjadi sangat tidak relevan, ridak relevan, relevan, dan sangat relevan, maka ada empat kategori. Sedangkan tabel juga memberikan dua pilihan nilai p yang ditetapkan. Jika peneliti menetapkan nilai p<0,01 yang artinya mengizikan peluang eror sebesar 1%, maka dilihat baris pertama tiap jumlah rater. Sedangkan jika peneliti menetapkan nilai p<0,05 yang artinya mengizikan peluang eror sebesar 5%, maka dilihat baris kedua tiap jumlah rater.

Sebagai contoh, jika kita menggunakan perhitungan sebelumnya, dimana suatu item dinilai oleh 3 rater dengan 5 pilihan skala dan menghasilkan V=0,83, maka jika kita merujuk pada tabel nilai V minimal yang diterima dengan taraf kesalahan 5% adalah 0,92. Dengan demikian item tersebut belum cukup valid. Namun jika suatu item kita dinilai oleh 15 orang rater dengan 5 pilian kategori dan menghasilkan indeks V sebesar 0,70, maka dengan taraf kesalahan 5% kita dapat menerima item tersebut dan item tersebut dinyatakan valid karena nilai minimal yang disyaratkan adalah 0,67. 

Jumlah Rater dan Nilai Minimum Lawshe’s CVR

Cara lain untuk menilai validitas isi adalah dengan menentukan nilai CVR (Content Validity Ratio). Untuk menentukan CVR, sejumlah Subject Matter Experts (SME) diminta untuk menilai apakah item kita esensi bagi operasionalisasi konstrak teoritik tes. Item yang esensial berarti item tersebut merepresentasikan dengan baik tujuan pengukuran. Lawshe dalam jurnalnya berjudul A Quantitative Approach to Content Validity tahun 1975, mejelaskan formula untuk menentukan nilai CVR adalah sebagai berikut

CVR = (2ne/n) – 1

ne        : banyaknya SME yang menilai suatu item adalah esensial

n          : banyaknya SME yang melakukan penilaian

Setelah dilakukan perhitungan dan menghasilkan CVR, Lawshe juga memberikan panduan untuk kita apakah suatu item tersebut diterima atau tidak. Rambu-rambu untuk menilai CVR tersebut ditampilkan dalam tabel di bawah ini.

Sumber: Lawshe, 1975

Kolom pertama tabel menunjukkan jumlah penilai dan kolom kedua menunjukkan nilai minimal CVR yang diterima. Dari tabel tersebut, terlihat bahwa jumlah penilai minimal yang disarankan adalah 5 orang, dan agar item tersebut diterima, seluruh penilai tersebut harus mengatakan bahwa item adalah esensial.

Sebagai contoh, jika kita memiliki penilai sejumlah 15 orang dan ada 12 penilai yang menyatakan bahwa item kita adalah esensial, maka nilai CVR=(2x12/15)-1 = 0,6. Dengan melihat pada tabel, nilai minimal CVR dengan 15 penilai adalah 0,49, sedangakan nilai CVR kita 0,6, sehingga dapat dikatakan bahwa item kita valid.

Dari kedua jurnal tersebut dapat terlihat bahwa sebenarnya untuk jumlah rater yang disarankan adalah semakin banyak semakin baik karena semakin banyak rater nilai minimum yang diperlukan juga semakin kecil. Namun kualitas rater juga tetap harus dijaga, karena rater seharusnya adalah orang yang benar-benar mengerti tentang konstrak atau tujuan ukur alat ukur. Untuk jurnal referensi dapat didownload di halaman download

Referensi

Aiken, L. R. (1985). Three Coefficients for Analyzing the Reliability and Validity of Ratings. Educational and Psychological Measurement. 45, 131-142

Azwar, S. (2012). Penyusunan Skala Psikologi. Yogyakarta: Pustaka Pelajar

Lawshe, C.H. (1975). A Quantitative Approach to Content Validity. Personnel Psychology. 28(4), 563-575