Diskusi Seputar Try Out Terpakai

Permasalahan try out terpakai atau uji coba terpakai memang masih menjadi perdebatan dalam metodologi penelitian, terutama di bidang ilmu sosial. Apa itu sebenarnya try out terpakai? Sebelumnya, mari kita refresh sejenak terkait dengan langkah-langkah pokok dalam penelitian. Secara garis besar, semua penelitian ilmu sosial akan melalui tahapan ini: 1) identifikasi masalah, 2) menyusun landasan teori dan hipotesis, 3)  menentukan variabel, 4) menyusun instrumen penelitian, 5) sampling, 6) pengambilan data, 7) analisis data, dan 8) menulis laporan.

Dimakah proses try out itu dilakukan? Proses try out dilakukan pada tahap menyusun instrumen penelitian agar instrumen yang kita gunakan dalam pengambilan data sudah teruji validitas dan reliabilitasnya. Lalu apa itu try out terpakai? Try out terpakai adalah ketika data yang kita ambil untuk menguji validitas dan reliabilitas instrumen juga kita gunakan sebagai data penelitian kita. Jadi semisal kita mengambil data 100 subjek untuk menguji instrumen kita, kemudian data 100 subjek ini kita gunakan kembali untuk menguji hipotesis kita setelah dikurangi oleh item-item yang tidak valid. Jadi kita tidak perlu dua kali dalam mengambil data. Mengapa kita melarkukan try out terpakai? Alasan yang paling umum dan paling logis yang dipakai adalah karena keterbatasan jumlah subjek kita. Misalkan kita ingin meneliti tentang penderita AIDS di Yogyakarta. Jika kita harus melakukan dua kali pengambilan data untuk try out instrumen dan pengambilan data penelitian, tentu akan sangat sulit. Alasan lain yang sering dipakai lebih ke alasan yang mengada-ada dan didasari ingin mencari jalan pintas, seperti keterbatasan waktu, keterbatasan dana, dll.  

Lalu bolehkah kita melakukan prosedur ini? Sebenarnya menjawab pertanyaan ini dengan berlandaskan literatur yang kuat akan sangat sulit, karena sedikit sekali referensi buku atau jurnal yang membahas ini. Selama ini boleh atau tidaknya melakukan prosedur ini lebih ditentukan oleh kultur di suatu kampus dan wewenang dari dosen pembimbing dan penguji. Di kampus UGM, sebagian dosen tidak menyarankan prosedur ini, bahkan sebagian melarang keras. Namun di beberapa kampus lain, prosedur ini umum dilakukan. Konon katanya yang menjadi landasan dilakukannya prosedur ini pendapat dari Prof. Sutrisno Hadi (alm). Namun saya sendiri belum membaca langsung artikel beliau yang membahas hal itu. Jadi dalam tulisan diskusi ini, saya coba memberikan pandangan beberapa ahli psikometri dan metodologi terkait prosedur try out terpakai ini.

Bagaimana pendapat ahli saat ini terkait try out terpakai?

Dari tiga ahli yang saya “kepoin” blognya, semuanya tidak menyarankan dilakukannya prosedur ini. Prof. Saifudding Azwar, guru besar Fakultas Psikologi UGM, adalah ahli yang paling keras menentang adanya prosedur try out terpakai ini. Prof. Azwar mengatakan bahwa prosedur try out terpakai ini tidak dikenal dalam metodologi penelitian. Try out terpakai itu adalah mencampuradukan antara tahap persiapan dengan tahap penelitian, biasanya didorong oleh keinginan ambil jalan pintas saja atau oleh ketidaktahuan. Ini jelas prosedur yang tidak bisa dipertanggungjawabkan, mengada-ada dan tidak dikenal dalam literatur formal mengenai metodologi penelitian maupun mengenai konstruksi alat ukur. Demikian pendapat Prof. Azwar dalam blognya yang mungkin hingga sekarang dijadikan landasan mahasiswa skripsi maupu  tesis di UGM, sehingga jarang sekali yang berani melakukan prosedur ini.

Meskipun juga tidak menyarankan, namun pendapat lebih lunak diberikan oleh Pak Agung Santoso (dosen USD) dan Pak Wahyu Widhiarso (dosen UGM).  Pak Agung memandang tryout terpakai bukan praktik yang layak dilakukan, namun demikian mengingat situasi-situasi keterbatasan (khususnya dalam penelitian mahasiswa), tryout terpakai merupakan pilihan terbaik.

Pak Wahyu selain memberikan pandangannya juga memberikan beberapa alternatif solusi. Saya kutip dari blog beliau, Pak Wahyu menjelaskan bahwa respons subjek tidak hanya dipengaruhi oleh butir-butir saja melainkan juga banyak faktor salah satunya banyaknya butir. Jadi pengambilan data ketika try out tidak memenuhi administrasi baku pengukuran dengan menggunakan skala tersebut. Jika subjek penelitian kita sangat jarang, maka kita bisa menggunakan subjek yang memiliki karakteristik sama namun mudah didapatkan. Misalnya kita mau meneliti remaja di lapas, maka try out bisa kita mentryoutkan pada remaja di luar lapas. Jadi, dalam hal ini karakteristik yang sama adalah remajanya. Heterogenitas sampel ini akan meningkatkan reliabilitas pengukuran. Jadi lebih baik gunakan butir yang lebih umum sehingga tidak membatasi respondennya.

Saya sendiri merasa tidak memiliki ilmu yang cukup untuk menolak atau menyetujui pendapat tiga ahli tersebut. Namun jika ketiga ahli tersebut sudah memberikan fatwa bahwa prosedur ini tidak disarankan, maka untuk antisipasi, lebih baik kita mencari alternatif lain, terutama jika kamu kuliah di UGM. Pada dasarnya try out untuk melihat kualitas instrumen dan pengambilan data penelitian adalah dua tahap yang berbeda. Pada penelitian skripsi seperti sudah menjadi template bahwa penelitian yang baik dan unik itu yang instrumennya dibuat sendiri karena itu berarti memberikan usaha yang lebih. Padahal secara metodologi hal itu belum tentu benar. Banyak skripsi dan tesis yang meneliti variabel yang sudah umum diteliti, namun peneliti memaksakan membuat instrumen sendiri agar terlihat unik. Meski begitu, banyak peneliti yang ingin membuat skala lagi dengan memodifikasi skala yang sudah ada. Padahal kalau dicermati di jurnal internasional, jarang sekali peneliti yang membuat instrumen sendiri, kebanyakan justru menggunakan instrmen yang sudah ada dan teruji validitas reliabilitasnya. 

Apakah properti psikometris selalu melekat pada instrumen?

Tidak, validitas dan reliabilitas itu bukan melekat pada instrumen, namun melekat pada pengukuran dan skor. Huck (2009) mengemukakan bahwa estimasi validitas dan reliabilitas pengukuran akan bergantung pada skor yang diperoleh pada satu kelompok. Perubahan pada kelompok pengetesan akan merubah nilai kuantitatif validitas dan reliabilitas. Jadi tidak ada lagi istilah instrumen yang valid dan reliabel, yang ada adalah pengukuran dan skor yang valid dan reliabel.

Jika memang demikian, apakah lantas memang try out terpakai adalah jalan keluar ideal, karena try out terpakai melakukan estimasi pada sampel penelitian yang sesungguhnya. Bahkan justru estimasi ini yang lebih mengambarkan estimasi reliabilitas instrumen pada kelompok sampel, sedangkan estimasi pada sampel try out kurang mengambarkan karena berasal dari kelompok yg berbeda. Pak Wahyu di blognya juga menjawab permasalahan ini, bahwa prosedur psikometri (menyusun alat ukur) dan statistika (menguji hipotesis) adalah berbeda. Salah satu alternatif yang bisa dipakai adalah dengan menggunakan pendekatan Item Response Theory (IRT) dalam validasi alat ukur. Estimasi reliabilitas dengan pendekatan teori klasik memang bersifat sample dependen, artinya akan berbeda-beda tergantung kelompoknya, namun IRT lebih sample independent.

Pak Wahyu juga menyarankan ketika melakukan try out, sampel yang dilibatkan adalah representatif, heterogen dan berjumlah banyak. Jadi, ketika instrumen diberikan pada orang lain, propertinya akan konsisten. Ketidakonsistenan seringkali terjadi karena saat try out, sampelnya kurang representatif, dan bahkan justru berbeda. Namun karena reliabilitas itu terletak pada pengukuran, Jadi setiap pengukuran harus dilaporkan reliabilitasnya.

Lalu bagaimana harus menyikapi hal ini?

Tujuan utama dilakukan try out adalah agar saat kita melakukan pengambilan data, instrumen kita sudah valid dan reliabel. Jika memang sudah banyak penelitian yang menggunakan dan melaporkan validitas dan reliabilitas instrumen variabel yang ingin kita teliti, maka prosedur try out bisa kita lewati dan cukup menggunakan skala dan melaporkan hasil penelitian tentang validitas dan reliabilitas yang sudah ada. Jika di jurnal tidak melampirkan skala yang digunakan, kita bisa berkorespodensi langsung dengan penulisnya karena tiap jurnal biasanya menyertakan alamat email si penulis. Jika memang variabel kita benar-benar baru, barulah kita menyusun sendiri skalanya. Meskipun demikian, estimasi reliabilias pengukuran kita harus tetap dilaporkan karena reliabilitas adalah properti pengukuran.

Alternatif lain menyikapi hal tersebut adalah seperti yang dikatakan Pak Wahyu. Lebih baik membuat item yang lebih umum sehingga tidak membatasi responden untuk try out. Misalkan kita ingin meneliti motivasi berprestasi siswa kelas akselerasi. Jika kita kesulitan menemukan siswa kelas akselerasi di kota kita, maka jangan gunakan item yang sangat spesifik, seperti “saya semangat sekolah karena saya bisa lulus dua tahun”. Hal ini tentu akan membatasi sampel try out kita. Dengan demikian alasan melakukan try out terpakai karena keterbatasan jumlah subjek ini akan gugur karena kita bisa mengujicobakan skala kita kepada siswa kelas reguler, asalkan item yang digunakan tidak terlalu spesifik pada siswa kelas akselerasi. 

Try out sendiri bisa dilakukan di tempat yang sama dengan tempat penelitian kita maupun berbeda. Misalkan kita ingin meneliti siswa di Papua. Jika kita harus datang dua kali kesana untuk try out instrumen dan ambil data, tentu akan memakan banyak biaya. Maka alternatifnya, kita bisa melakukan try out di Jawa. Namun kembali lagi, jangan membuat item yang terlalu spesifik dan sampel yang dilibatkan adalah representatif, heterogen dan berjumlah banyak. Meskipun akan ada perdebatan tentang perbedaan karakteristik siswa di Papua dan di Jawa, tapi prosedur ini masih lebih baik daripada tidak melakukan try out sama sekali, apalagi jika mampu dianalisis menggunakan pendekatan IRT yang sample independent. Atau mungkin teman-teman kalau ada referensi yang lebih kuat baik itu jurnal atau buku terkait prosedur ini boleh saling berbagi.

Blog referensi

http://azwar.staff.ugm.ac.id/tanya-jawab/comment-page-15/

http://psikologistatistik.blogspot.co.id/2010/10/sudah-terbit.html

http://widhiarso.staff.ugm.ac.id/wp/kompilasi-tanya-jawab-bagian-1/