The Role of Evaluator/ Peran Evaluator

Kontributor: Fildzah Izzati Ishmah | Diulas dan disetujui: Umi Hanik | Tanggal: 23 Januari 2023

1. Siapa itu Evaluator

Evaluator merupakan pelaku atau subjek yang melaksanakan suatu proses evaluasi. Seorang evaluator memiliki peran tertentu yang menjadi acuan dalam melaksanakan rangkaian kegiatannya sebagai seorang evaluator.

Seorang evaluator idealnya dapat memfasilitasi seluruh rangkaian proses evaluasi, mulai dari meriviu dan merancang ulang kerangka perubahan program yang akan dievaluasi, menetapkan metodologi yang tepat, menyusun desain, instrumen, strategi pengumpulan data, analisis, serta penyusunan laporan. Setiap evaluator memerlukan pola pikir kritis dan pertimbangan yang cermat tentang bagaimana seluruh proses evaluasi dilakukan, mulai dari awal hingga akhir.

2. Pendalaman mengenai peran dan tanggung jawab evaluator

2.1 Secara khusus, peran evaluator menurut beberapa ahli dijelaskan sebagai berikut:

a. Menurut Scriven, tanggung jawab evaluator selama evaluasi meliputi:

• Evaluator memiliki peran sebagai penyelidik dan seorang penilai (juri). Peran untuk menginvestigasi dan justifikasi tersebut harus didukung dengan kemampuan untuk menggabungkan fakta empiris dan penalaran probative, dalam hal ini tugas evaluator juga memutuskan mana yang baik dan buruk berdasarkan hasil investigasi dan temuannya.
• Peran untuk menginvestigasi dan justifikasi tersebut harus didukung dengan menggabungkan fakta empiris dan penalaran probatif. “Bad is bad and good is good dan itu adalah tugas evaluator untuk memutuskan yang mana” (Scriven, 1986, p.19).
• Menentukan kriteria kemanfaatan dari proses penilaian kebutuhan yang dihasilkan dari informasi tentang tingkat kelayakan, kapasitas, dan kesesuaian dengan upaya pemenuhan kebutuhan.
• Menetapkan standar evaluasi komparatif. Standar tersebut digunakan untuk perbandingan, baik perbandingan dengan tingkat kinerja yang ditetapkan, atau dengan program alternatif.
• Menilai kinerja program. Seorang evaluator idealnya mampu menjawab pertanyaan evaluatif dan non-evaluatif. Untuk itu, evaluator harus mempunyai keterampilan untuk mengumpulkan dan menganalisis bukti atau data baik eksperimental maupun non-eksperimental.
• Mensintesis temuannya menjadi laporan akhir dan memberikan penilaian sumatifnya.

b. Menurut Campbell, peran seorang evaluator meliputi:

• Sebagai ahli metodologi selama evaluasi program

            Idealnya menggunakan metodologi ilmiah untuk merancang penelitian evaluatif yang menghilangkan bias dan menetapkan kesimpulan

            sebab-akibat tentang suatu program dan efek yang menjadi hipotesis evaluasi.

• Bekerja secara independen untuk mengetahui fakta tentang program tersebut.
• Untuk diseminasi temuan evaluasi, seorang evaluator idealnya dapat menulis laporan dengan jujur, minimal untuk komisioner evaluasi meskipun seringkali terdapat batasan untuk dapat melakukannya bagi penyandang dana atau publik langsung.
• Menguji efektifitas dan validitas suatu program yang ada.

c. Menurut Stake, peran seorang evaluator meliputi:

• Mengidentifikasi pengguna hasil evaluasi yang dituju di antara para pemangku kepentingan yang ada.
• Memiliki pemahaman yang baik tentang siapa komisioner evaluasinya dan fokus perhatian evaluasinya.
• Menghabiskan lebih banyak waktu untuk mengamati program dan memberikan penggambaran program yang akurat menggunakan studi kasus.
• Melakukan evaluasi responsif yang memungkinkan akomodasi pertanyaan dan metode evaluasi yang muncul dari pengamatan program.
• Menyajikan temuan evaluasinya hingga mampu memberikan pemahaman maksimal bagi pembaca dan penerima informasi.

2.2 Adapun peran evaluator secara umum meliputi:

• Bersama para fasilitator, manajer evaluasi, dan staff program mengembangkan rencana evaluasi.
• Menyusun laporan bulanan atau triwulanan tentang pelaksanaan evaluasi (tertulis atau secara langsung).
• Menghadiri rapat staf program, dewan penasehat evaluasi atau rapat komite koordinasi.
• Memastikan proses evaluasi memenuhi standar dan etika (misalnya kerahasiaan data) dalam semua fase evaluasi.
• Menulis laporan evaluasi interim (triwulanan, semesteran, tahunan) dan laporan evaluasi akhir.
• Mempresentasikan temuan kepada staf program dan pihak terkait lainnya dalam organisasi
• Melatih kapasitas pengumpul data untuk:

            - Pemilihan peserta/kasus untuk tujuan sampling

            - Menggunakan instrumen pengumpulan data

            - Jaminan kualitas data

• Melaksanakan pengawasan pelaksanaan pendataan meliputi:

            - Mewawancarai staf program dan peserta program

            - Mengembangkan prosedur dan alat manajemen data (misalnya sistem database)

            - Menganalisis data

Referensi:

Better Evaluation. Specify responsibilities of the evaluation manager and the evaluators, Better Evaluation, diakses pada 23 Januari 2023, < https://www.betterevaluation.org/frameworks-guides/managers-guide-evaluation/roles/specify-responsibilities-evaluation-manager-evaluators>

Luo, H 2010, ‘The Role for an Evaluator: A Fundamental Issue for Evaluation of Education and Social Programs’. International Education Studies, Vol. 3, No. 2, hh. 42-45

Patton, M 2018, Principles Focused Evaluation (The Guide), The Guilford Press, New York.