Dalam setiap program pemberdayaan masyarakat, pertanyaan yang paling sering muncul adalah, apakah program ini berhasil? Sayangnya, jawaban atas pertanyaan tersebut seringkali hanya didasarkan pada jumlah peserta, banyaknya kegiatan, atau besarnya anggaran yang telah terserap. Padahal, ukuran-ukuran itu baru menunjukkan apa yang telah dikerjakan, bukan perubahan yang benar-benar terjadi.
Pengalaman saya mendampingi berbagai kegiatan masyarakat, mulai dari tingkat RT, RW, LPM hingga program pemerintah daerah, menunjukkan bahwa keberhasilan sesungguhnya terlihat ketika masyarakat mulai mengubah cara berpikir, cara bekerja sama, dan cara menyelesaikan persoalannya sendiri. Pilot project harus mampu mengukur perubahan seperti itu.
Sarah Earl, Fred Carden, dan Terry Smutylo dalam buku Outcome Mapping menjelaskan bahwa fokus evaluasi seharusnya diarahkan pada perubahan perilaku. Mereka menulis, “Hasil (outcomes) didefinisikan sebagai perubahan dalam perilaku, hubungan, aktivitas, atau tindakan dari orang-orang, kelompok, dan organisasi yang bekerja sama secara langsung dengan suatu program.”
Dengan kata lain, keberhasilan bukan hanya diukur dari apa yang dilakukan organisasi, tetapi dari apa yang berubah pada masyarakat yang menjadi mitra program.
Pendekatan ini juga mengajarkan kerendahan hati. Tidak semua perubahan sosial dapat diklaim sebagai hasil kerja satu organisasi. Earl dan rekan-rekannya mengingatkan bahwa, “Kompleksitas proses pembangunan membuatnya sangat sulit untuk menilai dampak (terutama bagi lembaga donor eksternal yang mencari atribusi)… Outcome Mapping berfokus pada hasil (outcomes) alih-alih dampak (impact).” Artinya, tugas kita bukan membuktikan bahwa seluruh perubahan terjadi karena program kita, melainkan memahami sejauh mana program memberikan kontribusi terhadap perubahan tersebut.
Cara pandang ini penting agar organisasi tidak sibuk mencari pujian, tetapi lebih fokus memperbesar manfaat yang dirasakan masyarakat.
Menggabungkan Angka dengan Cerita Perubahan
Evaluasi yang baik membutuhkan data. Namun, tidak semua data memiliki makna yang sama. Banyak organisasi terjebak pada apa yang disebut sebagai vanity metrics, yaitu angka-angka yang tampak mengesankan tetapi tidak menggambarkan keberhasilan sesungguhnya.
Ann Mei Chang dalam buku Lean Impact memberikan peringatan yang sangat tegas. Ia mengatakan, “Metrik semu (vanity metrics) telah menyebar ke seluruh sektor sosial seperti penyakit menular… Angka mentah hanya menunjukkan aktivitas, bukan apakah intervensi tersebut efektif.” Oleh karena itu, ia mendorong penggunaan innovation metrics, yaitu ukuran yang menunjukkan efektivitas program, misalnya berapa banyak warga yang benar-benar mengalami perubahan perilaku, berapa biaya yang diperlukan untuk menghasilkan satu perubahan yang berkelanjutan, atau seberapa besar peningkatan partisipasi masyarakat setelah program berjalan.
Selain data kuantitatif, evaluasi juga membutuhkan pendekatan kualitatif. Tidak semua perubahan dapat diterjemahkan menjadi angka. Kepercayaan masyarakat, tumbuhnya kepemimpinan lokal, atau meningkatnya semangat gotong royong sering kali lebih mudah dipahami melalui cerita daripada tabel statistik.
Michael Quinn Patton dalam Developmental Evaluation menjelaskan metode Most Significant Change (MSC). Ia menulis bahwa, “Pemangku kepentingan utama dan peserta program… membuat kesepakatan mengenai ‘domain perubahan’ mana yang akan dipantau melalui cerita-cerita.” Cerita tersebut kemudian dipilih dan didiskusikan bersama untuk memahami perubahan yang paling bermakna.
Ann Mei Chang juga mengingatkan bahwa hal-hal yang tampak tidak berwujud tetap dapat diukur jika kita kreatif. Ia menulis, “Dengan menjadi kreatif, adalah mungkin untuk menemukan indikator awal yang terukur bahkan untuk dampak yang bersifat tidak berwujud (intangible).” Misalnya, tingkat kepercayaan masyarakat dapat dilihat dari kesediaan mereka mengajak tetangga mengikuti program, atau dari meningkatnya jumlah warga yang secara sukarela terlibat dalam kegiatan.
Evaluasi sebagai Alat Belajar dan Pengambilan Keputusan
Dalam pilot project, evaluasi tidak boleh diposisikan sebagai kegiatan penutup. Evaluasi justru harus menjadi bagian dari proses belajar yang berlangsung sejak program dimulai.
Michael Quinn Patton menjelaskan bahwa evaluator sebaiknya tidak hanya hadir pada akhir kegiatan. Menurutnya, “Evaluator adalah bagian dari tim desain yang anggota-anggotanya berkolaborasi untuk mengonsep, merancang, dan menguji pendekatan-pendekatan baru dalam proses pengembangan, adaptasi, dan perubahan yang disengaja dan berkelanjutan.” Ia juga menegaskan bahwa peran evaluator adalah “menjelaskan diskusi tim dengan data dan logika evaluatif, serta memfasilitasi pengambilan keputusan berbasis data dalam proses pengembangan.”
Artinya, hasil evaluasi harus segera digunakan untuk memperbaiki langkah berikutnya. Jika sebuah pendekatan tidak efektif, organisasi tidak perlu mempertahankannya hanya karena sudah terlanjur direncanakan. Sebaliknya, bila ditemukan praktik yang berhasil, pengalaman tersebut dapat diperluas ke wilayah lain.
Dalam proses ini, kita juga perlu menjaga keseimbangan antara data yang dapat dihitung dan nilai-nilai yang hanya bisa dirasakan. Donella H. Meadows dalam Thinking in Systems mengingatkan, “Perhatianlah pada apa yang penting, bukan hanya apa yang dapat dikuantifikasi… Jika kita berpura-pura bahwa sesuatu tidak ada hanya karena sulit untuk dihitung, itu akan menghasilkan model yang cacat.”
Saya meyakini bahwa evaluasi yang baik bukanlah evaluasi yang menghasilkan laporan paling tebal, melainkan evaluasi yang menghasilkan keputusan yang lebih bijaksana. Ketika data kuantitatif dipadukan dengan cerita perubahan, dan angka dipahami bersama pengalaman masyarakat, maka pilot project benar-benar menjadi sarana belajar. Dari sanalah lahir keputusan yang lebih tepat, program yang lebih relevan, dan dampak sosial yang semakin berkelanjutan. (im)
