Perubahan yang Paling Signifikan (Most Significant Change Approach) Pemantauan dan evaluasi partisipatif dengan

pendekatan cerita

Disusun untuk ACCESS oleh Paul Boon dari presentasi Rick Davies dan Jess Dart

Mei 2005

MSC: apakah itu?

– Bentuk kualitatif, M&E partisipatif– Berdasarkan pada ‘cerita’ dari

perubahan yang signifikan– Penggunaan indikator (perencanaan)

yang terbatas– Bukan merupakan pendekatan yang

berdiri sendiri, tetapi sebuah tambahan penting pada sebuah Kerangka Kerja M&E

MSC didalam siklus proyek

MSC sebagai monitoring dan evaluasiMonitoring adalah dilakukan terus-

menerus dan cenderung terfokus pada kegiatan dan output

Evaluasi umumnya kurang rutin dan terfokus pada dampak

Oleh karena itu MSC adalah pemantauan dampak – sebenarnya bentuk campuran dari M & E

Maksud dari MSC didalam M&E

Maksud utamanya adalah untuk memfasilitasi perbaikan dengan cara:Memfokuskan arah kerja ke tujuan secara tegas,

sebagai contoh, apa yang benar-benar ingin kita capai dan bagaimana kita akan menghasilkan lebih dari itu?

Menyumbang terhadap evaluasi akhir:Informasi tentang hasil yang tidak diharapkanInformasi prestasi mengenai cerita sukses yang

terbaikDapat memberitahu kriteria yang digunakan untuk

menilai proyek

MSC vs pemantauan kuantitatif

Kuantitatif Terfokus pada

pengukuran Pertanyaan tertutup Tentang

‘pembuktian’ Deduktif Statis Pemindahan tujuan

dapat menjadi sebuah masalah

Proyek keluar

MSC Terfokus pada soal-

jawab Pertanyaan terbuka Tentang

pembelajaran Induktif Dinamis Terfokus pada

perubahan yang obyektif

Konteks masuk

Evaluasi Program berdasar pada Tujuan

Perluasan terhadap

tujuan yang telah

dicapai

Dari sudut pandang staf program + konsultasi

bersama para stakeholder

Program out

change

change

change

change

change

From the viewpoint

of the Participants

change

Context in

MSC: Mengapa muncul?

Banyaknya program pengembangan pedesaan terpadu: – Berurusan dengan ribuan orang, di berbagai

lokasi– Terfokus/Meletakkan tekanan pada

keterlibatan , partisipasi dan kontrol orang. Masalah: Bagaimana cara meringkas

dan melaporkan perkembangan?– Ketika terdapat keberagaman kegiatan,

tidak semua diketahui sebelumnya, belum lagi hasilnya

– Perlu untuk menghargai penilaian orang mengenai apa yang penting bagi mereka

Indikator dan batasan

Empat jenis hasil yang mungkin terjadi :: Yang diharapkan Yang tidak diharapkan

Hasil memiliki arti yang disetujui

1. Disini indikator berguna

2. Sepertinya indikator

tidak mungkin dikembangkan disini

Hasil memiliki arti yang masih

diperdebatkan

3. Disini indikator bisa mungkin

dikembangkan

4. Disini indikator tidak dapat digunakan

Perubahan yang Paling Signifikan

Mengapa cerita?

Orang menyampaikan cerita secara alami Cerita dapat menguraikan kerumitan dan

konteks Orang ingat dengan cerita Cerita dapat membawa pesan yang sulit/

hal-hal yang tidak/sulit dapat didiskusikan Tetapi cerita tidak diketahui akurasi/

kebenarannya

Menggunakan cerita didalam MSC

Pengumpulan cerita + penafsiran bersama secara sistematis = penyampaian cerita dapat secara efektif dipakai/dirancang untuk pemantaunan dan evaluasi yang partisipatif

Prosesnya memiliki hasil yang bermanfaat bagi penggunaan evaluasi

Mendistribusikan cerita kepada para Stakeholders

Pertemuan pemilihan

Daerah 1 Daerah 2 Daerah 3 Daerah 4

orang yang bercerita

Arus cerita

orang yang bercerita orang yang bercerita

Inti dari MSC Sebuah pertanyaan:

– “Menurut pendapat anda, perubahan apakah yang paling signifikan yang terjadi dalam ….selama … bulan”

• [jelaskan perubahan tersebut dan jelaskan mengapa perubahan tersebut signifikan]

Pengulangan pernyataan mengenai pertanyaan sejenis– “Yang manakah dari cerita SC yang anda

kira paling signifikan dibanding lainnya?”• [jelaskan perubahan tersebut dan jelaskan

mengapa perubahan tersebut signifikan]

Bagaimana MSC berbeda?

Para peserta memiliki pilihan mengenai informasi jenis apa yang diambil

Menggunakan data yang bermacam-macam daripada data standar

Informasi dianalisa oleh seluruh para peserta, tidak hanya oleh sebuah unit pusat/pihak luar/….

Subyektifitas digunakan daripada dihindari

MSC: prosesnya1. Menetapkan Topik Perubahan

(Menentukan perubahan yang seperti apa yang ingin dimonitor)

2. Menetapkan masa pelaporan3. Mengumpulkan cerita SC4. Pemilihan cerita SC yang

terkumpul 5. Tanggapan balik terhadap pilihan

yang telah dibuat 6. Verifikasi7. Quantifikasi8. Meta-monitoring dan analisa sekunder9. Merevisi sistem MSC

Tahap 1. Menetapkan “cakupan topik”Apakah cakupan topik itu? Kategori keluasan cerita (seperti bagian

koran: olah raga, keuangan, kesenangan, bisnis, dsb)

Bukan indikator –Tidak dengan tepat ditetapkan

Contoh: – “perubahan didalam kehidupan orang”– “perubahan didalam hubungan dengan

mitra kita”– “perubahan didalam kebijakan

pemerintah mengenai HIV/AIDS

Step 1. Menetapkan Cakupan Topik (ctd)

Berapa jumlah cakupan topiknya? – kurang dari 5

Apakah penentuan cakupan topik wajib? – Tidak

Cakupan topik seharusnya tentang apa? – Tergantung

Siapa yang seharusnya menyusun cakupan topik? - Tergantung

Cakupan Topik- Contoh Oxfam NZ: Dana hibah upaya peningkatan pendapatan

kepada 99 LSM-PNG: 4 lingkup ‘cakupan topik’ perubahan yang dimonitor:

• Perubahan dalam kehidupan perorangan • Perubahan di tingkat masyarakat• Jenis perubahan lainnya• Hal-hal yang dipelajari/Pembelajaran

Program Penyuluhan Perusahaan Susu : 4 ‘cakupan topik’ yang dimonitor:

• Perubahan didalam praktek di peternakan• Perubahan terkait keahlian peternak dalam pembuatan

keputusan • Perubahan didalam kemampuan untuk mendapatkan keuntungan • Jenis perubahan lainnya

Lainnya:• Perubahan didalam partisipasi orang, didalam dinamika

kekuatan, ..• Perubahan didalam keberlanjutan organisasi masyarakat• Jenis perubahan lainnya

Menetapkan cakupan topik…

Tidak penting tetapi:– dapat membantu struktur proses pemilihan– dapat membantu terfokus pada tujuan– mereka berguna dalam memberitahu kita

tentang apakah arti tujuan bagi para peserta Apabila cakupan topik dibiarkan terbuka,

pilihan dari para peserta akan memberikan indikasi kepada kita tentang jenis perubahan yang mereka anggap penting = Cakupan topik jendela terbuka

Jangan lupa: Cakupan topik terkait perubahan negatif

Tahap 2. Menetapkan masa pelaporan

Masa yang digunakan oleh LSM bermacam-macam dari 2-mingguan, hingga bulanan, hingga 3-bulanan dan tahunan.– Yang paling umum adalah tiga bulanan

Keterbatasan waktunya staf merupakan pembatas utama untuk menentukan frekwensi

Tahap 3 – Mengumpulkan cerita

Pertanyaan terbuka kepada para peserta “Menurut pendapat anda, perubahan apakah yang paling signifikan yang terjadi di …selama … bulan?”

Bila secara khusus terkait dengan sebuah proyek, kita tambahkan:

“ …. sebagai sebuah hasil dari proyek?” “ …. sebagai sebuah hasil dari

pelatihan yang anda terima?”Contoh:Lihat 3 bulan terakhir, perubahan apakah yang anda kira paling signifikan didalam kualitas kehidupan orang didalam masyarakat ini??

Tahap 3 – Mengumpulkan ceritaTanggapan Jawaban peserta dalam 2 bagian:

1. deskriptif2. bersifat menjelaskan

Format dasar:– Deskripsi (siapa, apa, dimana, kapan)– Penjelasan (mengapa hal itu signifikan)– Siapakah yang mendokumentasikan cerita

(nama, posisi, lokasi, tanggal)– Pilihan: Rekomendasi

Bagaimana cara mengumpulkan cerita?

Bagaimana cara mendokumentasikan? Wawancara dan mencatatnya Selama diskusi kelompok Pihak penerima manfaat menuliskan sendiri Staf lapangan menuliskan cerita yang tidak diminta

Informasi apa yang disertakan? Siapa, dimana, kapan? Apa yang terjadi? Mengapa signifikan?

Cerita siapa yang dikumpulkan? Pihak penerima manfaat Para mitra staf

Seberapa panjang cerita itu seharusnya? Bentuk pelaporan; lay-out/susunan; …

Bagaimana cara bersikap disaat wawancara?

Persiapkan diri untuk membangun sebuah hubungan sebelum mulai wawancara

Mendengar, mendengar, mendengar Berikan waktu dan ruang pada orang sesuai dan

secepat kemauan mereka Tunjukkan bahwa anda benar-benar

mendengarkan Jaga tubuh anda tetap santai dan terbuka Mencoba untuk menghindari perasaan terpisah

dengan adanya sebuah meja Kembali ke hal yang telah anda pelajari untuk

memastikan kebenarannya Berterimakasih pada orang yang terlibat

Tahap 4. Memilih cerita SC

Banyak kemungkinannya tetapi pada umumnya melibatkan:Membaca ceritanyaMenuju pada keputusan bersama

mengenai hal cerita mana yang dipilihMengadakan sebuah percakapan

mendalam & mendokumentasikan alasan-alasan untuk pilihan

Proses dapat difasilitasi atau tidak difasilitasi

Tahap 4. Memilih cerita SC… Tugas bagi pembaca/pemilih adalah untuk

membaca seluruh cerita dan mengidentifikasi cerita yang paling signifikan dari seluruh cerita SC yang diajukan.

“Menurut pendapat anda, cerita manakah yang menunjukkan perubahan yang paling signifikan”

Lebih baik fokus pada satu cakupan topik dahulu

Perlu untuk memutuskan siapa yang terlibat: pemberi cerita, atasan mereka, kawan mereka,..

Perlu untuk diputuskan apakah menentukan kriteria pemilihan sebelumnya, ataukah membiarkannya muncul melalui diskusi cerita SC

Tahap 4. Memilih cerita SC

S

A G M

B C D E F H I J K L N O P Q R

Tahap 4 – Pemilihan dilakukan oleh siapa?

Cerita direview dan dipilih oleh? – Pemberi cerita/ para peserta– Staf (setiap bulan atau 3-bulan)– Perwakilan daerah (3 atau 6 bulan):

review cerita dari staf yang berbeda– Staf nasional atau Dewan Pengurus (6

bulan – tahunan): review dari cerita terpilih

Memilih cerita - proses Voting tertutup (berikan nomor pada

cerita, selanjutnya dituliskan pada selembar kertas cerita manakah yang menurut anda merupakan cerita MSC)

Diskusi yang difasilitasi: lihat pada semua pilihan dan melalui diskusi menuju ke sebuah keputusan mengenai 1 cerita

Penilaian

(Catatan: Metodologi apapun yang digunakan didalam memilih sebuah cerita, pastikan bahwa semua orang menuliskan alasan terhadap pilihan mereka sehingga nantinya dapat digunakan dan membantu transparansi dari proses).

Memilih cerita SC…

Harus (bukan merupakan pilihan)– Dokumen SC mana yang dipilih – Mengapa dipilih– Proses yang digunakan untuk

melakukan pemilihan •Para peserta•Pilihan mereka

[Subyektifitas menjadi akuntabel melalui transparansi]

Tahap 5. Tanggapan balik

Memberi tanggapan balik adalah bagian dari proses:

kepada pihak pemberi cerita SC, mengenai apa yang dipilih, mengapa dipilih dan proses pemilihan yang digunakan

memungkinkan perluasan fokus dari MSC dilain waktu

faktor yang bersifat motivasi titik terlemah dari seluruh sistem

M&E, termasuk MSC

Tanggapan balik: bagaimana?

Cara yang berbeda untuk memberikan tanggapan balikMelalui staf lainnya, line-manajer, dsbTanggapan balik melalui emailTanggapan balik secara lisanLaporan berkalaLaporan resmi

Tahap 6. Verifikasi cerita SC

2 cara untuk memilih cerita guna di-verifikasi AcakMemverifikasi cerita perubahan yang paling

signifikan

Aspek verifikasiSeberapa akurat faktanya?Seberapa cocok penafsirannya?Apa yang terjadi sejak itu?

Tahap 6. Verifikasi cerita SC

Mengapa?Mendorong adanya disiplin didalam pelaporanMemungkinkan adanya perluasan dan

pembelajaran lebih lanjut

Kapan?Kapan cerita SC pertama kali memasuki

sistemKapan dipilih sebagai MS dari keseluruhan SCKapan cerita SC digunakan secara

umum/terbuka

Tahap 7. Kuantifikasi

Didalam cerita SC– Jumlah orang, kegiatan, dsb yang

terlibat Sebagai tindak-lanjut dari cerita SC

– Berapa banyak kasus lainnya seperti ini diketahui

Didalam meta-monitoring (lihat berikutnya)– Berapa banyak cerita SC yang seperti

ini

Tahap 8. Meta-monitoring & analisa sekunder

Meta-monitoring: menjaga cerita SC tetap terdata (membuat database atau spreadsheet) dan mengorganisir data– termasuk diantaranya: Gender/dari orang yang bercerita Hasil dari proses pemilihan Frekwensi cerita Tema utama dari cerita SC Perubahan didalam jumlah cerita Perubahan didalam prosentase dari cerita yang

negatif Analisa sekunder diakhir masa pelaporan mungkin

diperlukan (fakultatif) dengan cara mengkategorisasikan dan menghitung jenis perubahan yang dilaporkan, dan jenis penjelasan yang diberikan, pada tingkat yang berbeda

Sebuah contoh cerita dapat diverifikasi oleh seorang evaluator eksternal (bila dirasa perlu)

Kegunaan dari cerita yang dipilih

Terkadang lebih dari 100 cerita dikumpulkan dari fasilitator, staf lapangan, dsb.

Cerita yang terpilih disertakan didalam laporan perkembangan; disusun didalam sebuah booklet; dimasukkan didalam laporan berkala; dsb.

Dan juga sebagai tambahan dari pelaporan, cerita digunakan untuk:– Meningkatkan mutu/memperbaiki

perencanaan– Membantu menjelaskan sebuah maksud

kepada seorang petani– Merekrut peserta baru– Membantu menjelaskan sebuah maksud

kepada anggota staf lainnya– PR

….

Tahap 9. Merevisi Sistem MSC

Diperlukan merubah frekwensi pelaporan? Diperlukan merubah definisi dari cakupan

wilayah untuk digunakan? Perlunya untuk merubah orang yang terlibat

didalam pemilihan cerita SC kedalam cakupan wilayah

Perlunya perubahan didalam rancangan proses pemilihan: para peserta & proses yang digunakan

Tanggapan balik dan tindak lanjut

Dimana menggunakan MSC? Bukan sebagai sebuah metode yang

berdiri sendiri Disamping sistem yang berdasarkan

indikator Untuk mengidentifikasi perubahan yang

tidak diharapkan Untuk melibatkan orang didalam

menganalisa perubahan Untuk melibatkan berbagai orang Untuk fokus pada hasil daripada output Sangat baik untuk program yang

partisipatif dengan hasil yang komplek, beragam, & stakeholder yang bermacam-macam

Dampak dari MSC Proses tersebut menciptakan ruang bagi para

stakeholder untuk mencerminkan, untuk memahami perubahan yang komplek

Panitia proyek/ tim pelaksanaan menjadi lebih baik didalam mengkonseptualisasikan dampak

Menyediakan dialog untuk membantu memahami nilai masing-masing

Memfasilitasi dialog yang dinamis yaitu, “apa yang benar-benar ingin anda capai dan bagaimana kita akan lebih daripada itu?” Staf mendapatkan visi bersama secara lebih penuh

Proses tersebut mendorong moral mereka Proses tersebut melihat para petani, staf,

kolaborator duduk bersama dan menafsirkan data kualitatif & penilaian evaluatif