„Wir wollen sicherstellen, dass unsere Arbeit einen echten Unterschied macht.“

Im Interview berichtet WTG-Mitarbeiterin Natascha Pancic über den Arbeitsbereich Monitoring & Evaluation.

Zur Person: Nach langjähriger Tätigkeit als Evaluatorin in Neuseeland betreut Natascha Pancic seit 2017 unser Qualitätsmanagement. Mit ihrer Fachkenntnis im Bereich Monitoring und Evaluation (kurz M&E) unterstützt sie die Planung, Durchführung und Bewertung unserer Projekte und trägt dazu bei, diese nachhaltiger aufzustellen.

Was steckt hinter M&E?

Monitoring (M) ist die systematische Beobachtung der Projekte durch Datenerhebungen, um festzuhalten, ob man die festgelegten Ziele auch erreicht. Evaluation (E) folgt auf die Datenlage des Monitorings. Sie ist eine systematische Bewertung der Relevanz, Effizienz und Effektivität sowie der Qualität und der Wirkung eines Projektes. Monitoring findet laufend, Evaluationen hingegen eher punktuell statt. Gemeinsam erlaubt das M&E einen Blick auf die Entwicklungen und liefert somit auch die Entscheidungsbasis, ob das jeweilige Projekt im Sinne der Nachhaltigkeit Wirkung zeigt.

Liebe Natascha, wann ist der richtige Zeitpunkt für M&E?

Schon vor Beginn eines Projekts wird idealerweise zusammen mit dem Partner die Struktur aufgebaut. Als Arbeitswerkzeug nutzen wir Logik Modelle, die im Grunde visuelle Darstellungen des Projekts sind – mit all den benötigten Ressourcen und Aktivitäten sowie den gewünschten Zielen (kurz-, mittel-, und langfristigen). Dabei wird auch der Projektkontext betrachtet, also die Situation, der Bedarf für das Projekt, Faktoren welche das Projekt beeinflussen können und die unterliegenden Vermutungen für Lösungsansätze. Auf Basis des Logik Modelles wird dann auch das Monitoringkonzept erstellt. Dieses ist darauf ausgelegt, spezifisch jene Information zu sammeln, die uns Auskunft darüber geben, ob Aktivitäten durchgeführt und Zielvorgaben erreicht werden. Merksatz ist dabei immer: „Nicht alles was wichtig ist, kann gemessen werden, und nicht alles, was gemessen wird, ist auch wichtig“.

Wir versuchen mit den Datensammlungen so zielorientiert wie möglich zu sein und dabei damit zu arbeiten, was der Partner auch leisten kann.
Während das Projekt läuft, erhalten wir dann über die Monitoringdaten Auskunft über den Verlauf. Sollte sich abzeichnen, dass Dinge nicht wie erwartet stattfinden (können) oder erwartete Veränderungen nicht eintreffen, können wir zeitnah reagieren und bei Bedarf eine Evaluation durchzuführen.

Nach Abschluss des Projektes oder vor einer Vertragsverlängerung werden die Daten umfangreich besprochen und analysiert, um ein gemeinsames Verständnis über die Bedeutung der Aktivitäten zu gewinnen. Dabei wird rückblickend betrachtet, was getan und erreicht wurde, ob der genutzte Ansatz der richtige war und ob alternative Ansätze die Zukunft des Projektes gestalten sollten. Wir wollen so sicherstellen, dass unsere Arbeit einen echten Unterschied macht.

Die Projekte im Programm TIERÄRZTE WELTWEIT (gemeinsam mit der Welttierschutzstiftung) werden umfangreich durch Monitoring & Evaluation begleitet. Kannst du es uns an einem Beispiel erläutern?

Schon vor Projektbeginn wird gemeinsam mit den Projektmanager*innen und Partnern die Situation im Land besprochen – z.B. wie viele Bildungsinstitutionen mit relevanten Ausbildungsprogrammen und wie viele Studierende es gibt, wie die Ausbildung sich gestaltet und ob Inhalte auch Tierwohl und Tiergesundheit behandeln. All diese Informationen sind wichtig, um einen Überblick über die Situation im Land zu erhalten. Daraufhin wird ein Logik Modell erstellt, um ein gemeinsames Verständnis des Projektes zu entwickeln. Mit Hilfe eines Monitoringkonzeptes wird festgelegt, welche Daten zu welchem Zeitpunkt erhoben werden sollen, wie beispielsweise Anwesenheitslisten der Training-Teilnehmer*innen oder Feedback über Qualität und Nützlichkeit nach dem Training. Am Beispiel Malawi läuft aktuell zudem eine so genannte Needs-Gaps-Analyse (deutsch: Bedarfs-Lücken-Analyse), die uns aufzeigt, welche Bildungslücken im Tierschutzbereich von Teilnehmenden vorherrschen. Zudem werden Absolvent*innen, die vor etwa einem Jahr die Trainings bereits abgeschlossen haben, befragt, inwiefern z.B. das Gelernte in der heute gelebten Praxis der Teilnehmenden noch eine Rolle spielt.

All diese Ergebnisse sind wertvoll: So konnten wir ermitteln, dass sich das Lehrmaterial sehr gut mit den relevanten Themenbereichen deckt – ein Erfolg. Weniger erfreulich war die Erkenntnis, dass ein hoher Anteil der ehemaligen Studierenden trotz erfolgreichem Uniabschluss bis heute keinen Job hat. Grund dafür sei aber der schwierige Arbeitsmarkt in Malawi, weshalb einige bereits weiterführend studieren. In ihrem Alltag wendeten aber fast alle Teilnehmer bereits ihr Wissen intensiv an, zum Beispiel in Gesprächen mit Dorfbewohner*innen über die Bedürfnisse von Tieren.

Hinweis: Eine ausführliche Aufarbeitung der sogenannten Needs-Gaps-Analyse in Malawi (deutsch: Bedafsanalyse) finden Sie hier: https://welttierschutz.org/qualitaetssicherung-bedarfsanalyse-malawi/

Das Jahr 2020 war nun ein Ausnahmejahr. Welche Auswirkungen hatte die Pandemie-Zeit auf die M&E-Arbeit?

Leider mussten geplante Evaluationen vor Ort entweder verschoben oder teilweise virtuell (mit eingeschränkten Möglichkeiten) durchgeführt werden. Zudem konnten geplante Maßnahmen in einigen Projekten nicht durchgeführt werden: Ohne Maßnahmen keine Daten, ohne Daten keine Erkenntnisse. Aber es war zunächst wichtig, dass trotz Einschränkungen Aktivitäten für den Schutz der Tiere überhaupt weitergeführt werden konnten. Hier waren die Kreativität und das Engagement unserer Partner beeindruckend.

Liebe Natascha, herzlichen Dank für den Einblick in deine alltägliche Arbeit.