„Wir wollen sicherstellen, dass unsere Arbeit einen echten Unterschied macht.“

Im Interview berichtet WTG-Mitarbeiterin Natascha Pancic über den Arbeitsbereich Monitoring & Evaluation. 

Zur Person: Nach langjähriger Tätigkeit als Evaluatorin in Neuseeland betreut Natascha Pancic seit 2017 unser Qualitätsmanagement. Mit ihrer Fachkenntnis im Bereich Monitoring und Evaluation (kurz M&E) unterstützt sie die Planung, Durchführung und Bewertung unserer Projekte und trägt dazu bei, diese nachhaltiger aufzustellen.

Was steckt hinter M&E?

Monitoring (M) ist die systematische Beobachtung der Projekte durch Datenerhebungen, um festzuhalten, ob man die festgelegten Ziele auch erreicht. Evaluation (E) folgt auf die Datenlage des Monitorings. Sie ist eine systematische Bewertung der Relevanz, Effizienz und Effektivität sowie der Qualität und der Wirkung eines Projektes. Monitoring findet laufend, Evaluationen hingegen eher punktuell statt. Gemeinsam erlaubt das M&E einen Blick auf die Entwicklungen und liefert somit auch die Entscheidungsbasis, ob das jeweilige Projekt im Sinne der Nachhaltigkeit Wirkung zeigt.

Liebe Natascha, wann ist der richtige Zeitpunkt für M&E?

Schon vor Beginn eines Projekts wird idealerweise zusammen mit dem Partner die Struktur aufgebaut. Als Arbeitswerkzeug nutzen wir Logik Modelle, die im Grunde visuelle Darstellungen des Projekts sind – mit all den benötigten Ressourcen und Aktivitäten sowie den gewünschten Zielen (kurz-, mittel-, und langfristigen). Dabei wird auch der Projektkontext betrachtet, also die Situation, der Bedarf für das Projekt, Faktoren welche das Projekt beeinflussen können und die unterliegenden Vermutungen für Lösungsansätze. Auf Basis des Logik Modelles wird dann auch das Monitoringkonzept erstellt. Dieses ist darauf ausgelegt, spezifisch jene Information zu sammeln, die uns Auskunft darüber geben, ob Aktivitäten durchgeführt und Zielvorgaben erreicht werden. Merksatz ist dabei immer: „Nicht alles was wichtig ist, kann gemessen werden, und nicht alles, was gemessen wird, ist auch wichtig“.

Wir versuchen mit den Datensammlungen so zielorientiert wie möglich zu sein und dabei damit zu arbeiten, was der Partner auch leisten kann.
Während das Projekt läuft, erhalten wir dann über die Monitoringdaten Auskunft über den Verlauf. Sollte sich abzeichnen, dass Dinge nicht wie erwartet stattfinden (können) oder erwartete Veränderungen nicht eintreffen, können wir zeitnah reagieren und bei Bedarf eine Evaluation durchzuführen.

Nach Abschluss des Projektes oder vor einer Vertragsverlängerung werden die Daten umfangreich besprochen und analysiert, um ein gemeinsames Verständnis über die Bedeutung der Aktivitäten zu gewinnen. Dabei wird rückblickend betrachtet, was getan und erreicht wurde, ob der genutzte Ansatz der richtige war und ob alternative Ansätze die Zukunft des Projektes gestalten sollten. Wir wollen so sicherstellen, dass unsere Arbeit einen echten Unterschied macht.

Die Projekte im Programm TIERÄRZTE WELTWEIT (gemeinsam mit der Welttierschutzstiftung) werden umfangreich durch Monitoring & Evaluation begleitet. Kannst du es uns an einem Beispiel erläutern?

Schon vor Projektbeginn wird gemeinsam mit den Projektmanager*innen und Partnern die Situation im Land besprochen – z.B. wie viele Bildungsinstitutionen mit relevanten Ausbildungsprogrammen und wie viele Studierende es gibt, wie die Ausbildung sich gestaltet und ob Inhalte auch Tierwohl und Tiergesundheit behandeln. All diese Informationen sind wichtig, um einen Überblick über die Situation im Land zu erhalten. Daraufhin wird ein Logik Modell erstellt, um ein gemeinsames Verständnis des Projektes zu entwickeln. Mit Hilfe eines Monitoringkonzeptes wird festgelegt, welche Daten zu welchem Zeitpunkt erhoben werden sollen, wie beispielsweise Anwesenheitslisten der Training-Teilnehmer*innen oder Feedback über Qualität und Nützlichkeit nach dem Training. Am Beispiel Malawi läuft aktuell zudem eine so genannte Needs-Gaps-Analyse (deutsch: Bedarfs-Lücken-Analyse), die uns aufzeigt, welche Bildungslücken im Tierschutzbereich von Teilnehmenden vorherrschen. Zudem werden Absolvent*innen, die vor etwa einem Jahr die Trainings bereits abgeschlossen haben, befragt, inwiefern z.B. das Gelernte in der heute gelebten Praxis der Teilnehmenden noch eine Rolle spielt.

All diese Ergebnisse sind wertvoll: So konnten wir ermitteln, dass sich das Lehrmaterial sehr gut mit den relevanten Themenbereichen deckt – ein Erfolg. Weniger erfreulich war die Erkenntnis, dass ein hoher Anteil der ehemaligen Studierenden trotz erfolgreichem Uniabschluss bis heute keinen Job hat. Grund dafür sei aber der schwierige Arbeitsmarkt in Malawi, weshalb einige bereits weiterführend studieren. In ihrem Alltag wendeten aber fast alle Teilnehmer bereits ihr Wissen intensiv an, zum Beispiel in Gesprächen mit Dorfbewohner*innen über die Bedürfnisse von Tieren.

Hinweis: Eine ausführliche Aufarbeitung der sogenannten Needs-Gaps-Analyse in Malawi (deutsch: Bedafsanalyse) finden Sie hier: https://welttierschutz.org/qualitaetssicherung-bedarfsanalyse-malawi/

Das Jahr 2020 war nun ein Ausnahmejahr. Welche Auswirkungen hatte die Pandemie-Zeit auf die M&E-Arbeit?

Leider mussten geplante Evaluationen vor Ort entweder verschoben oder teilweise virtuell (mit eingeschränkten Möglichkeiten) durchgeführt werden. Zudem konnten geplante Maßnahmen in einigen Projekten nicht durchgeführt werden: Ohne Maßnahmen keine Daten, ohne Daten keine Erkenntnisse. Aber es war zunächst wichtig, dass trotz Einschränkungen Aktivitäten für den Schutz der Tiere überhaupt weitergeführt werden konnten. Hier waren die Kreativität und das Engagement unserer Partner beeindruckend.

Liebe Natascha, herzlichen Dank für den Einblick in deine alltägliche Arbeit. 

Lesen Sie mehr über den Tierschutz in Krisenzeiten

Das stille Leid der Faultiere in Suriname

Die Gefahren für Faultiere nehmen gravierend zu. Denn wo einst 90 Prozent kaum berührter Regenwald die Heimat unzähliger… Weiterlesen »

Bilderstrecke: Nothilfe in Indien

Unsere Bilderstrecke offenbart erste Einblicke in bewegende Momente unseres Nothilfeeinsatzes in Odisha. Weiterlesen »

Die Zukunft der Tiere Malawis liegt in ihren Händen

An zwei Bildungseinrichtungen schulen wir derzeit Lehrkräfte theoretisches und praktisches Tierschutzwissen - und ebnen somit den Weg zu… Weiterlesen »

Für Bären wie Ina

Im Video: Das Trauma ihrer jahrelangen Gefangenschaft unter tierwidrigen Bedingungen ist noch heute, mehr als sechs Jahre nach… Weiterlesen »

Hilferuf aus Indien

Zwischen Erschöpfung und tiefer Betroffenheit angesichts des Elends sind unsere Teams unermüdlich im Einsatz: Auch jetzt, wo das… Weiterlesen »

Abgeschlossen: WTG-Nothilfefonds für notleidende Esel

Zusammen mit unserem Partner Tanzania Animal Welfare Society (TAWESO) und Mitteln aus dem WTG-Nothilfefonds leisteten wir über zwei… Weiterlesen »

Zum Welteseltag: Eine Liebeserklärung an die Esel weltweit

Rund um den Welteseltag am 8. Mai wollen wir die bemerkenswerten Tiere und unsere weltweiten Einsätze für sie… Weiterlesen »

Zum Welteseltag: Die Helfer brauchen jetzt unsere Hilfe!

Seit acht Jahren sind wir gemeinsam mit unseren Partnern der Worldwide Veterinary Service (WVS) in Südindien im Einsatz,… Weiterlesen »

Mimi und Momo: Zurück in der Wildnis

Erinnern Sie sich? Die beiden Dreifinger-Faultiere Mimi und Momo waren im letzten Jahr Opfer eines brutalen Angriffs geworden… Weiterlesen »

Abgeschlossen: WTG-Nothilfefonds für die Braunbären in Rumänien

Aufgrund der Coronakrise war das Schutzzentrum zeitweise komplett geschlossen worden. Das brachte unsere Partner in existenzielle Schwierigkeiten. Weiterlesen »