Sie sind hier:Home»Arbeitskreise»Entwicklungspolitik»Aktuelles

Aktuelles

Dokumentation der Frühjahrstagung 2016 des Arbeitskreises Entwicklungspolitik

Tagungsthema: Monitoring & Evaluierung in fragilen Kontexten.
Was tun in Afghanistan, Syrien, Sierra Leone…?


Im Folgenden finden Sie eine kurze Zusammenfassung der Frühjahrstagung 2016 des AK-Epol. Eine ausführliche Dokumentation finden Sie im Tagungsprotokoll.

Donnerstag, 14. April 2016
10.45-11.15 Begrüßung durch Klaus Altemeier und Jens Koy

Dr. Klaus Altemeier, Geschäftsführer der GFA Consulting Group GmbH und Jens Koy, Sprecher des AK Entwicklungspolitik der DeGEval begrüßen die diesjährigen TeilnehmerInnen der Tagung.

Dr. Klaus Altemeier: Begrüßung und Vorstellung der GFA Consulting Group (siehe auch Präsentation

  • Vorstellung der GFA-Arbeit im Bereich M&E. Seit 2015 gibt es eine eigene fachliche Unit in der GFA zu „Monitoring und Evaluierung“, die innerhalb der Abteilung „Public Finance Management“ angesiedelt ist.
  • Kurzer Überblick über GFA-Arbeit in fragilen Staaten. Die GFA ist weltweit tätig, somit auch bspw. in fragilen Kontexten in Afghanistan, im Irak oder im Südsudan. Zahlreiche GFA-Mitarbeiter sind lang- oder kurzfristig in diesen Ländern tätig. Ein Teil der GFA-Arbeit in Afghanistan im Bereich M&E wird nachmittags in einem Werkstattgespräch der Tagung vorgestellt.

Jens Koy: Vorstellung des AK Entwicklungspolitik, Einführung ins Tagungsthema

11.15-11.30 AG Neue Technologien in M&E des AK-Entwicklungspolitik (Rosilin Bock, Robert Heine)

Rosilin Bock und Robert Heine stellen das Ziel der AG sowie die bisherigen Arbeitsschritte und -ergebnisse vor:

  • Fokus der AG: Nutzung von Information und Communication Technology (ICT) für M&E
  • Die AG besteht aktuell aus ca. 10 Personen, die sich monatlich austauschen.
  • Die AG organisiert sich über die Web-Plattform WebMo.
  • Die HauptansprechpartnerInnen der AG sind Rosilin Bock und Robert Heine.

Die AG freut sich auch über neue interessierte Mitglieder. Interessenten können sich an die beiden o.g. AnsprechpartnerInnen wenden, oder sich mit Verweis auf den/die AnsprechpartnerIn registrieren: www.Akepol.webmo.info

11.30-12.30 Monitoring & Evaluierung in fragilen Kontexten – Einführung in die Herausforderungen und die aktuelle Diskussion (Jörg Faust)

Prof. Dr. Jörg Faust, Direktor des Deutschen Evaluierungsinstituts der Entwicklungszusammenarbeit (DEval) führt in das Tagungsthema ein.
Für eine ausführliche Dokumentation siehe das Tagungsprotokoll und die entsprechende Präsentation.

Zusammenfassung:

  • Es bestehen definitiv große Herausforderungen bei Evaluierungen in fragilen Kontexten.
  • Gleichzeitig nimmt ihre Relevanz jedoch stark zu.
  • Eine umfassende Kontextanalyse ist dabei zentral.
  • Anspruchsvolle Evaluierungen sind mit geeigneten Methoden möglich, können jedoch hohe Kosten erfordern.
  • Der Evaluierung werden klare Grenzen durch existierende Sicherheitsrisiken und eine Einhaltung des Do No Harm-Prinzips gesetzt.

 

12.30-13.00 Versicherungen – Informationen zu Versicherungen für Gutachterinnen und Gutachter sowie Auftraggebende, die in fragilen Kontexten arbeiten

Claus-Helge Groß der BDAE Holding GmbH gibt einen kurzen Überblick über den nötigen Versicherungsschutz freier Evaluatoren in fragilen Kontexten (siehe auch Präsentation).

  • Auslandskrankenversicherung: Es ist immer nötig, zu überprüfen, ob bei der KV ein passives Krisen/ Kriegsrisiko mitversichert ist.  
  • Entführung und Lösegeldversicherung: Eine Entsprechende Versicherung für den Schadensfall deckt nicht nur eine potenzielle Lösegeldforderung ab, sondern managt im Entführungsfall auch den gesamten Prozess bis hin zur Freilassung.

 

18.00-18.30 Kurzvorstellungen aus den Werkstattgesprächen, AGs und dem Sicherheitstraining im Plenum im linken blauen Haus

a.    Humanitäre Hilfe und EZ - Erfahrungen mit M&E in fragilen Kontexten (DRK und WHH) (siehe auch Fotodokumentation)

  • Stabilisierende Faktoren und destabilisierende Faktoren
  • Evaluierungen erfüllen hier vor allem eine Kontrollfunktion und dienen der Urteilssicherheit
  • Erkenntnisgewinn: Blick nach außen ist genauso wichtig wie der Blick von außen. Die Auftraggeber haben oftmals auch ein Interesse zu erfahren – wie machen es andere in ver-gleichbaren Kontexten?
  • Aufbau lokaler Wissenssysteme
  • Evaluierungen über Inter Agency Cluster organisieren, nicht so sehr über unseren Input
  • Syrien: große Herausforderung, den Datenanforderungen gerecht zu werden. Bilder und GPS- Daten bieten Ansatzpunkte.


b.    M&E von Advocacy-Arbeit und Pressefreiheit in fragilen Staaten / M&E von Frauenrechtsarbeit (siehe auch Präsentation)

  • Gender based violence als besondere Form von Fragilität
  • In diesen Fällen sind nur langfristige Wirkungen beobachtbar, frühestens nach 10 Jahren
  • In Evaluierungen sollte man Empowerment und Selbstwirksamkeit beobachten und dies in M&E-Systeme direkt mit einbauen.
  • Das Evaluationsdesign muss zu den Menschen im Projekt und dem Kontext passen. Es kann sinnvoll sein, holistische Mehrebenenansätze anzuwenden.


c.    „Good enough monitoring“ (Bsp. Afghanistan, siehe auch Präsentation)

“Blitzlichter” aus der Diskussion:

  • Je höher die Fragilität des Kontextes, desto höher die Eintrittswahrscheinlichkeit der ange-nommenen Risiken
  • Umso komplexer das Umfeld und das Projekt selbst, umso einen höheren Detailierungsgrad hat das Monitoringsystem.
  • Im fragilen Kontext braucht man viel Flexibilität in Bezug auf die theory of Change und in Bezug auf die Wahl der Indikatoren.
  • Die Einbindung der Partner vor Ort ist entscheidend: Wie viel ist nötig und möglich? Man muss den richtigen Grad finden, um die staatliche Funktionalität von politischen Partnern angesichts der starken Geberpräsenz und -fragmentierung im Land nicht unnötig zu belasten.


d.    SMS, Geocoding, Digital Data Entry mit Tablet und Smartphone: 3 Impulsreferate (u.a. Live-schaltung aus Nairobi, siehe Präsentation von SAVE, Plan, ona (a und b))

  • Überblick über Stärken und Schwächen von bestehende Tools als Teil von remote Manage-ment in humanitären Kontexten: Z.B. Telefon, SMS, Geocoding, Tablet, die Teil eines erstellen Toolkits des Global Public Policy Insitute sind
  • Es wurde ein cloud-basiertes Monitoring System von Plan International vorgestellt.
  • Fallstudie eines Third Party Monitoring eines  innovativen Projektes für DFID Somalia mit dem Ziel, ein allumfassendes M&E System der Katastrophenhilfeprogramme zu entwickeln. Der 145 Mio £ schwere Fonds beinhaltet 34 Partner und über 100 lokale Partnerorganisatio-nen.
  • Herausforderung bei der Nutzung von ICT für die Evaluierung für die PO: Es ist nicht nur eine Auseinandersetzung mit Logframe/Wirkungslogik etc. nötig, sondern zusätzlich eine Analyse geeigneter Software/Tools etc.
  • Vorteil der Nutzung entsprechender Tools: hohe Zeit- und Geldersparnis


e.    Sicherheitstraining
Der Trainer des Sicherheitstrainings, Benjamin Beutekamp (BDAE / Human Resource Protection) appellierte daran, sich über erlebte Belastungen in Krisenländern immer auszutauschen, um Folgeschäden zu minimieren.

Freitag, 15. April 2016


09.00-10.45 Erfahrungen mit Evaluationen in verschiedenen fragilen Kontexten

Erfahrungen von GIZ und KfW mit Evaluierungen in Afghanistan
Claudia Kornahrens, Gesellschaft für Internationale Zusammenarbeit (GIZ) und
Prof. Dr. Eva Terberger, KfW-Bankengruppe

Für eine ausführlichere Dokumentation siehe die Power Point Präsentationen von GIZ und KfW.

  • Projektfortschrittskontrollen heißen in der GIZ inzwischen Projektevaluierungen
  • Vor der Evaluierung ist die Ziel- und Auftragsklärung essentiell: Was steht im Vordergrund, Rechenschaftslegung oder Lernorientierung?
  • Realistische Ziele setzen!
  • Festlegung des Evaluierungsgegenstands anhand des GIZ Wirkungsmodells
  • Entsprechend dem Leitfaden für konfliktsensibles Monitoring sollen die Erfahrungen zusammengefasst werden.

 

Evaluierung der Ebola-Response von Brot für die Welt in Sierra Leone
Stefan Jansen, Iber-Consult/FAKT und Rosilin Bock, Brot für die Welt

Hintergrund:

  • Die Ebola Dynamik wurde falsch eingeschätzt, internationale Hilfe kam zu spät
  • Brot für die Welt  konnte auf ein gutes Netzwerk mit Partnerorganisationen vor Ort setzen
  • 10 Mio. Funding für die Ebola-Response
  • Bundle approach (Implementierung durch Konsortium der Partnerorganisationen)
  • Intervention mit kirchlichen Mitteln und Mitteln des BMZ
  • Nach einem halben Jahr wurde die Intervention evaluiert (BMZ Vorgabe)


Vgl. Power Point Präsentation, Vortrag Stefan Jansen

  • Stefan Jansen wies auf die ethische Dimension der Evaluierung im Ebola-Kontext hin, insbe-sondere im Hinblick auf nationale Gutachtende, die zumeist ökonomischen Zwängen unter-liegen und im gegebenen Fallbeispiel einer erhöhten Gefahr ausgesetzt waren als der internationale Experte.
  • Berücksichtigung von Do No Harm-Prinzipien stellte einen wichtigen Teil des Evaluierungsansatzes dar, insbesondere im Umgang mit traumatisierten Personen aus den Zielgruppen der Evaluierung (z.B. Ebola-Überlende).
  • Stichprobe: 300-350 Personen


11.15-12.25 Abschlussdiskussion

mit Sibylle Braune (DRK), Bernd Bültemeier (FAO), Prof. Dr. Jörg Faust (DEval) und Dr. Karin Stahl (freie Gutachterin)


Der Anknüpfungspunkt für die Abschlussdiskussion war die vor der Tagung durchgeführte Online-Befragung der TagungsteilnehmerInnen bzgl. ihrer Meinung zu drei Statements (siehe auch Präsentation der Auswertung). Diese wurden hier wieder aufgegriffen und unter den vier Podiumsgästen diskutiert.  

Im Folgenden werden die Statements genannt, zu denen die Podiumsgäste diskutierten, eine ausführliche Darstellung findet sich im Tagungsprotokoll.

1. „Es ist unverantwortlich, internationale Gutachtende für Evaluierungen in fragile Staaten zu senden.“

2. „Die Kontextbedingungen sind so schwierig, dass man auf Eval. verzichten sollte.“

3. "Sind im fragilen Kontext spezielle Ansätze & Verfahren für Evaluierungen nötig?“

Zuletzt geändert: 04. August 2016

Frühjahrstagung 2016 des AK-Epol

Die Frühjahrstagung des AK Epol wird vom 14. bis 15. April 2016 in Hamburg bei der GFA Consulting Group stattfinden. Dabei widmen wir uns dem Thema "Monitoring & Evaluierung in fragilen Kontexten - Was tun in Afghanistan, Syrien, Sierra Leone…?".

Mehr Informationen finden Sie im vorläufigen Programm.

Bei Interesse melden Sie sich bitte bis spätestens 01.04.2016 über folgenden Link an: https://de.surveymonkey.com/r/JV7HSVH

Zuletzt geändert: 29. März 2016

Effizienzbewertung in Evaluation

Nach zwei Jahren legt die Arbeitsgruppe Effizienz nun ihre Handreichung zum Thema vor (Download hier). Wer sollte die Handreichung lesen? Um was geht es konkret? Wir sprachen mit Jens Koy, dem Koordinator der AG.

AK-Epol: An wen richtet sich das Papier?

Jens Koy: An GutachterInnen und Auftraggebende, die die Analysen im DAC-Kriterium „Effizienz“ in Projekt- und Programmevaluationen weiter qualifizieren wollen. Es geht um „durchschnittliche“ Projektevaluierungen und Programme der Entwicklungszusammenarbeit mit Evaluationsteams von 1-2 Personen, 10-20 Tagen Feldaufenthalt bei einer Gesamtevaluationsdauer von ca. 25-35 Tagen pro GutachterIn.

AK-Epol: Um was geht es konkret?

JK: Wie können in 1-2 Tagen Erhebungen zu „Effizienz“ vorgenommen werden? Dafür ist wichtig, dass EvaluatorInnen die Fragestellungen der Effizienzbewertung in ihr bereits vorhandenes Repertoire an Erhebungsmethoden und -instrumenten, wie Aktenanalysen, Interviews, Gruppengespräche, Workshops und Fragebögen, integrieren können. Dafür haben wir eine Reihe von Beispielen ausgearbeitet. Ein anderer wichtiger Punkt für die Effizienzbetrachtung ist der Vergleich. Wir haben dazu vier Ebenen identifiziert, wovon die allermeisten EvaluatorInnen schon heute 2-3 verwenden, sie aber i.d.R. nicht für die Effizienzdiskussion nutzen: a) Vergleich mit den früheren Vorgehensweisen im Projekt, b) Vergleich mit anderen Projekten, c) Standardindikatoren/Statistiken und  d) kontrafaktischer Vergleich im Sinne von: Was wäre eine effizientere Situation? Des Weiteren haben wir Tipps und Anregungen für die Nutzung von Stückkosten, Expenditure Tracking und Benchmarking aufgeführt…

AK-Epol: Das hört sich schon ganz schön umfassend an. Sollten jetzt Effizienzbewertungen in jeder Evaluation vertieft  werden?

JK: Nein! Gute Evaluationen benötigen nicht zwangsläufig explizite Effizienzanalysen. Ist zum Beispiel die Zusammenarbeit zwischen Geldgeber bzw. Förderorganisation und Partnerorganisation angespannt, dann können vertiefte Fragestellungen der Relevanz (Tun wir das Richtige? Ist unser Arbeitsansatz Stand der Fachdiskussion?) oftmals hilfreicher in puncto Erkenntnis, Lernen und Zusammenarbeit sein. 

AK-Epol: Und wie geht es jetzt weiter?

JK: Die Praxis der Effizienzbewertung bei Projekt- und Programmevaluationen in der Entwicklungszusammenarbeit steckt in vielen Bereichen noch in den Anfängen. Die aus anderen Arbeitsbereichen wie der Volks- und Betriebswirtschaft verfügbaren Methoden und Vorgehensweisen sind oft wenig alltagstauglich für die EZ. Von daher will und kann die Handreichung keine abschließenden Weisheiten verkünden, sondern nur zur maßvollen und bedarfsgerechten Anwendung von Methoden und Vorgehensweisen ermuntern. Sehr wichtig ist jetzt die Anwendung in der Evaluationspraxis. Sollten wir einen weiteren Bürokratisierungsschub feststellen, dann klingeln die Alarmglocken und wir müssen gegensteuern.

AK-Epol: Vielen Dank für das Gespräch! 

Zuletzt geändert: 05. Oktober 2015

Die Frühjahrstagung des AK Epol wird vom 14. bis 15. April 2016 in Hamburg bei der GFA Consulting Group stattfinden. Dabei widmen wir uns dem Thema "Monitoring & Evaluierung in fragilen Kontexten - Was tun in Afghanistan, Syrien, Sierra Leone…?".

Mehr Informationen finden Sie im vorläufigen Programm.

Bei Interesse melden Sie sich bitte bis spätestens 01.04.2016 über folgenden Link an: https://de.surveymonkey.com/r/JV7HSVH

Sprecherteam insgesamt

E-Mail: sprecherteam@ak-epol.de

 

Einzelkontakte:

Susanne von Jan
Hanns-Seidel-Stiftung e.V.

E-Mail: jan@hss.de 

Jens Koy
Freier Gutachter

E-Mail: Jens.Koy@web.de