Sie sind hier:Home»Arbeitskreise»Professionalisierung (ehemals: Aus- und Weiterbildung in der Evaluation)»Rezension Beywl Kehr Mäder Niestroj

Rezension Beywl Kehr Mäder Niestroj

Rezension Beywl Kehr Mäder Niestroj

Beywl, W., Kehr, J., Mäder, S., & Niestroj, M. (2007). Evaluation Schritt für Schritt: Planung von Evaluationen. Münster: hiba.

beywl_schritt_fur_schritt   ISBN: 978-3-89751-226-9
Preis: 14,00 Euro/20,90 CHF (unverbindliche Preisangabe)
Rezensiert von Heike Steckhan, Dezember 2012/Januar 2013
Verlag

Zusammenfassung der Inhalte


Der Band, erschienen in der Reihe Weiterbildung des heidelberger institut beruf und arbeit (hiba), ist als kompakter Leitfaden zur systematischen Planung und Umsetzung von Evaluation konzipiert. Die Autorinnen und Autoren definieren Evaluation als „spezifische wissenschaftsbasierte Dienstleistung“ (S. 5). Basierend auf diesem Grundverständnis stellen sie auf 80 Seiten dar, wie die anfallenden Arbeitsschritte bewältigt werden können. Der Evaluationsprozess wird dabei in sechs Leistungsschritte eingeteilt: „Mit Beteiligten Zwecke und Nutzen festlegen“, „Gegenstand & Bedingungen sowie Fragestellungen klären“, „Untersuchungsplan festlegen“, „Daten erheben & auswerten“, „Schlussfolgern und bewerten“ und „Ergebnisverwendung einleiten“. Nach Vorbemerkungen und Einleitung ist jedem Schritt ein Kapitel gewidmet. Die Kapitel beginnen jeweils mit einem Überblick über die Aufgaben, wobei Bezug auf die relevanten Standards für Evaluation genommen wird, stellen dann die nötigen Planungs- und Durchführungsschritte dar und schließen mit einer Checkliste. Das Vorgehen anhand dieses Leitfadens soll sicher stellen, dass kein relevanter Arbeitsschritt vergessen wird. Innerhalb einzelner Kapitel werden verschiedene Möglichkeiten und Instrumente dargestellt, aus denen das für die jeweilige Evaluation und die dafür zur Verfügung stehenden Ressourcen bestmöglich passende Vorgehen ausgewählt werden kann Bei allen Schritten wird der Einbezug von Beteiligten und Betroffenen, mit den darin liegenden Vorteilen und Schwierigkeiten angesprochen. Im letzten Kapitel wird ein besonderer Schwerpunkt auf den Nutzen und die Nutzung von Evaluationen durch Auftraggebende und Beteiligte gelegt.

Die Autorinnen und Autoren geben an, der Band solle Praktikerinnen und Praktikern als Handreichung dienen, „wie Evaluation qualifiziert vergeben, geplant und durchgeführt werden kann“ (S. 5). Der Text wird diesem Anspruch gerecht, indem er konsequent auf Praxis und Umsetzung hin orientiert ist, ohne dabei zu geringe Ansprüche an eine qualifizierte Durchführung zu stellen. In knapper Form und verständlicher Sprache wird der Ablauf von Evaluation beschrieben und durch Beispiele, Grafiken und Tipps illustriert. Auf theoretische Hintergründe und vertiefte Darstellungen wird zu Gunsten des kompakten „Kochrezept-Formats“ verzichtet. Wo eine umfangreichere Auseinandersetzung mit einem Thema nötig wäre, zum Beispiel zu Datenerhebungs- und Auswertungsmethoden, wird auf Literatur und weitere Informationsquellen verwiesen. Einsteigerinnen und Einsteiger, die lernen möchten, selbstständig Evaluationen durchzuführen, sollten sich mit Hilfe dieser Quellen über die Lektüre des Bandes hinaus weiterbilden.

Das Buch eignet sich für

Die Autorinnen und Autoren nennen als Zielgruppe Praktikerinnen und Praktiker, wobei keine direkten Angaben zum Vorwissen der Zielgruppe gemacht wird. Implizit werden aber Personen angesprochen, die bisher keine oder sehr geringe Erfahrung mit Evaluation haben. Durch seine kompakte Form ist der Band attraktiv für Einsteigerinnen und Einsteiger, die einen schnellen Überblick über den Ablauf von Evaluationen erhalten möchten und weniger an ausführlichen Darstellungen von Theorien, Ansätzen und Methoden von Evaluation interessiert sind. Der Band beschränkt sich nicht auf ein Anwendungsgebiet von Evaluation und eignet sich daher für Evaluierende in verschiedenen Kontexten. Neben der Nutzung im praktischen Kontext wäre auch eine akademische Nutzung als Lektüre und Handlungsleitfaden in praxisorientierten Lehrveranstaltungen zu Evaluation denkbar.

Stärken und Schwächen

Durch den kompakten Umfang und den Einsatz von Grafiken und Praxisbeispielen ist mit dem Band ein übersichtlicher Einblick in den gesamten Ablauf von Evaluation gelungen. Es werden alle wichtigen Schritte angesprochen und in knapper aber professioneller Form erläutert. Einige Arbeitsschritte werden verkürzt dargestellt, jedoch durch Verweise auf vertiefende Texte unterfüttert. Im Fokus des Textes stehen handlungsrelevante Hinweise zur Planung und Durchführung von Evaluation. Theorien der Evaluation, aktuelle Ansätze in der Evaluationsforschung oder auch die geschichtliche Entwicklung von Evaluation werden kaum thematisiert. Auch auf die Darstellung von spezifischem Kontextwissen, wie Organisations- und Feldkenntnisse, wird verzichtet, was den Band aber für eine breite Zielgruppe öffnet. Der Band ist kein Lehrbuch im klassischen Sinne, er enthält keine Übungen oder Aufgaben, sondern ist stark auf eine direkte praktische Anwendung fokussiert. Für die intendierte Zielgruppe der Praktikerinnen und Praktiker stellt er eine sinnvolle Einstiegslektüre dar.

Besonderheiten

Die praxisorientierte, leicht lesbare und dabei trotzdem professionelle Darstellung des Ablaufs einer Evaluation zeichnet diesen Band aus. Die enthaltenen, anschaulichen Grafiken könnten auch in anderen Kontexten als der Weiterbildung für PraktikerInnen zur Erläuterung von Evaluation und ihrem Vorgehen genutzt werden. Mit den umfangreichen Praxistipps und Checklisten kann er auch erfahrenen EvaluatorInnen noch Anregungen bieten.

Standardisierte Checkliste für die Rezension

A – Inhalte

Die folgende Liste zeigt mögliche Inhalte eines Lehrbuchs für Evaluation. Es muss nicht unbedingt ein Vorteil sein, wenn ein Buch alle Inhalte abdeckt, bzw. ein Nachteil, sollten nicht alle Inhalte behandelt werden. Vielmehr kommt es darauf an, dass die Inhalte vor dem Hintergrund des Anspruchs und der Zielsetzung des Buches in genügender Breite und Tiefe dargestellt sind.

 

Geht das Buch ein auf… ja teil-weise nein Bemerkungen
1 …Definition, Funktionen und Zwecke von Evaluation? x       Vor allem auf die Zwecke, weniger auf Definition
2 …Ansätze und Theorien der Evaluation (z.B. im Rahmen eines gegenüberstellenden Überblicks)?       x  
3 …die geschichtliche Entwicklung der Evaluation?      x  
4 …die DeGEval-Standards (und/oder internationale Äquivalente)? x        
5 …Organisations- und Feldkenntnisse, Kontextwissen?      x  
6 …das Projektmanagement bei Evaluationen? x        
7 …Sozial- und Selbstkompetenzen von Evaluierenden?    x    Eher implizit
8 …aktuelle internationale Evaluationsliteratur?      x  
9 …den gesamten Evaluationsprozess (vom Erstkontakt und der Planung über die Datenerhebung und -analyse, die Berichterstattung bis hin zur Metaevaluation)? x        


B – Didaktik

Bei dem zu rezensierenden Buch handelt es sich (im weitesten Sinne) um ein Lehrbuch, d.h. um ein Medium, das explizit mit didaktischen Intentionen gestaltet wurde und allgemein oder themenspezifisch zu einzelnen Anwendungs- oder Teilbereichen der Evaluation informieren und die aktive Auseinandersetzung mit den dargestellten Inhalten anregen soll. Vor diesem Hintergrund stellen sich im Rahmen der Rezension die folgenden Fragen: 

 

 

ja teil-weise nein Bemerkungen
1 Wird gesagt, an wen sich das Buch richtet? (Zielgruppe(n)) x        
2 Wird gesagt, für welche didaktischen (Anwendungs-)Kontexte sich das Buch eignet?    x    "Der vorliegende Band will Praktikerinnen und Praktikern eine Handreichung geben, wie sie Evaluation systematisch planen und umsetzen können" (S. 5)..
3 Werden konkrete Lernziele formuliert? x        
4 Sind Fragen zur Selbstkontrolle und/oder Übungen enthalten?       x  
5 Wird der Bezug zur Praxis in angemessenem Umfang hergestellt (z.B. mit Fallbeispielen, konkreten Handlungsempfehlungen)? x        


C – Textgestaltung

Mit Blick auf die Zielgruppe(n) bzw. den Anwendungskontext des Lehrbuches können auch gestalterische Kriterien an das Medium gestellt werden.

 

 

ja

teil-weise

nein

Bemerkungen

1 Ist die verwendete Sprache prägnant und verständlich? x      
2 Ist die Gliederung übersichtlich und folgt der Aufbau einer erkennbaren Logik („roter Faden“)? x      
3 Werden Abbildungen, Tabellen, Illustrationen etc. in geeigneter Form und geeignetem Umfang eingesetzt? x      
4 Ist der Umfang des Buches dem Inhalt und den Zielsetzungen des Buches angemessen?   x   Der Band ist zu knapp, um jemanden nur durch die Lektüre dazu zu befähigen, Evaluationen selbständig durchzuführen. Für eine vertiefte Auseinandersetzung bietet der Band allerdings viele Ansatzpunkte.
5 Alles in allem: Ist der Text hinsichtlich Inhalt und Niveau der Zielgruppe angepasst? x      


D – Formale Kriterien

Abschliessend werden noch einige formale Kriterien aufgeführt, die bei einer Buchbeurteilung zu berücksichtigen sind:

 

Das Buch… ja teil-weise nein Bemerkungen
1

…hat ein angemessenes und nutzendenfreundliches Layout. x      
2 …enthält ein Glossar zentraler Begriffe.     x Aufgrund der knappen Form nicht nötig.
3 …enthält ein Autoren-/Autorinnenverzeichnis. x      
4 …enthält ein Stichwortverzeichnis.     x Aufgrund der knappen Form nicht nötig.
5 …enthält Hinweise auf weiterführende Literaturquellen. x      
6 …hat einen dem zu erwartenden Nutzen angemessenen Preis. x      
7

…ist für alle Interessierten leicht verfügbar (z.B. über den Buchhandel; ggf. Bemerkungen zu alternativen Bezugswegen).   x   Über hiba direkt verfügbar (hier) bestellbar, bei Amazon derzeit nicht verfügbar.
Zuletzt geändert: 14. März 2015

Dr. Dörte Schott

Freie Evaluatorin
Telefon: +49 228 6296673
Email:info [at] doerte-schott.de

Sandra Schopper, M.A.

Studiengangskoordinatorin "Master of Evaluation"

Universität des Saarlandes und Hochschule für Technik und Wirtschaft des Saarlandes

Telefon: 0681/ 302-4328
E-Mail: s.schopper@mx.uni-saarland.de