Sie sind hier:Home»Arbeitskreise»Professionalisierung (ehemals: Aus- und Weiterbildung in der Evaluation)»Rezension Widmer

Rezension Widmer

Rezension Widmer

Widmer, T., De Rocchi, T. (2012). Evaluation: Grundlagen, Ansätze und Anwendungen. Zürich: Rüegger.

widmer_evaluation    ISBN: 978-3-7253-0980-1
Preis: 16,50 Euro/22 CHF (unverbindliche Preisangabe)
Rezensiert von Verena Friedrich, November 2012
Amazon / buch.de / Verlag 


Zusammenfassung der Inhalte


Der Band umfasst acht Kapitel. In der Einleitung (1) werden kurz die Entwicklung der Evaluation, der gegenwärtige Stand der Professionalisierung, aber auch problematische Tendenzen skizziert: Aufgrund von Unkenntnissen und Missverständnissen sehen die Autoren „teilweise überrissene Erwartungshaltungen gegenüber Evaluationen“ (S. 7) und wollen hier Aufklärung leisten. Im Kapitel ‚Grundbegriffe der Evaluation‘ (2) werden zunächst die Merkmale der Evaluation (Wissenschaftlichkeit, Dienstleistung, Bewertung) beschrieben, und die Evaluation wird von alltäglicher Bewertung, von wissenschaftlicher Forschung und von verschiedenen Instrumenten der Verwaltungspraxis (Audit, Controlling, Qualitätsmanagement etc.) abgegrenzt. Die Autoren gehen außerdem auf mit der Evaluation verwandte Ansätze ein (Gesetzes- und Regulierungsfolgenabschätzung, Nachhaltigkeitsbeurteilung etc.). Das Kapitel schließt mit der Klärung zentraler evaluatorischer Begrifflichkeiten. Das Kapitel ‚Entwicklung der Evaluation‘ (3) befasst sich zunächst mit der thematischen Entwicklung der Evaluation, v.a. in der Schweiz. Im Absatz zur konzeptionellen Entwicklung wird anhand des Guba-Lincoln’schen Modells der „vier Generationen“ die Entwicklung vom ‚Messen‘ über das ‚Beschreiben‘ bis zum ‚Bewerten‘ und ‚Verhandeln‘ nachgezeichnet und auch auf neuere Entwicklungen (z.B. multi-method Ansätze) Bezug genommen. Zum Schluss des Kapitels werden politische Rahmenbedingungen und ihre jeweiligen Einflüsse auf die Evaluation anhand von fünf „Evaluationskonjunkuren“ beschrieben. Das Kapitel ‚Theorien, Konzepte und Modelle‘ der Evaluation (4) ist mit 34 Seiten das umfangreichste im Buch. Abgestützt auf eine ähnliche Systematik von E. Vedung werden Effektivitäts-Modelle, ökonomische und akteursorientierte Modelle der Evaluation ausführlich dargestellt. Im Vergleich zum vorhergehenden Kapitel ist das Kapitel zu den ‚Methoden‘ (5) mit nur acht Seiten recht kursorisch. Entsprechend knapp wird auf Untersuchungsanlagen und  techniken, Datenerhebungs-, -aufbereitungs- und  auswertungsverfahren sowie auf methodische Besonderheiten der Evaluation eingegangen. Das Kapitel ‚Evaluationsprozess – Schritt für Schritt‘ (6) beschreibt anhand von vier Phasen (Planung, Ausarbeitung des Pflichtenhefts und Auftragsvergabe, Durchführung und Begleitung der Evaluation, Berichterstattung und Verbreitung der Resultate) den Evaluationsprozess für extern beauftragte Evaluationen, und zwar aus der Perspektive sowohl des Auftraggebenden als auch des Evaluierenden. Das Kapitel ‚Evaluation im Kontext‘ (7) ist in vier Absätze gegliedert: Im ersten Teil geht es um die institutionelle Einbettung der Evaluationsfunktion im schweizerischen politischen System; der zweite Teil befasst sich mit der Evaluationspraxis in der Schweiz; der dritte widmet sich der Evaluationsnutzung (Nutzungsforschung, „Theory of Influence“ und „Evidence-based policy making“), und der letzte Absatz behandelt das Thema Qualität der Evaluation (hier werden u.a. die Stärken und Grenzen der SEVAL-Standards kritisch gewürdigt). Im Kapitel ‚Diskussion‘ (8) stellen die Autoren „einige übergreifende Überlegungen zum Zustand der Evaluation“ (S. 164) an. Hier werden einige positive und negative Entwicklungen skizziert; die Autoren votieren dafür, dass „noch selektiver, zielorientierter und differenzierter“ (S. 167) evaluiert werden solle, damit sich die Zukunftsaussichten der Evaluation optimieren lassen.

Das Buch eignet sich für

Das Buch will ausdrücklich kein Lehrbuch im engeren Sinne sein, sondern informieren und aufklären; insofern sind die in der Checkliste (s.u.) aufgelisteten Kriterien nur teilweise anwendbar. Einen Schwerpunkt und eine Stärke des Buchs stellt das Kapitel vier zu den Evaluationsansätzen dar. Hier werden die unterschiedlichen Ansätze mit ihren wichtigsten Merkmalen übersichtlich, nachvollziehbar und ausführlich beschrieben, wobei jeweils auch ihre Stärken und Schwächen diskutiert werden. Zahlreiche Beispiele illustrieren die jeweiligen Herangehensweisen. Ein weiterer Fokus liegt auf der Institutionalisierung und der Praxis der Evaluation im schweizerischen politischen System; allerdings scheinen diese Darstellungen auf teilweise bereits etwas älteren Befunden zu beruhen.

Stärken und Schwächen

Durch den kompakten Umfang und den Einsatz von Grafiken und Praxisbeispielen ist mit dem Band ein übersichtlicher Einblick in den gesamten Ablauf von Evaluation gelungen. Es werden alle wichtigen Schritte angesprochen und in knapper aber professioneller Form erläutert. Einige Arbeitsschritte werden verkürzt dargestellt, jedoch durch Verweise auf vertiefende Texte unterfüttert. Im Fokus des Textes stehen handlungsrelevante Hinweise zur Planung und Durchführung von Evaluation. Theorien der Evaluation, aktuelle Ansätze in der Evaluationsforschung oder auch die geschichtliche Entwicklung von Evaluation werden kaum thematisiert. Auch auf die Darstellung von spezifischem Kontextwissen, wie Organisations- und Feldkenntnisse, wird verzichtet, was den Band aber für eine breite Zielgruppe öffnet. Der Band ist kein Lehrbuch im klassischen Sinne, er enthält keine Übungen oder Aufgaben, sondern ist stark auf eine direkte praktische Anwendung fokussiert. Für die intendierte Zielgruppe der Praktikerinnen und Praktiker stellt er eine sinnvolle Einstiegslektüre dar.

Besonderheiten

Die Autoren verstehen unter Evaluation ein „Instrument zur systematischen und transparenten Bewertung eines Gegenstands im öffentlichen Raum“ (S. 7); Evaluation wird mit Politikevaluation gleichgesetzt, und die politikwissenschaftliche Perspektive ist die vorherrschende. Entsprechend ausführlich wird auch auf die Entwicklung und Einbettung der Evaluation im schweizerischen politischen System eingegangen. Andere Gegenstände und disziplinäre Perspektiven werden kaum angesprochen.

Standardisierte Checkliste für die Rezension

A – Inhalte

Die folgende Liste zeigt mögliche Inhalte eines Lehrbuchs für Evaluation. Es muss nicht unbedingt ein Vorteil sein, wenn ein Buch alle Inhalte abdeckt, bzw. ein Nachteil, sollten nicht alle Inhalte behandelt werden. Vielmehr kommt es darauf an, dass die Inhalte vor dem Hintergrund des Anspruchs und der Zielsetzung des Buches in genügender Breite und Tiefe dargestellt sind.

 

Geht das Buch ein auf… ja teil-weise nein Bemerkungen
1 …Definition, Funktionen und Zwecke von Evaluation? x        
2 …Ansätze und Theorien der Evaluation (z.B. im Rahmen eines gegenüberstellenden Überblicks)? x      Darauf wird sogar sehr ausführlich eingegangen.
3 …die geschichtliche Entwicklung der Evaluation? x      Dies wird kurz umrissen.
4 …die DeGEval-Standards (und/oder internationale Äquivalente)? x       Es wird auf die SEVAL-Standards eingegangen.
5 …Organisations- und Feldkenntnisse, Kontextwissen?   x   Evaluation wird als Politikevaluation verstanden, wobei Wissen über das schweizerische politische System oder einzelne Politikbereiche nicht explizit vermittelt wird.
6 …das Projektmanagement bei Evaluationen?   x     Das Kapitel 6 umreisst die vier Phasen Evaluationsplanung, Ausarbeitung des Pflichtenhefts und Auftragsvergabe, Durchführung und Begleitung der Evaluation, Berichterstattung und Verbreitung der Resultate; es wird aber das Projektmanagement nicht im Detail thematisiert.
7 …Sozial- und Selbstkompetenzen von Evaluierenden?      x  
8 …aktuelle internationale Evaluationsliteratur? x      
9 …den gesamten Evaluationsprozess (vom Erstkontakt und der Planung über die Datenerhebung und -analyse, die Berichterstattung bis hin zur Metaevaluation)? x       Wobei der methodische Teil (Datenerhebung und  auswertung) sehr knapp behandelt wird.


B – Didaktik

Bei dem zu rezensierenden Buch handelt es sich (im weitesten Sinne) um ein Lehrbuch, d.h. um ein Medium, das explizit mit didaktischen Intentionen gestaltet wurde und allgemein oder themenspezifisch zu einzelnen Anwendungs- oder Teilbereichen der Evaluation informieren und die aktive Auseinandersetzung mit den dargestellten Inhalten anregen soll. Vor diesem Hintergrund stellen sich im Rahmen der Rezension die folgenden Fragen: 

 

 

ja teil-weise nein Bemerkungen
1 Wird gesagt, an wen sich das Buch richtet? (Zielgruppe(n)) x       Der von den Autoren genannte „grössere Kreis von Personen“ (S.7) wird allerdings nicht näher spezifiziert.
2 Wird gesagt, für welche didaktischen (Anwendungs)Kontexte sich das Buch eignet?         Das Buch will kein Lehrbuch im engeren Sinne sein, sondern informieren und aufklären.
3 Werden konkrete Lernziele formuliert?      x  
4 Sind Fragen zur Selbstkontrolle und/oder Übungen enthalten?       x  
5 Wird der Bezug zur Praxis in angemessenem Umfang hergestellt (z.B. mit Fallbeispielen, konkreten Handlungsempfehlungen)?   x    Im Kapitel 4 werden die Ansätze anhand von Beispielen erläutert. Ansonsten bleibt das konkrete Vorgehen bei der Evaluation (insb. die Logik: Evaluationsfragestellungen und  kriterien, Operationalisierung, Datenauswertung, Bewertung) etwas vage.


C – Textgestaltung

Mit Blick auf die Zielgruppe(n) bzw. den Anwendungskontext des Lehrbuches können auch gestalterische Kriterien an das Medium gestellt werden.

 

 

ja teil-weise nein Bemerkungen
1 Ist die verwendete Sprache prägnant und verständlich? x      
2 Ist die Gliederung übersichtlich und folgt der Aufbau einer erkennbaren Logik („roter Faden“)? x      
3 Werden Abbildungen, Tabellen, Illustrationen etc. in geeigneter Form und geeignetem Umfang eingesetzt?

x     Manche Abbildungen sind allerdings sehr klein geraten (Texte sind schwer lesbar).
4 Ist der Umfang des Buches dem Inhalt und den Zielsetzungen des Buches angemessen?   x   Das Gewicht liegt stark auf Evaluationsansätzen und der  Evaluation im schweizerischen politischen System. Um der Zielsetzung des Buches („einen fundierten Einblick in das facettenreiche Instrumentarium der Evaluation […] verschaffen“, S. 8) in vollem Umfang gerecht zu werden, wäre evtl. eine etwas ausgewogenere Gewichtung notwendig.

5 Alles in allem: Ist der Text hinsichtlich Inhalt und Niveau der Zielgruppe angepasst?   x   Es werden viele methodische Fachbegriffe verwendet, die für die angesprochene breite Zielgruppe evtl. nicht geläufig sind.


D – Formale Kriterien

Abschliessend werden noch einige formale Kriterien aufgeführt, die bei einer Buchbeurteilung zu berücksichtigen sind:

 

Das Buch… ja teil-weise nein Bemerkungen
1 …hat ein angemessenes und nutzendenfreundliches Layout. x      
2 …enthält ein Glossar zentraler Begriffe.     x  
3 …enthält ein Autoren-/Autorinnenverzeichnis.     x  
4 …enthält ein Stichwortverzeichnis.     x  
5 …enthält Hinweise auf weiterführende Literaturquellen. x      
6 …hat einen dem zu erwartenden Nutzen angemessenen Preis. x      
7 …ist für alle Interessierten leicht verfügbar (z.B. über den Buchhandel; ggf. Bemerkungen zu alternativen Bezugswegen). x      


Weitere Rezensionen dieser Publikation:
• von Verena Friedrich
• von Katharina Klockgether



Zuletzt geändert: 14. März 2015

Dr. Dörte Schott

Freie Evaluatorin
Telefon: +49 228 6296673
Email:info [at] doerte-schott.de

Sandra Schopper, M.A.

Studiengangskoordinatorin "Master of Evaluation"

Universität des Saarlandes und Hochschule für Technik und Wirtschaft des Saarlandes

Telefon: 0681/ 302-4328
E-Mail: s.schopper@mx.uni-saarland.de