Sie sind hier:Home»Arbeitskreise»Professionalisierung (ehemals: Aus- und Weiterbildung in der Evaluation)»Rezension Stake

Rezension Stake

Rezension Stake

Stake, R.E. (2007). Standards-Based & Responsive Evaluation. London: Sage.

stake_standards   ISBN: 0-7619-2665-8
Preis: 73 Dollar, Paperback (unverbindliche Preisangabe)
Rezensiert von Susanne Mäder, September 2012
Amazon / buch.de (Taschenbuch) / Verlag 


Zusammenfassung der Inhalte


Bereits der Titel enthält die zentrale Botschaft des Buches: die Verbindung einer messorientierten (standard-based) mit einer erfahrungsorientierten (responsive) Perspektive. Robert Stake erweitert und vertieft mit diesem Werk seinen responsiven Evaluationsansatz. Er versteht sich als Alternative zu den bis in die 70 er Jahre vorherrschenden „geschlossenen“ Evaluationsmodellen und fordert, die Wertperspektiven der Programmbeteiligten in die Evaluation einzubeziehen und empfänglich (responsiv) auf die Anliegen der Beteiligten zu reagieren. Zu Beginn führt Stake in die Denkweisen der kriteriengestützten und interpretativen Evaluation ein (Kap. 1). Die Beschreibung und Bewertung eines Evaluationsgegenstandes kann demnach auf zwei Wegen erfolgen: durch standard-basierte und/oder durch responsive Evaluation. Erstere bildet die Qualität durch Zahlen, Skalen und Standards ab. Sie repräsentiert eine quantitative, kriterienbasierte Betrachtungsweise. Bei der responsiven Evaluation wird Qualität durch subjektive Erfahrung erfasst, durch verbale Beschreibung und multiperspektivische Einschätzung. Stake bezeichnet sie als qualitative Evaluation –  episodisch und ganzheitlich. Standard-based Evaluation (Kap. 3) nutzt vorrangig Evaluationsmethoden, die kriteriengestützt Erkenntnisse erzeugen. Zentrale Steuerungselemente (factors) dieser Vorgehensweise sind Bedarfe der Zielgruppe, Programmziele, -leistung und -kosten sowie Evaluationskriterien, Evaluationsstandards und Synthese der Ergebnisse. Responsiv Evaluierende (Kap. 4) zeichnen sich dadurch aus, dass sie sich durch persönliche Erfahrung leiten lassen sowie die Beteiligten und ihre Werte einbeziehen. Um die Qualität des Programms zu erschließen, sucht die evaluierende Person nach persönlichen und szenischen Eindrücken, die im weiteren Verlauf korrigiert und angepasst werden. Responsive Evaluation schließt kriterien-gestützte Vorgehensweisen nicht aus. Kapitel 5 skizziert Fallstricke im Datenerhebungsprozess und gibt Hinweise zu Anwendungsbereichen und -formen von Evaluationsmethoden. Neben den typischen Datenerhebungsinstrumenten wie Interviews und Surveys skizziert Stake die Bedeutung der Rekonstruktion von (Spannungs-)Themen (issues) im Evaluationsprozess. In der responsiven Evaluation ist es ein wichtiges Erkenntnisinstrument, die Geschichte des Programms, seine Ausgangssituation und die Art und Weise der Implementation nachzuerzählen. Anschließend an Ausführungen zu Analyse, Synthese und Meta-Evaluation (Kap. 6) widmet sich Stake der besonderen Bedeutung von Stakeholdern im Evaluationsprozess (Kap. 7). Hier werden u. a. weitere beteiligtenorientierte Ansätze wie die partizipative, nutzungsfokussierte und demokratische Evaluation dargestellt. Im vorletzten Kapitel werden interpretative Zugänge zu zentralen Evaluations-Issues wie Programmnormierung und Know-How-Generierung bei Stakeholdern erläutert. Kapitel 9 setzt sich kritisch mit Evaluation als evidenzbasierter Forschung auseinander. Abschließend werden ethische Implikationen und Verantwortlichkeiten diskutiert.

Das Buch eignet sich für

Das Buch richtet sich an Studierende höherer Semester und verschiedener Studiengänge wie Erziehungswissenshaften, Kommunikation, Soziale Arbeit, Anthropologie, Psychologie und Soziologie etc. Es richtet sich an Personen mit Erfahrungen in sozialen und pädagogischen Programmen und wurde als Lehrbuch für Einführungskurse in Programmevaluation konzipiert. Stake gibt auch Hinweise für Dozentinnen und Dozenten, wie sie das Buch in Seminaren nutzen können: als Diskussionsquelle für herausfordernde Themen oder auch als Ausgangspunkt für die Entwicklung von Projekten durch die Seminarteilnehmenden. Das Lehrbuch ist nicht für Personen geschrieben, die eindeutige Antworten suchen: „Evaluation is situational. There is no one best way.“ (S. XIV)

Stärken und Schwächen

Stärken
Stake stellt aussagekräftige Orientierungs- und Reflexionshilfen in Form von Phasenmodellen, Schaubildern und Erfahrungsberichten bereit. Für konzeptionelle Entscheidungen steht ein reichhaltiger Fundus aus 45 Jahren Evaluationspraxis zur Verfügung. Praktikerinnen und Praktiker erhalten mit der Zusammenführung der beiden Perspektiven eine umfangreiche Hilfestellung für die Anlage situationsangemessener Evaluationen.

Schwächen
Auch wenn es Stakes Anliegen ist, die beiden Sphären, also standard-basierte und responsive Denk- und Vorgehensweisen zu verbinden, bleiben sie in seiner Darstellung häufig unverbunden nebeneinander stehen. In der Evaluationspraxis sind Kombinationen und Verschränkungen von kriteriengestützten und responsiven Verfahren mittlerweile eher die Regel als die Ausnahme. So kommen qualitativ ausgerichtete Evaluationen häufig nicht ohne einen Bezug zu den Programmzielen und die Berücksichtigung vergleichbarer, standardisierter Daten aus. Ebenso wenig verzichten Evaluationen, deren Schwerpunkt auf der Gewinnung statistischer Ergebnisse liegt, auf die qualitative Erhebung der Einschätzungen von Programmbeteiligten oder weiteren Gruppen.

Besonderheiten

Das Buch ist sehr anschaulich geschrieben, teils kommt das Gefühl eines persönlichen Gesprächs zwischen Autor und Leser/Leserin auf. Bemerkenswert ist die dichte und abwechslungsreiche Kapitelgestaltung: Inspiriert durch fiktive Diskurse Galileo Galileis endet jedes Kapitel mit einem humoristischen Dialog zwischen der Evaluatorin Phyllis und ihrem Vorgesetzten Mr. Sagredo. Ein digitaler Appendix (ftp://webftp.sagepub.com/StakeAppendix) liefert zusätzliche Materialien wie Projektskizzen und Evaluationsberichte.

Standardisierte Checkliste für die Rezension

A – Inhalte

Die folgende Liste zeigt mögliche Inhalte eines Lehrbuchs für Evaluation. Es muss nicht unbedingt ein Vorteil sein, wenn ein Buch alle Inhalte abdeckt, bzw. ein Nachteil, sollten nicht alle Inhalte behandelt werden. Vielmehr kommt es darauf an, dass die Inhalte vor dem Hintergrund des Anspruchs und der Zielsetzung des Buches in genügender Breite und Tiefe dargestellt sind.

 

Geht das Buch ein auf… ja teil-weise nein Bemerkungen
1 …Definition, Funktionen und Zwecke von Evaluation? x       Schwerpunkt auf Kriterien und Standards
2 …Ansätze und Theorien der Evaluation (z.B. im Rahmen eines gegenüberstellenden Überblicks)? x      Eher Fokussierung von zwei zentralen Zugängen: Standards-based und responsive Evaluation, kürzere Ausführungen zu democratic und participatory Evaluation
3 …die geschichtliche Entwicklung der Evaluation?      x  
4 …die DeGEval-Standards (und/oder internationale Äquivalente)?   x    Im Zusammenhang mit ethischen Fragen
5 …Organisations- und Feldkenntnisse, Kontextwissen?   x    
6 …das Projektmanagement bei Evaluationen?      x  
7 …Sozial- und Selbstkompetenzen von Evaluierenden? x       
8 …aktuelle internationale Evaluationsliteratur?   x   Buch ist von 2004 und damit schon etwas älter, hat nicht den Anspruch aktuelle Literatur zum Thema zu präsentieren, sondern zitiert punktuell zur Bekräftigung eigener Thesen/Ansätze
9 …den gesamten Evaluationsprozess (vom Erstkontakt und der Planung über die Datenerhebung und -analyse, die Berichterstattung bis hin zur Metaevaluation)? x        


B – Didaktik

Bei dem zu rezensierenden Buch handelt es sich (im weitesten Sinne) um ein Lehrbuch, d.h. um ein Medium, das explizit mit didaktischen Intentionen gestaltet wurde und allgemein oder themenspezifisch zu einzelnen Anwendungs- oder Teilbereichen der Evaluation informieren und die aktive Auseinandersetzung mit den dargestellten Inhalten anregen soll. Vor diesem Hintergrund stellen sich im Rahmen der Rezension die folgenden Fragen: 

 

  ja teil-weise nein Bemerkungen
1 Wird gesagt, an wen sich das Buch richtet? (Zielgruppe(n)) x        
2 Wird gesagt, für welche didaktischen (Anwendungs-)Kontexte sich das Buch eignet? x       
3 Werden konkrete Lernziele formuliert?      x  
4 Sind Fragen zur Selbstkontrolle und/oder Übungen enthalten?       x  
5 Wird der Bezug zur Praxis in angemessenem Umfang hergestellt (z.B. mit Fallbeispielen, konkreten Handlungsempfehlungen)? x       Enthält viele Arbeitsproben und Beispiele


C – Textgestaltung

Mit Blick auf die Zielgruppe(n) bzw. den Anwendungskontext des Lehrbuches können auch gestalterische Kriterien an das Medium gestellt werden.

 


ja teil-weise nein Bemerkungen
1 Ist die verwendete Sprache prägnant und verständlich? x      
2 Ist die Gliederung übersichtlich und folgt der Aufbau einer erkennbaren Logik („roter Faden“)? x      
3 Werden Abbildungen, Tabellen, Illustrationen etc. in geeigneter Form und geeignetem Umfang eingesetzt? x      
4 Ist der Umfang des Buches dem Inhalt und den Zielsetzungen des Buches angemessen? x    

5 Alles in allem: Ist der Text hinsichtlich Inhalt und Niveau der Zielgruppe angepasst? x      


D – Formale Kriterien

Abschliessend werden noch einige formale Kriterien aufgeführt, die bei einer Buchbeurteilung zu berücksichtigen sind:

 

Das Buch… ja

teil-weise nein

Bemerkungen

1 …hat ein angemessenes und nutzendenfreundliches Layout. x      
2 …enthält ein Glossar zentraler Begriffe.     x  
3 …enthält ein Autoren-/Autorinnenverzeichnis. x      
4 …enthält ein Stichwortverzeichnis. x      
5 …enthält Hinweise auf weiterführende Literaturquellen.   x    Nicht extra als solche ausgewiesen
6 …hat einen dem zu erwartenden Nutzen angemessenen Preis.     x  Mit ca. 73 $ (Paperback) sehr teuer
7 …ist für alle Interessierten leicht verfügbar (z.B. über den Buchhandel; ggf. Bemerkungen zu alternativen Bezugswegen).      


Weitere Rezensionen dieser Publikation:
• von Susanne Mäder


Zuletzt geändert: 14. März 2015

Dr. Dörte Schott

Freie Evaluatorin
Telefon: +49 228 6296673
Email:info [at] doerte-schott.de

Sandra Schopper, M.A.

Studiengangskoordinatorin "Master of Evaluation"

Universität des Saarlandes und Hochschule für Technik und Wirtschaft des Saarlandes

Telefon: 0681/ 302-4328
E-Mail: s.schopper@mx.uni-saarland.de