Sie sind hier:Home»Arbeitskreise»Professionalisierung (ehemals: Aus- und Weiterbildung in der Evaluation)»Lehrbuch-Rezensionen

Lehrbuch-Rezensionen

Beywl, W., Kehr, J., Mäder, S., & Niestroj, M. (2007). Evaluation Schritt für Schritt: Planung von Evaluationen. Münster: hiba.

beywl_schritt_fur_schritt   ISBN: 978-3-89751-226-9
Preis: 14,00 Euro/20,90 CHF (unverbindliche Preisangabe)
Rezensiert von Heike Steckhan, Dezember 2012/Januar 2013
Verlag

Zusammenfassung der Inhalte


Der Band, erschienen in der Reihe Weiterbildung des heidelberger institut beruf und arbeit (hiba), ist als kompakter Leitfaden zur systematischen Planung und Umsetzung von Evaluation konzipiert. Die Autorinnen und Autoren definieren Evaluation als „spezifische wissenschaftsbasierte Dienstleistung“ (S. 5). Basierend auf diesem Grundverständnis stellen sie auf 80 Seiten dar, wie die anfallenden Arbeitsschritte bewältigt werden können. Der Evaluationsprozess wird dabei in sechs Leistungsschritte eingeteilt: „Mit Beteiligten Zwecke und Nutzen festlegen“, „Gegenstand & Bedingungen sowie Fragestellungen klären“, „Untersuchungsplan festlegen“, „Daten erheben & auswerten“, „Schlussfolgern und bewerten“ und „Ergebnisverwendung einleiten“. Nach Vorbemerkungen und Einleitung ist jedem Schritt ein Kapitel gewidmet. Die Kapitel beginnen jeweils mit einem Überblick über die Aufgaben, wobei Bezug auf die relevanten Standards für Evaluation genommen wird, stellen dann die nötigen Planungs- und Durchführungsschritte dar und schließen mit einer Checkliste. Das Vorgehen anhand dieses Leitfadens soll sicher stellen, dass kein relevanter Arbeitsschritt vergessen wird. Innerhalb einzelner Kapitel werden verschiedene Möglichkeiten und Instrumente dargestellt, aus denen das für die jeweilige Evaluation und die dafür zur Verfügung stehenden Ressourcen bestmöglich passende Vorgehen ausgewählt werden kann Bei allen Schritten wird der Einbezug von Beteiligten und Betroffenen, mit den darin liegenden Vorteilen und Schwierigkeiten angesprochen. Im letzten Kapitel wird ein besonderer Schwerpunkt auf den Nutzen und die Nutzung von Evaluationen durch Auftraggebende und Beteiligte gelegt.

Die Autorinnen und Autoren geben an, der Band solle Praktikerinnen und Praktikern als Handreichung dienen, „wie Evaluation qualifiziert vergeben, geplant und durchgeführt werden kann“ (S. 5). Der Text wird diesem Anspruch gerecht, indem er konsequent auf Praxis und Umsetzung hin orientiert ist, ohne dabei zu geringe Ansprüche an eine qualifizierte Durchführung zu stellen. In knapper Form und verständlicher Sprache wird der Ablauf von Evaluation beschrieben und durch Beispiele, Grafiken und Tipps illustriert. Auf theoretische Hintergründe und vertiefte Darstellungen wird zu Gunsten des kompakten „Kochrezept-Formats“ verzichtet. Wo eine umfangreichere Auseinandersetzung mit einem Thema nötig wäre, zum Beispiel zu Datenerhebungs- und Auswertungsmethoden, wird auf Literatur und weitere Informationsquellen verwiesen. Einsteigerinnen und Einsteiger, die lernen möchten, selbstständig Evaluationen durchzuführen, sollten sich mit Hilfe dieser Quellen über die Lektüre des Bandes hinaus weiterbilden.

Das Buch eignet sich für

Die Autorinnen und Autoren nennen als Zielgruppe Praktikerinnen und Praktiker, wobei keine direkten Angaben zum Vorwissen der Zielgruppe gemacht wird. Implizit werden aber Personen angesprochen, die bisher keine oder sehr geringe Erfahrung mit Evaluation haben. Durch seine kompakte Form ist der Band attraktiv für Einsteigerinnen und Einsteiger, die einen schnellen Überblick über den Ablauf von Evaluationen erhalten möchten und weniger an ausführlichen Darstellungen von Theorien, Ansätzen und Methoden von Evaluation interessiert sind. Der Band beschränkt sich nicht auf ein Anwendungsgebiet von Evaluation und eignet sich daher für Evaluierende in verschiedenen Kontexten. Neben der Nutzung im praktischen Kontext wäre auch eine akademische Nutzung als Lektüre und Handlungsleitfaden in praxisorientierten Lehrveranstaltungen zu Evaluation denkbar.

Stärken und Schwächen

Durch den kompakten Umfang und den Einsatz von Grafiken und Praxisbeispielen ist mit dem Band ein übersichtlicher Einblick in den gesamten Ablauf von Evaluation gelungen. Es werden alle wichtigen Schritte angesprochen und in knapper aber professioneller Form erläutert. Einige Arbeitsschritte werden verkürzt dargestellt, jedoch durch Verweise auf vertiefende Texte unterfüttert. Im Fokus des Textes stehen handlungsrelevante Hinweise zur Planung und Durchführung von Evaluation. Theorien der Evaluation, aktuelle Ansätze in der Evaluationsforschung oder auch die geschichtliche Entwicklung von Evaluation werden kaum thematisiert. Auch auf die Darstellung von spezifischem Kontextwissen, wie Organisations- und Feldkenntnisse, wird verzichtet, was den Band aber für eine breite Zielgruppe öffnet. Der Band ist kein Lehrbuch im klassischen Sinne, er enthält keine Übungen oder Aufgaben, sondern ist stark auf eine direkte praktische Anwendung fokussiert. Für die intendierte Zielgruppe der Praktikerinnen und Praktiker stellt er eine sinnvolle Einstiegslektüre dar.

Besonderheiten

Die praxisorientierte, leicht lesbare und dabei trotzdem professionelle Darstellung des Ablaufs einer Evaluation zeichnet diesen Band aus. Die enthaltenen, anschaulichen Grafiken könnten auch in anderen Kontexten als der Weiterbildung für PraktikerInnen zur Erläuterung von Evaluation und ihrem Vorgehen genutzt werden. Mit den umfangreichen Praxistipps und Checklisten kann er auch erfahrenen EvaluatorInnen noch Anregungen bieten.

Standardisierte Checkliste für die Rezension

A – Inhalte

Die folgende Liste zeigt mögliche Inhalte eines Lehrbuchs für Evaluation. Es muss nicht unbedingt ein Vorteil sein, wenn ein Buch alle Inhalte abdeckt, bzw. ein Nachteil, sollten nicht alle Inhalte behandelt werden. Vielmehr kommt es darauf an, dass die Inhalte vor dem Hintergrund des Anspruchs und der Zielsetzung des Buches in genügender Breite und Tiefe dargestellt sind.

 

Geht das Buch ein auf… ja teil-weise nein Bemerkungen
1 …Definition, Funktionen und Zwecke von Evaluation? x       Vor allem auf die Zwecke, weniger auf Definition
2 …Ansätze und Theorien der Evaluation (z.B. im Rahmen eines gegenüberstellenden Überblicks)?       x  
3 …die geschichtliche Entwicklung der Evaluation?      x  
4 …die DeGEval-Standards (und/oder internationale Äquivalente)? x        
5 …Organisations- und Feldkenntnisse, Kontextwissen?      x  
6 …das Projektmanagement bei Evaluationen? x        
7 …Sozial- und Selbstkompetenzen von Evaluierenden?    x    Eher implizit
8 …aktuelle internationale Evaluationsliteratur?      x  
9 …den gesamten Evaluationsprozess (vom Erstkontakt und der Planung über die Datenerhebung und -analyse, die Berichterstattung bis hin zur Metaevaluation)? x        


B – Didaktik

Bei dem zu rezensierenden Buch handelt es sich (im weitesten Sinne) um ein Lehrbuch, d.h. um ein Medium, das explizit mit didaktischen Intentionen gestaltet wurde und allgemein oder themenspezifisch zu einzelnen Anwendungs- oder Teilbereichen der Evaluation informieren und die aktive Auseinandersetzung mit den dargestellten Inhalten anregen soll. Vor diesem Hintergrund stellen sich im Rahmen der Rezension die folgenden Fragen: 

 

 

ja teil-weise nein Bemerkungen
1 Wird gesagt, an wen sich das Buch richtet? (Zielgruppe(n)) x        
2 Wird gesagt, für welche didaktischen (Anwendungs-)Kontexte sich das Buch eignet?    x    "Der vorliegende Band will Praktikerinnen und Praktikern eine Handreichung geben, wie sie Evaluation systematisch planen und umsetzen können" (S. 5)..
3 Werden konkrete Lernziele formuliert? x        
4 Sind Fragen zur Selbstkontrolle und/oder Übungen enthalten?       x  
5 Wird der Bezug zur Praxis in angemessenem Umfang hergestellt (z.B. mit Fallbeispielen, konkreten Handlungsempfehlungen)? x        


C – Textgestaltung

Mit Blick auf die Zielgruppe(n) bzw. den Anwendungskontext des Lehrbuches können auch gestalterische Kriterien an das Medium gestellt werden.

 

 

ja

teil-weise

nein

Bemerkungen

1 Ist die verwendete Sprache prägnant und verständlich? x      
2 Ist die Gliederung übersichtlich und folgt der Aufbau einer erkennbaren Logik („roter Faden“)? x      
3 Werden Abbildungen, Tabellen, Illustrationen etc. in geeigneter Form und geeignetem Umfang eingesetzt? x      
4 Ist der Umfang des Buches dem Inhalt und den Zielsetzungen des Buches angemessen?   x   Der Band ist zu knapp, um jemanden nur durch die Lektüre dazu zu befähigen, Evaluationen selbständig durchzuführen. Für eine vertiefte Auseinandersetzung bietet der Band allerdings viele Ansatzpunkte.
5 Alles in allem: Ist der Text hinsichtlich Inhalt und Niveau der Zielgruppe angepasst? x      


D – Formale Kriterien

Abschliessend werden noch einige formale Kriterien aufgeführt, die bei einer Buchbeurteilung zu berücksichtigen sind:

 

Das Buch… ja teil-weise nein Bemerkungen
1

…hat ein angemessenes und nutzendenfreundliches Layout. x      
2 …enthält ein Glossar zentraler Begriffe.     x Aufgrund der knappen Form nicht nötig.
3 …enthält ein Autoren-/Autorinnenverzeichnis. x      
4 …enthält ein Stichwortverzeichnis.     x Aufgrund der knappen Form nicht nötig.
5 …enthält Hinweise auf weiterführende Literaturquellen. x      
6 …hat einen dem zu erwartenden Nutzen angemessenen Preis. x      
7

…ist für alle Interessierten leicht verfügbar (z.B. über den Buchhandel; ggf. Bemerkungen zu alternativen Bezugswegen).   x   Über hiba direkt verfügbar (hier) bestellbar, bei Amazon derzeit nicht verfügbar.

Gollwitzer, M., Jäger, R. S. (2007). Evaluation kompakt. Weinheim, Basel: Beltz PVU.

gollwitzer_evaluation   ISBN: 978-3-621-27758-7
Preis: 26,95 Euro (unverbindliche Preisangabe)
Rezensiert von Jörg Rech, März 2013
Amazon / buch.de / Verlag 

Zusammenfassung der Inhalte


Das Buch behandelt in drei Teilen grundlegende Evaluationsbegrifflichkeiten und -modelle, relevante Fragestellungen bezüglich Zweck und Zeitpunkt von Evaluationen sowie methodische Aspekte von Evaluationen. Der letztgenannte, methodische Teil der Publikation legt den Fokus auf quantitativ-empirische Erhebungsmethoden und statistische Auswertungsverfahren.
Teil 1 des Buches gibt in zwei Kapiteln einen einführenden Überblick über das Themengebiet der Evaluation (S. 1-38). Er beinhaltet eine Klärung des Begriffs und möglicher Zielsetzungen von Evaluation sowie damit zusammenhängenden Aspekten (z.B. Wirksamkeit). Weiterhin werden die historische Entwicklung von Evaluation, Gütekriterien und Evaluationsstandards sowie verschiedene Evaluationsmodelle überblicksartig dargestellt.

Der zweite und umfangreichste Teil widmet sich in sechs Kapiteln verschiedenen Fragestellungen unter Berücksichtigung von Zeitpunkt und Zweck der Evaluation (S. 39-132). Er beginnt mit der Evaluation von Ist-Zuständen – auch in vergleichender Perspektive (Kapitel 3). Dieses Kapitel zeigt unterschiedliche Erwartungen auf, die im Evaluationsprozess bestehen können. Zudem wird erörtert, wie ein Evaluationsauftrag näher bestimmt werden kann und welche Stakeholder hierbei einzubeziehen sind. Neben der Einführung von Kennwerten und Vergleichskriterien zur Beschreibung von Ist-Zuständen wird dargestellt, wie Gruppenvergleiche statistisch berechnet werden. Kapitel 4 beschäftigt sich mit der Evaluation von Veränderungen. Darin wird – unter Berücksichtigung methodischer Probleme – gezeigt, welche Arten von Veränderungen existieren und wie diese statistisch beschrieben werden können. Kapitel 5 beleuchtet Themen in Zusammenhang mit der Evaluation von Wirkungen, wie z.B. Wirkungsmodelle, Hypothesen, Nachhaltigkeit von Wirkungen, Neben- und Folgewirkungen, Kausalität und Robustheit. Die Effizienzanalyse ist Gegenstand von Kapitel 6, wobei u.a. die Bestimmung von Kosten und der Unterschied zwischen Nutzen und Wirkung erläutert werden. Zudem werden zwei Modelle der Effizienzanalyse (Kosten-Nutzen- und Kosten-Effektivität-Analyse) beschrieben. Die sog. ‚Prospektive Evaluation‘ (Kapitel 7) beschäftigt sich mit der Frage, ob überhaupt ein Interventionsbedarf besteht. Gegenstand des Kapitels ist daher die Bedarfsanalyse und wie diese dazu beiträgt, Problem, Zielgruppe und Zielformulierung sowie ein Maßnahmenkonzept zu bestimmen. Der zweite Teil des Buches endet schließlich mit der Darstellung formativer Evaluationen (Kapitel 8). Dabei geht es um die Frage, wie Evaluation zur Programmoptimierung und Implementationskontrolle während der Maßnahmendurchführung beitragen kann.
Methodische Aspekte von Evaluationen sind Bestandteil des dritten und letzten Buchteils (S. 133-208). In drei Kapiteln werden quantitative und qualitative Methoden der Datengewinnung (Kapitel 9), verschiedene Evaluationsdesigns (Kapitel 10) und statistische Datenauswertungsverfahren (Kapitel 11) vorgestellt. Auf Instrumente zur Auswertung qualitativer Daten wird jedoch nicht eingegangen.

Das Buch eignet sich für

Das Buch richtet sich an Studierende der Sozialwissenschaften und Personen, die sich im beruflichen Kontext mit Evaluation auseinandersetzen und sich Methodenkenntnisse zur Durchführung von Evaluationen aneignen möchten (S. XII). Wird das Buch zum Selbststudium genutzt, sollte ein Grundwissen in den Bereichen quantitative Methoden und Statistik vorhanden sein.

Stärken und Schwächen

Das Buch ist als Lehrbuch konzipiert. Jedes Kapitel beginnt mit einem Überblick darüber, was in dem Kapitel zu erwarten ist. Das Buch ist systematisch aufgebaut und enthält ein Glossar. Das Evaluationsthema wird durch viele Beispiele, übersichtliche Darstellungen sowie eine verständliche Sprache anschaulich näher gebracht. Zudem beinhaltet jedes Kapitel Angaben zu weiterführender Literatur und Übungsaufgaben, die den Leser(inne)n die Möglichkeit bieten, das durch das Buch erworbene Wissen zu vertiefen.
Insbesondere zwei Schwächen können identifiziert werden. Erstens wird die über weite Strecken des Buches übersichtliche und verständliche Aufarbeitung von Evaluationsthemen dadurch getrübt, dass gerade in den Abschnitten, die zentral für ein Lehrbuch sind (Konzepte und Begriffe), die Ausführungen unvollständig bleiben bzw. nicht in die Tiefe gehen. Zweitens fehlen im methodischen Bereich wichtige Bestandteile, da qualtitative Erhebungsmethoden zu knapp und qualitative Auswertungsverfahren überhaupt nicht behandelt werden. Darüber hinaus bleibt zu beachten, dass ein methodisches Grundwissen von Vorteil für den Leser ist.

Besonderheiten

CD mit Übungsbeispielen

Standardisierte Checkliste für die Rezension

A – Inhalte

Die folgende Liste zeigt mögliche Inhalte eines Lehrbuchs für Evaluation. Es muss nicht unbedingt ein Vorteil sein, wenn ein Buch alle Inhalte abdeckt, bzw. ein Nachteil, sollten nicht alle Inhalte behandelt werden. Vielmehr kommt es darauf an, dass die Inhalte vor dem Hintergrund des Anspruchs und der Zielsetzung des Buches in genügender Breite und Tiefe dargestellt sind.

 

Geht das Buch ein auf… ja teil-weise nein Bemerkungen
1 …Definition, Funktionen und Zwecke von Evaluation?   x    Funktionen und Zwecke von Evaluationen werden erläutert. Es gibt aber weder eine Begriffsherleitung noch einen Überblick über die verschiedenen Definitionen des Begriffs Evaluation; es wird lediglich eine Definition vorgestellt und dem Begriff der Evaluationsforschung gegenüber gestellt (S. 6). Dabei werden die Begriffe Evaluation und Evaluationsforschung so voneinander abgegrenzt, dass systematische Verfahren zur Datengewinnung nicht der Evaluation, sondern der Evaluationsforschung zugeschrieben werden. Dadurch unterscheidet sich die hier verwendete Evaluationsdefinition von der vieler anderer Autoren (z.B. Rossi et al., 1999; DeGEval, 2002).
2 …Ansätze und Theorien der Evaluation (z.B. im Rahmen eines gegenüberstellenden Überblicks)?    x    Es gibt lediglich eine stichpunktartige Klassifizierung und Darstellung von vier theoretischen Positionen bzw. Ansätzen. Dabei werden auch die Vertreter/innen der Ansätze genannt (S. 9ff.).
3 …die geschichtliche Entwicklung der Evaluation?   x    Die Beschreibung der geschichtlichen Entwicklung der Evaluation beschränkt sich auf wenige Meilensteine mit dem Fokus auf die USA.
4 …die DeGEval-Standards (und/oder internationale Äquivalente)? x       Nennung und ausreichende Beschreibung der DeGEval-Standards.
5 …Organisations- und Feldkenntnisse, Kontextwissen?      x Der Schwerpunkt des Buches liegt darauf, methodische Vorgehensweisen zur Bearbeitung verschiedener Evaluationsfragestellungen aufzuzeigen. Projektmanagement,  Organisations- und Feldkenntnisse sowie Sozial- und Selbstkompetenzen werden dabei nicht spezifisch behandelt. Teilweise werden Kontextwissen und Projektmanagementkenntnisse durch die Darstellung von Evaluationsbeispielen implizit mitbehandelt. Bei der angegebenen Literatur handelt es sich im Wesentlichen um Methodenbücher. Da das  Buch eine Neuauflage der Ausgabe „Evaluation“ aus der „Workbook“-Reihe des gleichen Verlags von 2007 ist, wird aktuelle Evaluationsliteratur nicht präsentiert.
6 …das Projektmanagement bei Evaluationen?      x
7 …Sozial- und Selbstkompetenzen von Evaluierenden?      x
8 …aktuelle internationale Evaluationsliteratur?     
9 …den gesamten Evaluationsprozess (vom Erstkontakt und der Planung über die Datenerhebung und -analyse, die Berichterstattung bis hin zur Metaevaluation)?   x   


B – Didaktik

Bei dem zu rezensierenden Buch handelt es sich (im weitesten Sinne) um ein Lehrbuch, d.h. um ein Medium, das explizit mit didaktischen Intentionen gestaltet wurde und allgemein oder themenspezifisch zu einzelnen Anwendungs- oder Teilbereichen der Evaluation informieren und die aktive Auseinandersetzung mit den dargestellten Inhalten anregen soll. Vor diesem Hintergrund stellen sich im Rahmen der Rezension die folgenden Fragen: 

 

 

ja teil-weise nein Bemerkungen
1 Wird gesagt, an wen sich das Buch richtet? (Zielgruppe(n)) x        
2 Wird gesagt, für welche didaktischen (Anwendungs-)Kontexte sich das Buch eignet?    x    Das Buch ist offensichtlich für das Selbststudium konzipiert, obgleich nicht explizit erwähnt wird, für welche didaktischen (Anwendungs-)Kontexte sich das Buch eignet.
3 Werden konkrete Lernziele formuliert? x       Zu Beginn jedes Kapitels.
4 Sind Fragen zur Selbstkontrolle und/oder Übungen enthalten? x      Am Ende jedes Kapitels.
5 Wird der Bezug zur Praxis in angemessenem Umfang hergestellt (z.B. mit Fallbeispielen, konkreten Handlungsempfehlungen)? x        


C – Textgestaltung

Mit Blick auf die Zielgruppe(n) bzw. den Anwendungskontext des Lehrbuches können auch gestalterische Kriterien an das Medium gestellt werden.

 

 

ja teil-weise nein Bemerkungen
1 Ist die verwendete Sprache prägnant und verständlich? x      
2 Ist die Gliederung übersichtlich und folgt der Aufbau einer erkennbaren Logik („roter Faden“)? x      
3 Werden Abbildungen, Tabellen, Illustrationen etc. in geeigneter Form und geeignetem Umfang eingesetzt? x      
4 Ist der Umfang des Buches dem Inhalt und den Zielsetzungen des Buches angemessen?   x   Begriffe und Konzepte werden zu knapp behandelt.
5 Alles in allem: Ist der Text hinsichtlich Inhalt und Niveau der Zielgruppe angepasst?   x   Vorkenntnisse in Methoden der empirischen Sozialforschung bzw. in Statistik sind für das Textverständnis von Vorteil.


D – Formale Kriterien

Abschliessend werden noch einige formale Kriterien aufgeführt, die bei einer Buchbeurteilung zu berücksichtigen sind:

 

Das Buch… ja teil-weise nein Bemerkungen
1 …hat ein angemessenes und nutzendenfreundliches Layout. x      
2 …enthält ein Glossar zentraler Begriffe. x      
3 …enthält ein Autoren-/Autorinnenverzeichnis. x  

   
4 …enthält ein Stichwortverzeichnis. x      
5 …enthält Hinweise auf weiterführende Literaturquellen. x      
6 …hat einen dem zu erwartenden Nutzen angemessenen Preis. x      
7 …ist für alle Interessierten leicht verfügbar (z.B. über den Buchhandel; ggf. Bemerkungen zu alternativen Bezugswegen). x      

Stake, R.E. (2007). Standards-Based & Responsive Evaluation. London: Sage.

stake_standards   ISBN: 0-7619-2665-8
Preis: 73 Dollar, Paperback (unverbindliche Preisangabe)
Rezensiert von Susanne Mäder, September 2012
Amazon / buch.de (Taschenbuch) / Verlag 


Zusammenfassung der Inhalte


Bereits der Titel enthält die zentrale Botschaft des Buches: die Verbindung einer messorientierten (standard-based) mit einer erfahrungsorientierten (responsive) Perspektive. Robert Stake erweitert und vertieft mit diesem Werk seinen responsiven Evaluationsansatz. Er versteht sich als Alternative zu den bis in die 70 er Jahre vorherrschenden „geschlossenen“ Evaluationsmodellen und fordert, die Wertperspektiven der Programmbeteiligten in die Evaluation einzubeziehen und empfänglich (responsiv) auf die Anliegen der Beteiligten zu reagieren. Zu Beginn führt Stake in die Denkweisen der kriteriengestützten und interpretativen Evaluation ein (Kap. 1). Die Beschreibung und Bewertung eines Evaluationsgegenstandes kann demnach auf zwei Wegen erfolgen: durch standard-basierte und/oder durch responsive Evaluation. Erstere bildet die Qualität durch Zahlen, Skalen und Standards ab. Sie repräsentiert eine quantitative, kriterienbasierte Betrachtungsweise. Bei der responsiven Evaluation wird Qualität durch subjektive Erfahrung erfasst, durch verbale Beschreibung und multiperspektivische Einschätzung. Stake bezeichnet sie als qualitative Evaluation –  episodisch und ganzheitlich. Standard-based Evaluation (Kap. 3) nutzt vorrangig Evaluationsmethoden, die kriteriengestützt Erkenntnisse erzeugen. Zentrale Steuerungselemente (factors) dieser Vorgehensweise sind Bedarfe der Zielgruppe, Programmziele, -leistung und -kosten sowie Evaluationskriterien, Evaluationsstandards und Synthese der Ergebnisse. Responsiv Evaluierende (Kap. 4) zeichnen sich dadurch aus, dass sie sich durch persönliche Erfahrung leiten lassen sowie die Beteiligten und ihre Werte einbeziehen. Um die Qualität des Programms zu erschließen, sucht die evaluierende Person nach persönlichen und szenischen Eindrücken, die im weiteren Verlauf korrigiert und angepasst werden. Responsive Evaluation schließt kriterien-gestützte Vorgehensweisen nicht aus. Kapitel 5 skizziert Fallstricke im Datenerhebungsprozess und gibt Hinweise zu Anwendungsbereichen und -formen von Evaluationsmethoden. Neben den typischen Datenerhebungsinstrumenten wie Interviews und Surveys skizziert Stake die Bedeutung der Rekonstruktion von (Spannungs-)Themen (issues) im Evaluationsprozess. In der responsiven Evaluation ist es ein wichtiges Erkenntnisinstrument, die Geschichte des Programms, seine Ausgangssituation und die Art und Weise der Implementation nachzuerzählen. Anschließend an Ausführungen zu Analyse, Synthese und Meta-Evaluation (Kap. 6) widmet sich Stake der besonderen Bedeutung von Stakeholdern im Evaluationsprozess (Kap. 7). Hier werden u. a. weitere beteiligtenorientierte Ansätze wie die partizipative, nutzungsfokussierte und demokratische Evaluation dargestellt. Im vorletzten Kapitel werden interpretative Zugänge zu zentralen Evaluations-Issues wie Programmnormierung und Know-How-Generierung bei Stakeholdern erläutert. Kapitel 9 setzt sich kritisch mit Evaluation als evidenzbasierter Forschung auseinander. Abschließend werden ethische Implikationen und Verantwortlichkeiten diskutiert.

Das Buch eignet sich für

Das Buch richtet sich an Studierende höherer Semester und verschiedener Studiengänge wie Erziehungswissenshaften, Kommunikation, Soziale Arbeit, Anthropologie, Psychologie und Soziologie etc. Es richtet sich an Personen mit Erfahrungen in sozialen und pädagogischen Programmen und wurde als Lehrbuch für Einführungskurse in Programmevaluation konzipiert. Stake gibt auch Hinweise für Dozentinnen und Dozenten, wie sie das Buch in Seminaren nutzen können: als Diskussionsquelle für herausfordernde Themen oder auch als Ausgangspunkt für die Entwicklung von Projekten durch die Seminarteilnehmenden. Das Lehrbuch ist nicht für Personen geschrieben, die eindeutige Antworten suchen: „Evaluation is situational. There is no one best way.“ (S. XIV)

Stärken und Schwächen

Stärken
Stake stellt aussagekräftige Orientierungs- und Reflexionshilfen in Form von Phasenmodellen, Schaubildern und Erfahrungsberichten bereit. Für konzeptionelle Entscheidungen steht ein reichhaltiger Fundus aus 45 Jahren Evaluationspraxis zur Verfügung. Praktikerinnen und Praktiker erhalten mit der Zusammenführung der beiden Perspektiven eine umfangreiche Hilfestellung für die Anlage situationsangemessener Evaluationen.

Schwächen
Auch wenn es Stakes Anliegen ist, die beiden Sphären, also standard-basierte und responsive Denk- und Vorgehensweisen zu verbinden, bleiben sie in seiner Darstellung häufig unverbunden nebeneinander stehen. In der Evaluationspraxis sind Kombinationen und Verschränkungen von kriteriengestützten und responsiven Verfahren mittlerweile eher die Regel als die Ausnahme. So kommen qualitativ ausgerichtete Evaluationen häufig nicht ohne einen Bezug zu den Programmzielen und die Berücksichtigung vergleichbarer, standardisierter Daten aus. Ebenso wenig verzichten Evaluationen, deren Schwerpunkt auf der Gewinnung statistischer Ergebnisse liegt, auf die qualitative Erhebung der Einschätzungen von Programmbeteiligten oder weiteren Gruppen.

Besonderheiten

Das Buch ist sehr anschaulich geschrieben, teils kommt das Gefühl eines persönlichen Gesprächs zwischen Autor und Leser/Leserin auf. Bemerkenswert ist die dichte und abwechslungsreiche Kapitelgestaltung: Inspiriert durch fiktive Diskurse Galileo Galileis endet jedes Kapitel mit einem humoristischen Dialog zwischen der Evaluatorin Phyllis und ihrem Vorgesetzten Mr. Sagredo. Ein digitaler Appendix (ftp://webftp.sagepub.com/StakeAppendix) liefert zusätzliche Materialien wie Projektskizzen und Evaluationsberichte.

Standardisierte Checkliste für die Rezension

A – Inhalte

Die folgende Liste zeigt mögliche Inhalte eines Lehrbuchs für Evaluation. Es muss nicht unbedingt ein Vorteil sein, wenn ein Buch alle Inhalte abdeckt, bzw. ein Nachteil, sollten nicht alle Inhalte behandelt werden. Vielmehr kommt es darauf an, dass die Inhalte vor dem Hintergrund des Anspruchs und der Zielsetzung des Buches in genügender Breite und Tiefe dargestellt sind.

 

Geht das Buch ein auf… ja teil-weise nein Bemerkungen
1 …Definition, Funktionen und Zwecke von Evaluation? x       Schwerpunkt auf Kriterien und Standards
2 …Ansätze und Theorien der Evaluation (z.B. im Rahmen eines gegenüberstellenden Überblicks)? x      Eher Fokussierung von zwei zentralen Zugängen: Standards-based und responsive Evaluation, kürzere Ausführungen zu democratic und participatory Evaluation
3 …die geschichtliche Entwicklung der Evaluation?      x  
4 …die DeGEval-Standards (und/oder internationale Äquivalente)?   x    Im Zusammenhang mit ethischen Fragen
5 …Organisations- und Feldkenntnisse, Kontextwissen?   x    
6 …das Projektmanagement bei Evaluationen?      x  
7 …Sozial- und Selbstkompetenzen von Evaluierenden? x       
8 …aktuelle internationale Evaluationsliteratur?   x   Buch ist von 2004 und damit schon etwas älter, hat nicht den Anspruch aktuelle Literatur zum Thema zu präsentieren, sondern zitiert punktuell zur Bekräftigung eigener Thesen/Ansätze
9 …den gesamten Evaluationsprozess (vom Erstkontakt und der Planung über die Datenerhebung und -analyse, die Berichterstattung bis hin zur Metaevaluation)? x        


B – Didaktik

Bei dem zu rezensierenden Buch handelt es sich (im weitesten Sinne) um ein Lehrbuch, d.h. um ein Medium, das explizit mit didaktischen Intentionen gestaltet wurde und allgemein oder themenspezifisch zu einzelnen Anwendungs- oder Teilbereichen der Evaluation informieren und die aktive Auseinandersetzung mit den dargestellten Inhalten anregen soll. Vor diesem Hintergrund stellen sich im Rahmen der Rezension die folgenden Fragen: 

 

  ja teil-weise nein Bemerkungen
1 Wird gesagt, an wen sich das Buch richtet? (Zielgruppe(n)) x        
2 Wird gesagt, für welche didaktischen (Anwendungs-)Kontexte sich das Buch eignet? x       
3 Werden konkrete Lernziele formuliert?      x  
4 Sind Fragen zur Selbstkontrolle und/oder Übungen enthalten?       x  
5 Wird der Bezug zur Praxis in angemessenem Umfang hergestellt (z.B. mit Fallbeispielen, konkreten Handlungsempfehlungen)? x       Enthält viele Arbeitsproben und Beispiele


C – Textgestaltung

Mit Blick auf die Zielgruppe(n) bzw. den Anwendungskontext des Lehrbuches können auch gestalterische Kriterien an das Medium gestellt werden.

 


ja teil-weise nein Bemerkungen
1 Ist die verwendete Sprache prägnant und verständlich? x      
2 Ist die Gliederung übersichtlich und folgt der Aufbau einer erkennbaren Logik („roter Faden“)? x      
3 Werden Abbildungen, Tabellen, Illustrationen etc. in geeigneter Form und geeignetem Umfang eingesetzt? x      
4 Ist der Umfang des Buches dem Inhalt und den Zielsetzungen des Buches angemessen? x    

5 Alles in allem: Ist der Text hinsichtlich Inhalt und Niveau der Zielgruppe angepasst? x      


D – Formale Kriterien

Abschliessend werden noch einige formale Kriterien aufgeführt, die bei einer Buchbeurteilung zu berücksichtigen sind:

 

Das Buch… ja

teil-weise nein

Bemerkungen

1 …hat ein angemessenes und nutzendenfreundliches Layout. x      
2 …enthält ein Glossar zentraler Begriffe.     x  
3 …enthält ein Autoren-/Autorinnenverzeichnis. x      
4 …enthält ein Stichwortverzeichnis. x      
5 …enthält Hinweise auf weiterführende Literaturquellen.   x    Nicht extra als solche ausgewiesen
6 …hat einen dem zu erwartenden Nutzen angemessenen Preis.     x  Mit ca. 73 $ (Paperback) sehr teuer
7 …ist für alle Interessierten leicht verfügbar (z.B. über den Buchhandel; ggf. Bemerkungen zu alternativen Bezugswegen).      


Weitere Rezensionen dieser Publikation:
• von Susanne Mäder


Widmer, T., De Rocchi, T. (2012). Evaluation: Grundlagen, Ansätze und Anwendungen. Zürich: Rüegger.

widmer_evaluation    ISBN: 978-3-7253-0980-1
Preis: 16,50 Euro/22 CHF (unverbindliche Preisangabe)
Rezensiert von Verena Friedrich, November 2012
Amazon / buch.de / Verlag
 


Zusammenfassung der Inhalte


Der Band umfasst acht Kapitel. In der Einleitung (1) werden kurz die Entwicklung der Evaluation, der gegenwärtige Stand der Professionalisierung, aber auch problematische Tendenzen skizziert: Aufgrund von Unkenntnissen und Missverständnissen sehen die Autoren „teilweise überrissene Erwartungshaltungen gegenüber Evaluationen“ (S. 7) und wollen hier Aufklärung leisten. Im Kapitel ‚Grundbegriffe der Evaluation‘ (2) werden zunächst die Merkmale der Evaluation (Wissenschaftlichkeit, Dienstleistung, Bewertung) beschrieben, und die Evaluation wird von alltäglicher Bewertung, von wissenschaftlicher Forschung und von verschiedenen Instrumenten der Verwaltungspraxis (Audit, Controlling, Qualitätsmanagement etc.) abgegrenzt. Die Autoren gehen außerdem auf mit der Evaluation verwandte Ansätze ein (Gesetzes- und Regulierungsfolgenabschätzung, Nachhaltigkeitsbeurteilung etc.). Das Kapitel schließt mit der Klärung zentraler evaluatorischer Begrifflichkeiten. Das Kapitel ‚Entwicklung der Evaluation‘ (3) befasst sich zunächst mit der thematischen Entwicklung der Evaluation, v.a. in der Schweiz. Im Absatz zur konzeptionellen Entwicklung wird anhand des Guba-Lincoln’schen Modells der „vier Generationen“ die Entwicklung vom ‚Messen‘ über das ‚Beschreiben‘ bis zum ‚Bewerten‘ und ‚Verhandeln‘ nachgezeichnet und auch auf neuere Entwicklungen (z.B. multi-method Ansätze) Bezug genommen. Zum Schluss des Kapitels werden politische Rahmenbedingungen und ihre jeweiligen Einflüsse auf die Evaluation anhand von fünf „Evaluationskonjunkuren“ beschrieben. Das Kapitel ‚Theorien, Konzepte und Modelle‘ der Evaluation (4) ist mit 34 Seiten das umfangreichste im Buch. Abgestützt auf eine ähnliche Systematik von E. Vedung werden Effektivitäts-Modelle, ökonomische und akteursorientierte Modelle der Evaluation ausführlich dargestellt. Im Vergleich zum vorhergehenden Kapitel ist das Kapitel zu den ‚Methoden‘ (5) mit nur acht Seiten recht kursorisch. Entsprechend knapp wird auf Untersuchungsanlagen und  techniken, Datenerhebungs-, -aufbereitungs- und  auswertungsverfahren sowie auf methodische Besonderheiten der Evaluation eingegangen. Das Kapitel ‚Evaluationsprozess – Schritt für Schritt‘ (6) beschreibt anhand von vier Phasen (Planung, Ausarbeitung des Pflichtenhefts und Auftragsvergabe, Durchführung und Begleitung der Evaluation, Berichterstattung und Verbreitung der Resultate) den Evaluationsprozess für extern beauftragte Evaluationen, und zwar aus der Perspektive sowohl des Auftraggebenden als auch des Evaluierenden. Das Kapitel ‚Evaluation im Kontext‘ (7) ist in vier Absätze gegliedert: Im ersten Teil geht es um die institutionelle Einbettung der Evaluationsfunktion im schweizerischen politischen System; der zweite Teil befasst sich mit der Evaluationspraxis in der Schweiz; der dritte widmet sich der Evaluationsnutzung (Nutzungsforschung, „Theory of Influence“ und „Evidence-based policy making“), und der letzte Absatz behandelt das Thema Qualität der Evaluation (hier werden u.a. die Stärken und Grenzen der SEVAL-Standards kritisch gewürdigt). Im Kapitel ‚Diskussion‘ (8) stellen die Autoren „einige übergreifende Überlegungen zum Zustand der Evaluation“ (S. 164) an. Hier werden einige positive und negative Entwicklungen skizziert; die Autoren votieren dafür, dass „noch selektiver, zielorientierter und differenzierter“ (S. 167) evaluiert werden solle, damit sich die Zukunftsaussichten der Evaluation optimieren lassen.

Das Buch eignet sich für

Das Buch will ausdrücklich kein Lehrbuch im engeren Sinne sein, sondern informieren und aufklären; insofern sind die in der Checkliste (s.u.) aufgelisteten Kriterien nur teilweise anwendbar. Einen Schwerpunkt und eine Stärke des Buchs stellt das Kapitel vier zu den Evaluationsansätzen dar. Hier werden die unterschiedlichen Ansätze mit ihren wichtigsten Merkmalen übersichtlich, nachvollziehbar und ausführlich beschrieben, wobei jeweils auch ihre Stärken und Schwächen diskutiert werden. Zahlreiche Beispiele illustrieren die jeweiligen Herangehensweisen. Ein weiterer Fokus liegt auf der Institutionalisierung und der Praxis der Evaluation im schweizerischen politischen System; allerdings scheinen diese Darstellungen auf teilweise bereits etwas älteren Befunden zu beruhen.

Stärken und Schwächen

Durch den kompakten Umfang und den Einsatz von Grafiken und Praxisbeispielen ist mit dem Band ein übersichtlicher Einblick in den gesamten Ablauf von Evaluation gelungen. Es werden alle wichtigen Schritte angesprochen und in knapper aber professioneller Form erläutert. Einige Arbeitsschritte werden verkürzt dargestellt, jedoch durch Verweise auf vertiefende Texte unterfüttert. Im Fokus des Textes stehen handlungsrelevante Hinweise zur Planung und Durchführung von Evaluation. Theorien der Evaluation, aktuelle Ansätze in der Evaluationsforschung oder auch die geschichtliche Entwicklung von Evaluation werden kaum thematisiert. Auch auf die Darstellung von spezifischem Kontextwissen, wie Organisations- und Feldkenntnisse, wird verzichtet, was den Band aber für eine breite Zielgruppe öffnet. Der Band ist kein Lehrbuch im klassischen Sinne, er enthält keine Übungen oder Aufgaben, sondern ist stark auf eine direkte praktische Anwendung fokussiert. Für die intendierte Zielgruppe der Praktikerinnen und Praktiker stellt er eine sinnvolle Einstiegslektüre dar.

Besonderheiten

Die Autoren verstehen unter Evaluation ein „Instrument zur systematischen und transparenten Bewertung eines Gegenstands im öffentlichen Raum“ (S. 7); Evaluation wird mit Politikevaluation gleichgesetzt, und die politikwissenschaftliche Perspektive ist die vorherrschende. Entsprechend ausführlich wird auch auf die Entwicklung und Einbettung der Evaluation im schweizerischen politischen System eingegangen. Andere Gegenstände und disziplinäre Perspektiven werden kaum angesprochen.

Standardisierte Checkliste für die Rezension

A – Inhalte

Die folgende Liste zeigt mögliche Inhalte eines Lehrbuchs für Evaluation. Es muss nicht unbedingt ein Vorteil sein, wenn ein Buch alle Inhalte abdeckt, bzw. ein Nachteil, sollten nicht alle Inhalte behandelt werden. Vielmehr kommt es darauf an, dass die Inhalte vor dem Hintergrund des Anspruchs und der Zielsetzung des Buches in genügender Breite und Tiefe dargestellt sind.

 

Geht das Buch ein auf… ja teil-weise nein Bemerkungen
1 …Definition, Funktionen und Zwecke von Evaluation? x        
2 …Ansätze und Theorien der Evaluation (z.B. im Rahmen eines gegenüberstellenden Überblicks)? x      Darauf wird sogar sehr ausführlich eingegangen.
3 …die geschichtliche Entwicklung der Evaluation? x      Dies wird kurz umrissen.
4 …die DeGEval-Standards (und/oder internationale Äquivalente)? x       Es wird auf die SEVAL-Standards eingegangen.
5 …Organisations- und Feldkenntnisse, Kontextwissen?   x   Evaluation wird als Politikevaluation verstanden, wobei Wissen über das schweizerische politische System oder einzelne Politikbereiche nicht explizit vermittelt wird.
6 …das Projektmanagement bei Evaluationen?   x     Das Kapitel 6 umreisst die vier Phasen Evaluationsplanung, Ausarbeitung des Pflichtenhefts und Auftragsvergabe, Durchführung und Begleitung der Evaluation, Berichterstattung und Verbreitung der Resultate; es wird aber das Projektmanagement nicht im Detail thematisiert.
7 …Sozial- und Selbstkompetenzen von Evaluierenden?      x  
8 …aktuelle internationale Evaluationsliteratur? x      
9 …den gesamten Evaluationsprozess (vom Erstkontakt und der Planung über die Datenerhebung und -analyse, die Berichterstattung bis hin zur Metaevaluation)? x       Wobei der methodische Teil (Datenerhebung und  auswertung) sehr knapp behandelt wird.


B – Didaktik

Bei dem zu rezensierenden Buch handelt es sich (im weitesten Sinne) um ein Lehrbuch, d.h. um ein Medium, das explizit mit didaktischen Intentionen gestaltet wurde und allgemein oder themenspezifisch zu einzelnen Anwendungs- oder Teilbereichen der Evaluation informieren und die aktive Auseinandersetzung mit den dargestellten Inhalten anregen soll. Vor diesem Hintergrund stellen sich im Rahmen der Rezension die folgenden Fragen: 

 

 

ja teil-weise nein Bemerkungen
1 Wird gesagt, an wen sich das Buch richtet? (Zielgruppe(n)) x       Der von den Autoren genannte „grössere Kreis von Personen“ (S.7) wird allerdings nicht näher spezifiziert.
2 Wird gesagt, für welche didaktischen (Anwendungs)Kontexte sich das Buch eignet?         Das Buch will kein Lehrbuch im engeren Sinne sein, sondern informieren und aufklären.
3 Werden konkrete Lernziele formuliert?      x  
4 Sind Fragen zur Selbstkontrolle und/oder Übungen enthalten?       x  
5 Wird der Bezug zur Praxis in angemessenem Umfang hergestellt (z.B. mit Fallbeispielen, konkreten Handlungsempfehlungen)?   x    Im Kapitel 4 werden die Ansätze anhand von Beispielen erläutert. Ansonsten bleibt das konkrete Vorgehen bei der Evaluation (insb. die Logik: Evaluationsfragestellungen und  kriterien, Operationalisierung, Datenauswertung, Bewertung) etwas vage.


C – Textgestaltung

Mit Blick auf die Zielgruppe(n) bzw. den Anwendungskontext des Lehrbuches können auch gestalterische Kriterien an das Medium gestellt werden.

 

 

ja teil-weise nein Bemerkungen
1 Ist die verwendete Sprache prägnant und verständlich? x      
2 Ist die Gliederung übersichtlich und folgt der Aufbau einer erkennbaren Logik („roter Faden“)? x      
3 Werden Abbildungen, Tabellen, Illustrationen etc. in geeigneter Form und geeignetem Umfang eingesetzt?

x     Manche Abbildungen sind allerdings sehr klein geraten (Texte sind schwer lesbar).
4 Ist der Umfang des Buches dem Inhalt und den Zielsetzungen des Buches angemessen?   x   Das Gewicht liegt stark auf Evaluationsansätzen und der  Evaluation im schweizerischen politischen System. Um der Zielsetzung des Buches („einen fundierten Einblick in das facettenreiche Instrumentarium der Evaluation […] verschaffen“, S. 8) in vollem Umfang gerecht zu werden, wäre evtl. eine etwas ausgewogenere Gewichtung notwendig.

5 Alles in allem: Ist der Text hinsichtlich Inhalt und Niveau der Zielgruppe angepasst?   x   Es werden viele methodische Fachbegriffe verwendet, die für die angesprochene breite Zielgruppe evtl. nicht geläufig sind.


D – Formale Kriterien

Abschliessend werden noch einige formale Kriterien aufgeführt, die bei einer Buchbeurteilung zu berücksichtigen sind:

 

Das Buch… ja teil-weise nein Bemerkungen
1 …hat ein angemessenes und nutzendenfreundliches Layout. x      
2 …enthält ein Glossar zentraler Begriffe.     x  
3 …enthält ein Autoren-/Autorinnenverzeichnis.     x  
4 …enthält ein Stichwortverzeichnis.     x  
5 …enthält Hinweise auf weiterführende Literaturquellen. x      
6 …hat einen dem zu erwartenden Nutzen angemessenen Preis. x      
7 …ist für alle Interessierten leicht verfügbar (z.B. über den Buchhandel; ggf. Bemerkungen zu alternativen Bezugswegen). x      


Weitere Rezensionen dieser Publikation:
• von Verena Friedrich
• von Katharina Klockgether



Auf dieser Webseite finden Sie Rezensionen von einschlägigen Lehrbüchern zur Evaluation. Die Rezensionen folgen alle einer einheitlichen Struktur und basieren auf einer eigens erarbeiteten Checkliste. Der AK Aus- und Weiterbildung unterstützt mit diesem Angebot die Akteure in der Aus- und Weiterbildung von Evaluationen und bietet eine Hilfestellung bei der Wahl geeigneter Lehrbücher.

In dieser Excel-Datei finden Sie die ausgefüllten Checklisten aller bisher verfassten Rezensionen. Dies ermöglicht Ihnen, verschiedene Publikationen bezüglich der verwendeten Kriterien zu vergleichen sowie Lehrbücher gezielt nach ausgewählten Merkmalen zu filtern und auszuwählen.

Liste der Lehrbücher, die noch rezensiert werden sollen bzw. derzeit rezensiert werden.

Sie haben Interesse, selbst eine Rezension zu verfassen?
Sie haben Ergänzungswünsche für die aktuelle Rezensions-Liste?
Dann freuen wir uns über Ihre Nachricht.
Wir rufen insbesondere auch den Nachwuchs in der Evaluation auf, Rezensionen zu verfassen, denn wir sind ausdrücklich an der Perspektive und Einschätzung der "Lernenden" interessiert.

Wir danken allen Personen, die sich an der Erstellung der bisherigen Rezensionen beteiligt gewesen haben, insbesondere den Autorinnen und Autoren! ?

Alphabetische Liste der vorhandenen Rezensionen

Beywl, W., Kehr, J., Mäder, S., & Niestroj, M. (2007). Evaluation Schritt für Schritt: Planung von Evaluationen. Münster: hiba.
rezensiert von Heike Steckhan

Gollwitzer, M., Jäger, R. S. (2007). Evaluation kompakt. Weinheim, Basel: Beltz PVU.
rezensiert von Jörg Rech

Kuper, H. (2005) Evaluation im Bildungssystem: Eine Einführung. 1. Auflage. Stuttgart: Kohlhammer.
rezensiert von Dr. Stefan Bauernschmidt

Stake, R.E. (2007). Standards-Based & Responsive Evaluation. London: Sage.
rezensiert von Susanne Mäder

Widmer, T., De Rocchi, T. (2012). Evaluation: Grundlagen, Ansätze und Anwendungen. Zürich: Rüegger.
rezensiert von Verena Friedrich


Kuper, H. (2005) Evaluation im Bildungssystem: Eine Einführung. 1. Auflage. Stuttgart: Kohlhammer.

evaluationimbildungssystem    ISBN: 3-17-0118206-4
Preis: 17,80 Euro (unverbindliche Preisangabe)
Rezensiert von Dr. Stefan Bauernschmidt, Januar 2013
Verlag 


Zusammenfassung der Inhalte


Das als Einführung ausgewiesene Buch von Harm Kuper thematisiert die Evaluation im Bildungssystem. Nach einer kurz gehaltenen Einleitung (Kapitel 1), die unter anderem auf den Anspruch und die Systematik dieses Einführungsbandes eingeht, werden theoretische Positionen (Kapitel 2), methodische Verfahrensweisen (Kapitel 4) und die Nutzung von Evaluationsbefunden im Rahmen von Entscheidungsfindungsprozessen (Kapitel 3) behandelt sowie das Zusammenspiel von Evaluations- und Bildungsforschung (Kapitel 5). Mit zwei Fallstudien endet diese Einführung (Kapitel 6). Getragen wird dieser Band „von der Idee (...), verschiedene Antworten zu der Frage des Verhältnisses von empirischer Forschung, Beurteilung und Entscheidung in der Evaluationsforschung darzustellen und auf ihre Bedeutung für Evaluationsstudien im Bildungssystem hin fortzuentwickeln." (S.8)

Im zweiten Kapitel (S.13-62), Positionen und Begriffe der Evaluationsforschung, werden grundlegende Begriffe der Evaluation – z.B. formative, summative, responsive Evaluation, Wert und Normativität – erläutert. Wichtig ist für den Autor, dass die Evaluationsforschung multiparadigmatisch angelegt ist und sich die Paradigmen, die sich während der ‚paradigm wars' als diametral entgegengesetzte theoretische Positionen gebärdet haben, langsam an Trennschärfe verlieren. Exemplarisch werden für die jeweilige Position ein Vertreter behandelt: Michael Scriven steht für eine rationalistische, empirisch-analytische Evaluationsforschung und Robert E. Stake für eine naturalistische, handlungsorientierte Evaluationsforschung. Im weiteren Verlauf des Kapitels wird des Weiteren der Frage nachgegangen, inwieweit Evaluation eine eigenständige wissenschaftliche Disziplin sein kann, oder ob Evaluation einer gänzlich anderen als der wissenschaftlichen Logik folgt (Evaluation als Politik, Evaluation als Ökonomie). Mit Ausführungen zur erziehungswissenschaftlichen Evaluationsforschung endet dieses zweite Kapitel.
Im dritten (und zugleich umfangreichsten) Kapitel (S.63-119), Evaluation und Entscheidung, geht es um die Nutzung von Evaluationsbefunden im Rahmen Risiko-behafteter Prozesse der Entscheidungsfindung. Nach einer Reflexion von Entscheidungsstrukturen im Bildungssystem werden sachliche und soziale Dimensionen von Entscheidungen identifiziert und expliziert (Sachdimension: Entscheidung und Rationalität, Sozialdimension: Entscheidung und Demokratie). Rücken bei rationalen Entscheidungen Fragen nach der Kontrolle von Handlungen und Handlungsfolgen in den Vordergrund, so sind es bei demokratischen Entscheidungen Fragen der Legitimität und Akzeptanz. In diesem Zusammenhang wird dann näher das Problem der Nutzung – der heilige Gral der Evaluation (Henry 2000) – beleuchtet; auch kommen hier die Themen Professionalisierung und Evaluationsstandards zum Zug, da diese zu einer Risikoreduktion beitragen können.
Im vierten Kapitel (S.120-158), Methoden der Evaluationsforschung, werden standardisierte und interpretative Verfahren vorgestellt sowie die Triangulation als Möglichkeit der Kombination verschiedener methodischer Prozeduren innerhalb einer Evaluationsstudie.
Im fünften Kapitel (S.159-173), Evaluation und Bildungsforschung, wird auf die Chance hingewiesen, Large-Scale-Assessments (z.B. PISA, TIMSS) – als prominente Forschungsvariante der Bildungsforschung – mit den enger umgrenzten Evaluationsstudien zu verbinden und mittels dieser Verbindung von Beobachtungen auf der Mikro- und Makro-Ebene ein adäquateres Bild schulischer Leistungen zu erhalten.
Im Schlusskapitel (S.174-202), Fallstudien – Beispiele aus der Evaluationspraxis, werden zwei Evaluationen skizziert, die den Anspruch verfolgen, „die Entstehung einer Fragestellung, die Auseinandersetzung mit den Informationsbedürfnissen von Praktikern und die methodische Durchführung der Evaluation exemplarisch darzustellen." (S.174) Diese Beispiele aus der Evaluationspraxis liefern am Schluss des Textes einen entsprechenden materialreichen Input, um über die Ausführungen der vorangegangenen fünf Kapitel nochmals substantiell nachzudenken.

Das Buch eignet sich für

Geeignet ist dieses Buch m.E. für Studentinnen und Studenten der Pädagogik/Erziehungs-wissenschaft, die einen ersten Eindruck davon gewinnen wollen, was es mit Evaluation theoretisch, methodisch-methodologisch und substantiell im Bereich der Bildung auf sich hat. Aber auch Praktiker (hier ist zu denken an Lehrerinnen und Lehrer), konfrontiert mit Evaluation, können diesen Text zur Hand nehmen, um sich eine erste Orientierung im Gebiet der erziehungswissenschaftlichen Evaluation zu verschaffen. Jedoch sollte die Lektüre dieses Bandes stets flankiert werden durch die Lektüre von Standardwerken zur Evaluation (wie z.B. Rossi, Freeman & Lipsey, 2004, Evaluation; Fitzpatrick, Sanders & Worthen, 2012, Program Evaluation).

Stärken und Schwächen

Das Buch ist als Einführung ausgewiesen. Der Schreibstil des Buches ist definitiv eine zentrale Stärke. Dieser ist eingängig und dadurch kann man dem Gedankenfluss über weite Strecken gut folgen. Jedoch sind in der Architektonik des Textes so manche Passagen irritierend: Das Buch endet sehr abrupt mit den beiden Fallbeispielen. Ein kurz gehaltener Schluss (im Umfang und Ton ähnlich der Einleitung), der nochmals die wesentlichen Punkte resümiert, hätte dem Buch gut gestanden. Irritierend ist auch die lange Passage zu Experimenten im dritten Kapitel (S.80ff); dies hätte ich als Leser des Buches eher bei den methodischen Ausführungen im Methodenteil des Buches erwartet. Eine weitere Schwäche betrifft die Erörterungen zentraler Begrifflichkeiten. Neben der sehr allgemeinen Bestimmung des Begriffs der „Evaluation" („Bewertung einer Handlung bzw. der Folgen einer Handlung", S.7) hätte man sich neben der Explikation verschiedener Evaluationstypen (summative, formative, responsive Evaluation, Input-, Prozess- und Output-Evaluation) doch noch eine etwas spezifischere Definition gewünscht. Zudem wäre gerade bei einem Einführungstext ein Glossar dieser zentralen Begrifflichkeiten hilfreich. Dem arbeitet aber dann die Angabe von weiterführender Literatur ein wenig entgegen. Insgesamt ist die Beurteilung des Buches angesichts der Stärken, die es besitzt, wie auch der Schwächen, die es aufweist, Janus-köpfig. Auf der einen Seite wird das Thema Evaluation schön in den Erziehungs- bzw. Bildungswissenschaftlichen Kontext eingebettet und wichtige Dimensionen der Evaluation angesprochen und in den Text eingebaut, auf der anderen Seite vermisst man in den Ausführungen Punkte, die zum Verständnis definitiv beigetragen hätten (z.B. Erläuterungen zum Begriff „Evaluation" selbst, ein Glossar oder auch (explizit gemachte) Auswahlkriterien hinsichtlich ausgewählter theoretischer Positionen und Modelle sowie zu Guter letzt einen eindeutigeren Titel – im Band geht es ja nur um einen Ausschnitt (Schulwesen) aus einem sehr viel facettenreicheren Bildungssystems).

Besonderheiten

Der Einbezug und die Einbettung der Evaluation in den bildungs- bzw. erziehungs-wissenschaftlichen Kontext ist wohl die zentrale Besonderheit dieses Textes. Indem Evaluation in unmittelbare Nähe zum pädagogischen Handeln gerückt wird (S.14), birgt der Text auch (implizit) Lösungsansätze für das Spannungsverhältnis zwischen Theorie und Praxis in der Evaluationsforschung. Umgekehrt hebt der Autor hervor, dass auch die Evaluationsforschung eine Antwort für das Problem der Theorie-Praxis-Vermittlung bietet: „Ihr Ansatzpunkt für die Vermittlung von Theorie und Praxis liegt in der Erhebung und Auswertung empirischer Daten nach theoretischen Gesichtspunkten, um für praktisch relevante Entscheidungen Informationen bereitstellen zu können." ( S.14)

Standardisierte Checkliste für die Rezension

A – Inhalte

Die folgende Liste zeigt mögliche Inhalte eines Lehrbuchs für Evaluation. Es muss nicht unbedingt ein Vorteil sein, wenn ein Buch alle Inhalte abdeckt, bzw. ein Nachteil, sollten nicht alle Inhalte behandelt werden. Vielmehr kommt es darauf an, dass die Inhalte vor dem Hintergrund des Anspruchs und der Zielsetzung des Buches in genügender Breite und Tiefe dargestellt sind.

 

Geht das Buch ein auf… ja teil-weise nein Bemerkungen
1 …Definition, Funktionen und Zwecke von Evaluation? x        Neben der sehr allgemeinen Bestimmung des Begriffs der „Evaluation" (Bewertung einer Handlung bzw. der Folgen einer Handlung, Kuper 2005: 7) hätte man sich neben der Explikation verschiedener Evaluationstypen (summative, formative, responsive Evaluation) doch noch eine etwas spezifischere Definition gewünscht.
2 …Ansätze und Theorien der Evaluation (z.B. im Rahmen eines gegenüberstellenden Überblicks)?   x   Ja, es werden Modelle vorgestellt (z.B. 4th Generation Evaluation), jedoch lässt der Text Selektionskriterien vermissen; gibt es doch viele weitere Modelle.
3 …die geschichtliche Entwicklung der Evaluation?   x    
4 …die DeGEval-Standards (und/oder internationale Äquivalente)? x        
5 …Organisations- und Feldkenntnisse, Kontextwissen? x     Wiederholt wird z.B. in den Fallbeispielen auf Kontexte verwiesen.
6 …das Projektmanagement bei Evaluationen?   x    Vereinzelt finden sich hier Hinweise in den Fallbeispielen.
7 …Sozial- und Selbstkompetenzen von Evaluierenden?    x   Es finden sich verstreut im Text immer wieder Hinweise auf zentrale Kompetenzen von Evaluator/inn/en (vgl. z.B. Kuper 2005: 10, 11, 19, 46, 54).
8 …aktuelle internationale Evaluationsliteratur?   x    
9 …den gesamten Evaluationsprozess (vom Erstkontakt und der Planung über die Datenerhebung und -analyse, die Berichterstattung bis hin zur Metaevaluation)?      x  


B – Didaktik

Bei dem zu rezensierenden Buch handelt es sich (im weitesten Sinne) um ein Lehrbuch, d.h. um ein Medium, das explizit mit didaktischen Intentionen gestaltet wurde und allgemein oder themenspezifisch zu einzelnen Anwendungs- oder Teilbereichen der Evaluation informieren und die aktive Auseinandersetzung mit den dargestellten Inhalten anregen soll. Vor diesem Hintergrund stellen sich im Rahmen der Rezension die folgenden Fragen: 

 

 

ja teil-weise nein Bemerkungen
1 Wird gesagt, an wen sich das Buch richtet? (Zielgruppe(n))      x Immer wieder ist ganz allgemein von „Leserinnen und Leser“ die Rede.
2 Wird gesagt, für welche didaktischen (Anwendungs)Kontexte sich das Buch eignet?       x   
3 Werden konkrete Lernziele formuliert?      x  
4 Sind Fragen zur Selbstkontrolle und/oder Übungen enthalten?       x  
5 Wird der Bezug zur Praxis in angemessenem Umfang hergestellt (z.B. mit Fallbeispielen, konkreten Handlungsempfehlungen)? x      Zwei, vom Charakter her ganz unterschiedliche Fallstudien (1. Evaluation der Leistungsdifferenzierung in einer Gesamtschule, 2. Innovation im Netzwerk der Jugendberufshilfe) stehen am Ende der Einführung. Im Zusammenhang mit der Einführung wird mit diesen beiden Studien der Anspruch verfolgt, „die Entstehung einer Fragestellung, die Auseinandersetzung mit den Informationsbedürfnissen von Praktikern und die methodische Durchführung der Evaluation exemplarisch darzustellen.“ (Kuper 2005: 174)


C – Textgestaltung

Mit Blick auf die Zielgruppe(n) bzw. den Anwendungskontext des Lehrbuches können auch gestalterische Kriterien an das Medium gestellt werden.

 

 

ja teil-weise nein Bemerkungen
1 Ist die verwendete Sprache prägnant und verständlich? x      
2 Ist die Gliederung übersichtlich und folgt der Aufbau einer erkennbaren Logik („roter Faden“)?     Kuper führt hierzu Folgendes aus: „Die einzelnen Kapitel können auch unabhängig voneinander gelesen werden, fügen sich aber einer Gliederung …“ (Kuper 2005: 9)
3 Werden Abbildungen, Tabellen, Illustrationen etc. in geeigneter Form und geeignetem Umfang eingesetzt?

x      
4 Ist der Umfang des Buches dem Inhalt und den Zielsetzungen des Buches angemessen?    
5 Alles in allem: Ist der Text hinsichtlich Inhalt und Niveau der Zielgruppe angepasst?      


D – Formale Kriterien

Abschliessend werden noch einige formale Kriterien aufgeführt, die bei einer Buchbeurteilung zu berücksichtigen sind:

 

Das Buch… ja teil-weise nein Bemerkungen
1 …hat ein angemessenes und nutzendenfreundliches Layout.   x    
2 …enthält ein Glossar zentraler Begriffe.     x  
3 …enthält ein Autoren-/Autorinnenverzeichnis.     x  
4 …enthält ein Stichwortverzeichnis. x      
5 …enthält Hinweise auf weiterführende Literaturquellen. x      
6 …hat einen dem zu erwartenden Nutzen angemessenen Preis. x      
7 …ist für alle Interessierten leicht verfügbar (z.B. über den Buchhandel; ggf. Bemerkungen zu alternativen Bezugswegen). x      


Dr. Dörte Schott

Freie Evaluatorin
Telefon: +49 228 6296673
Email:info [at] doerte-schott.de

Sandra Schopper, M.A.

Studiengangskoordinatorin "Master of Evaluation"

Universität des Saarlandes und Hochschule für Technik und Wirtschaft des Saarlandes

Telefon: 0681/ 302-4328
E-Mail: s.schopper@mx.uni-saarland.de