Sie sind hier:Home»Arbeitskreise»Professionalisierung (ehemals: Aus- und Weiterbildung in der Evaluation)»Rezension Gollwitzer

Rezension Gollwitzer

Rezension Gollwitzer

 Gollwitzer, M., Jäger, R. S. (2007). Evaluation kompakt. Weinheim, Basel: Beltz PVU.

gollwitzer_evaluation   ISBN: 978-3-621-27758-7
Preis: 26,95 Euro (unverbindliche Preisangabe)
Rezensiert von Jörg Rech, März 2013
Amazon / buch.de / Verlag 

Zusammenfassung der Inhalte


Das Buch behandelt in drei Teilen grundlegende Evaluationsbegrifflichkeiten und -modelle, relevante Fragestellungen bezüglich Zweck und Zeitpunkt von Evaluationen sowie methodische Aspekte von Evaluationen. Der letztgenannte, methodische Teil der Publikation legt den Fokus auf quantitativ-empirische Erhebungsmethoden und statistische Auswertungsverfahren.
Teil 1 des Buches gibt in zwei Kapiteln einen einführenden Überblick über das Themengebiet der Evaluation (S. 1-38). Er beinhaltet eine Klärung des Begriffs und möglicher Zielsetzungen von Evaluation sowie damit zusammenhängenden Aspekten (z.B. Wirksamkeit). Weiterhin werden die historische Entwicklung von Evaluation, Gütekriterien und Evaluationsstandards sowie verschiedene Evaluationsmodelle überblicksartig dargestellt.

Der zweite und umfangreichste Teil widmet sich in sechs Kapiteln verschiedenen Fragestellungen unter Berücksichtigung von Zeitpunkt und Zweck der Evaluation (S. 39-132). Er beginnt mit der Evaluation von Ist-Zuständen – auch in vergleichender Perspektive (Kapitel 3). Dieses Kapitel zeigt unterschiedliche Erwartungen auf, die im Evaluationsprozess bestehen können. Zudem wird erörtert, wie ein Evaluationsauftrag näher bestimmt werden kann und welche Stakeholder hierbei einzubeziehen sind. Neben der Einführung von Kennwerten und Vergleichskriterien zur Beschreibung von Ist-Zuständen wird dargestellt, wie Gruppenvergleiche statistisch berechnet werden. Kapitel 4 beschäftigt sich mit der Evaluation von Veränderungen. Darin wird – unter Berücksichtigung methodischer Probleme – gezeigt, welche Arten von Veränderungen existieren und wie diese statistisch beschrieben werden können. Kapitel 5 beleuchtet Themen in Zusammenhang mit der Evaluation von Wirkungen, wie z.B. Wirkungsmodelle, Hypothesen, Nachhaltigkeit von Wirkungen, Neben- und Folgewirkungen, Kausalität und Robustheit. Die Effizienzanalyse ist Gegenstand von Kapitel 6, wobei u.a. die Bestimmung von Kosten und der Unterschied zwischen Nutzen und Wirkung erläutert werden. Zudem werden zwei Modelle der Effizienzanalyse (Kosten-Nutzen- und Kosten-Effektivität-Analyse) beschrieben. Die sog. ‚Prospektive Evaluation‘ (Kapitel 7) beschäftigt sich mit der Frage, ob überhaupt ein Interventionsbedarf besteht. Gegenstand des Kapitels ist daher die Bedarfsanalyse und wie diese dazu beiträgt, Problem, Zielgruppe und Zielformulierung sowie ein Maßnahmenkonzept zu bestimmen. Der zweite Teil des Buches endet schließlich mit der Darstellung formativer Evaluationen (Kapitel 8). Dabei geht es um die Frage, wie Evaluation zur Programmoptimierung und Implementationskontrolle während der Maßnahmendurchführung beitragen kann.
Methodische Aspekte von Evaluationen sind Bestandteil des dritten und letzten Buchteils (S. 133-208). In drei Kapiteln werden quantitative und qualitative Methoden der Datengewinnung (Kapitel 9), verschiedene Evaluationsdesigns (Kapitel 10) und statistische Datenauswertungsverfahren (Kapitel 11) vorgestellt. Auf Instrumente zur Auswertung qualitativer Daten wird jedoch nicht eingegangen.

Das Buch eignet sich für

Das Buch richtet sich an Studierende der Sozialwissenschaften und Personen, die sich im beruflichen Kontext mit Evaluation auseinandersetzen und sich Methodenkenntnisse zur Durchführung von Evaluationen aneignen möchten (S. XII). Wird das Buch zum Selbststudium genutzt, sollte ein Grundwissen in den Bereichen quantitative Methoden und Statistik vorhanden sein.

Stärken und Schwächen

Das Buch ist als Lehrbuch konzipiert. Jedes Kapitel beginnt mit einem Überblick darüber, was in dem Kapitel zu erwarten ist. Das Buch ist systematisch aufgebaut und enthält ein Glossar. Das Evaluationsthema wird durch viele Beispiele, übersichtliche Darstellungen sowie eine verständliche Sprache anschaulich näher gebracht. Zudem beinhaltet jedes Kapitel Angaben zu weiterführender Literatur und Übungsaufgaben, die den Leser(inne)n die Möglichkeit bieten, das durch das Buch erworbene Wissen zu vertiefen.
Insbesondere zwei Schwächen können identifiziert werden. Erstens wird die über weite Strecken des Buches übersichtliche und verständliche Aufarbeitung von Evaluationsthemen dadurch getrübt, dass gerade in den Abschnitten, die zentral für ein Lehrbuch sind (Konzepte und Begriffe), die Ausführungen unvollständig bleiben bzw. nicht in die Tiefe gehen. Zweitens fehlen im methodischen Bereich wichtige Bestandteile, da qualtitative Erhebungsmethoden zu knapp und qualitative Auswertungsverfahren überhaupt nicht behandelt werden. Darüber hinaus bleibt zu beachten, dass ein methodisches Grundwissen von Vorteil für den Leser ist.

Besonderheiten

CD mit Übungsbeispielen

Standardisierte Checkliste für die Rezension

A – Inhalte

Die folgende Liste zeigt mögliche Inhalte eines Lehrbuchs für Evaluation. Es muss nicht unbedingt ein Vorteil sein, wenn ein Buch alle Inhalte abdeckt, bzw. ein Nachteil, sollten nicht alle Inhalte behandelt werden. Vielmehr kommt es darauf an, dass die Inhalte vor dem Hintergrund des Anspruchs und der Zielsetzung des Buches in genügender Breite und Tiefe dargestellt sind.

 

Geht das Buch ein auf… ja teil-weise nein Bemerkungen
1 …Definition, Funktionen und Zwecke von Evaluation?   x    Funktionen und Zwecke von Evaluationen werden erläutert. Es gibt aber weder eine Begriffsherleitung noch einen Überblick über die verschiedenen Definitionen des Begriffs Evaluation; es wird lediglich eine Definition vorgestellt und dem Begriff der Evaluationsforschung gegenüber gestellt (S. 6). Dabei werden die Begriffe Evaluation und Evaluationsforschung so voneinander abgegrenzt, dass systematische Verfahren zur Datengewinnung nicht der Evaluation, sondern der Evaluationsforschung zugeschrieben werden. Dadurch unterscheidet sich die hier verwendete Evaluationsdefinition von der vieler anderer Autoren (z.B. Rossi et al., 1999; DeGEval, 2002).
2 …Ansätze und Theorien der Evaluation (z.B. im Rahmen eines gegenüberstellenden Überblicks)?    x    Es gibt lediglich eine stichpunktartige Klassifizierung und Darstellung von vier theoretischen Positionen bzw. Ansätzen. Dabei werden auch die Vertreter/innen der Ansätze genannt (S. 9ff.).
3 …die geschichtliche Entwicklung der Evaluation?   x    Die Beschreibung der geschichtlichen Entwicklung der Evaluation beschränkt sich auf wenige Meilensteine mit dem Fokus auf die USA.
4 …die DeGEval-Standards (und/oder internationale Äquivalente)? x       Nennung und ausreichende Beschreibung der DeGEval-Standards.
5 …Organisations- und Feldkenntnisse, Kontextwissen?      x Der Schwerpunkt des Buches liegt darauf, methodische Vorgehensweisen zur Bearbeitung verschiedener Evaluationsfragestellungen aufzuzeigen. Projektmanagement,  Organisations- und Feldkenntnisse sowie Sozial- und Selbstkompetenzen werden dabei nicht spezifisch behandelt. Teilweise werden Kontextwissen und Projektmanagementkenntnisse durch die Darstellung von Evaluationsbeispielen implizit mitbehandelt. Bei der angegebenen Literatur handelt es sich im Wesentlichen um Methodenbücher. Da das  Buch eine Neuauflage der Ausgabe „Evaluation“ aus der „Workbook“-Reihe des gleichen Verlags von 2007 ist, wird aktuelle Evaluationsliteratur nicht präsentiert.
6 …das Projektmanagement bei Evaluationen?      x
7 …Sozial- und Selbstkompetenzen von Evaluierenden?      x
8 …aktuelle internationale Evaluationsliteratur?     
9 …den gesamten Evaluationsprozess (vom Erstkontakt und der Planung über die Datenerhebung und -analyse, die Berichterstattung bis hin zur Metaevaluation)?   x   


B – Didaktik

Bei dem zu rezensierenden Buch handelt es sich (im weitesten Sinne) um ein Lehrbuch, d.h. um ein Medium, das explizit mit didaktischen Intentionen gestaltet wurde und allgemein oder themenspezifisch zu einzelnen Anwendungs- oder Teilbereichen der Evaluation informieren und die aktive Auseinandersetzung mit den dargestellten Inhalten anregen soll. Vor diesem Hintergrund stellen sich im Rahmen der Rezension die folgenden Fragen: 

 

 

ja teil-weise nein Bemerkungen
1 Wird gesagt, an wen sich das Buch richtet? (Zielgruppe(n)) x        
2 Wird gesagt, für welche didaktischen (Anwendungs-)Kontexte sich das Buch eignet?    x    Das Buch ist offensichtlich für das Selbststudium konzipiert, obgleich nicht explizit erwähnt wird, für welche didaktischen (Anwendungs-)Kontexte sich das Buch eignet.
3 Werden konkrete Lernziele formuliert? x       Zu Beginn jedes Kapitels.
4 Sind Fragen zur Selbstkontrolle und/oder Übungen enthalten? x      Am Ende jedes Kapitels.
5 Wird der Bezug zur Praxis in angemessenem Umfang hergestellt (z.B. mit Fallbeispielen, konkreten Handlungsempfehlungen)? x        


C – Textgestaltung

Mit Blick auf die Zielgruppe(n) bzw. den Anwendungskontext des Lehrbuches können auch gestalterische Kriterien an das Medium gestellt werden.

 

 

ja teil-weise nein Bemerkungen
1 Ist die verwendete Sprache prägnant und verständlich? x      
2 Ist die Gliederung übersichtlich und folgt der Aufbau einer erkennbaren Logik („roter Faden“)? x      
3 Werden Abbildungen, Tabellen, Illustrationen etc. in geeigneter Form und geeignetem Umfang eingesetzt? x      
4 Ist der Umfang des Buches dem Inhalt und den Zielsetzungen des Buches angemessen?   x   Begriffe und Konzepte werden zu knapp behandelt.
5 Alles in allem: Ist der Text hinsichtlich Inhalt und Niveau der Zielgruppe angepasst?   x   Vorkenntnisse in Methoden der empirischen Sozialforschung bzw. in Statistik sind für das Textverständnis von Vorteil.


D – Formale Kriterien

Abschliessend werden noch einige formale Kriterien aufgeführt, die bei einer Buchbeurteilung zu berücksichtigen sind:

 

Das Buch… ja teil-weise nein Bemerkungen
1 …hat ein angemessenes und nutzendenfreundliches Layout. x      
2 …enthält ein Glossar zentraler Begriffe. x      
3 …enthält ein Autoren-/Autorinnenverzeichnis. x  

   
4 …enthält ein Stichwortverzeichnis. x      
5 …enthält Hinweise auf weiterführende Literaturquellen. x      
6 …hat einen dem zu erwartenden Nutzen angemessenen Preis. x      
7 …ist für alle Interessierten leicht verfügbar (z.B. über den Buchhandel; ggf. Bemerkungen zu alternativen Bezugswegen). x      
Zuletzt geändert: 14. März 2015