Sie sind hier:Home»Arbeitskreise»Professionalisierung (ehemals: Aus- und Weiterbildung in der Evaluation)»Rezension Kuper

Rezension Kuper

Rezension Kuper

 Kuper, H. (2005) Evaluation im Bildungssystem: Eine Einführung. 1. Auflage. Stuttgart: Kohlhammer.

evaluationimbildungssystem    ISBN: 3-17-0118206-4
Preis: 17,80 Euro (unverbindliche Preisangabe)
Rezensiert von Dr. Stefan Bauernschmidt, Januar 2013
Verlag 


Zusammenfassung der Inhalte


Das als Einführung ausgewiesene Buch von Harm Kuper thematisiert die Evaluation im Bildungssystem. Nach einer kurz gehaltenen Einleitung (Kapitel 1), die unter anderem auf den Anspruch und die Systematik dieses Einführungsbandes eingeht, werden theoretische Positionen (Kapitel 2), methodische Verfahrensweisen (Kapitel 4) und die Nutzung von Evaluationsbefunden im Rahmen von Entscheidungsfindungsprozessen (Kapitel 3) behandelt sowie das Zusammenspiel von Evaluations- und Bildungsforschung (Kapitel 5). Mit zwei Fallstudien endet diese Einführung (Kapitel 6). Getragen wird dieser Band „von der Idee (...), verschiedene Antworten zu der Frage des Verhältnisses von empirischer Forschung, Beurteilung und Entscheidung in der Evaluationsforschung darzustellen und auf ihre Bedeutung für Evaluationsstudien im Bildungssystem hin fortzuentwickeln." (S.8)

Im zweiten Kapitel (S.13-62), Positionen und Begriffe der Evaluationsforschung, werden grundlegende Begriffe der Evaluation – z.B. formative, summative, responsive Evaluation, Wert und Normativität – erläutert. Wichtig ist für den Autor, dass die Evaluationsforschung multiparadigmatisch angelegt ist und sich die Paradigmen, die sich während der ‚paradigm wars' als diametral entgegengesetzte theoretische Positionen gebärdet haben, langsam an Trennschärfe verlieren. Exemplarisch werden für die jeweilige Position ein Vertreter behandelt: Michael Scriven steht für eine rationalistische, empirisch-analytische Evaluationsforschung und Robert E. Stake für eine naturalistische, handlungsorientierte Evaluationsforschung. Im weiteren Verlauf des Kapitels wird des Weiteren der Frage nachgegangen, inwieweit Evaluation eine eigenständige wissenschaftliche Disziplin sein kann, oder ob Evaluation einer gänzlich anderen als der wissenschaftlichen Logik folgt (Evaluation als Politik, Evaluation als Ökonomie). Mit Ausführungen zur erziehungswissenschaftlichen Evaluationsforschung endet dieses zweite Kapitel.
Im dritten (und zugleich umfangreichsten) Kapitel (S.63-119), Evaluation und Entscheidung, geht es um die Nutzung von Evaluationsbefunden im Rahmen Risiko-behafteter Prozesse der Entscheidungsfindung. Nach einer Reflexion von Entscheidungsstrukturen im Bildungssystem werden sachliche und soziale Dimensionen von Entscheidungen identifiziert und expliziert (Sachdimension: Entscheidung und Rationalität, Sozialdimension: Entscheidung und Demokratie). Rücken bei rationalen Entscheidungen Fragen nach der Kontrolle von Handlungen und Handlungsfolgen in den Vordergrund, so sind es bei demokratischen Entscheidungen Fragen der Legitimität und Akzeptanz. In diesem Zusammenhang wird dann näher das Problem der Nutzung – der heilige Gral der Evaluation (Henry 2000) – beleuchtet; auch kommen hier die Themen Professionalisierung und Evaluationsstandards zum Zug, da diese zu einer Risikoreduktion beitragen können.
Im vierten Kapitel (S.120-158), Methoden der Evaluationsforschung, werden standardisierte und interpretative Verfahren vorgestellt sowie die Triangulation als Möglichkeit der Kombination verschiedener methodischer Prozeduren innerhalb einer Evaluationsstudie.
Im fünften Kapitel (S.159-173), Evaluation und Bildungsforschung, wird auf die Chance hingewiesen, Large-Scale-Assessments (z.B. PISA, TIMSS) – als prominente Forschungsvariante der Bildungsforschung – mit den enger umgrenzten Evaluationsstudien zu verbinden und mittels dieser Verbindung von Beobachtungen auf der Mikro- und Makro-Ebene ein adäquateres Bild schulischer Leistungen zu erhalten.
Im Schlusskapitel (S.174-202), Fallstudien – Beispiele aus der Evaluationspraxis, werden zwei Evaluationen skizziert, die den Anspruch verfolgen, „die Entstehung einer Fragestellung, die Auseinandersetzung mit den Informationsbedürfnissen von Praktikern und die methodische Durchführung der Evaluation exemplarisch darzustellen." (S.174) Diese Beispiele aus der Evaluationspraxis liefern am Schluss des Textes einen entsprechenden materialreichen Input, um über die Ausführungen der vorangegangenen fünf Kapitel nochmals substantiell nachzudenken.

Das Buch eignet sich für

Geeignet ist dieses Buch m.E. für Studentinnen und Studenten der Pädagogik/Erziehungs-wissenschaft, die einen ersten Eindruck davon gewinnen wollen, was es mit Evaluation theoretisch, methodisch-methodologisch und substantiell im Bereich der Bildung auf sich hat. Aber auch Praktiker (hier ist zu denken an Lehrerinnen und Lehrer), konfrontiert mit Evaluation, können diesen Text zur Hand nehmen, um sich eine erste Orientierung im Gebiet der erziehungswissenschaftlichen Evaluation zu verschaffen. Jedoch sollte die Lektüre dieses Bandes stets flankiert werden durch die Lektüre von Standardwerken zur Evaluation (wie z.B. Rossi, Freeman & Lipsey, 2004, Evaluation; Fitzpatrick, Sanders & Worthen, 2012, Program Evaluation).

Stärken und Schwächen

Das Buch ist als Einführung ausgewiesen. Der Schreibstil des Buches ist definitiv eine zentrale Stärke. Dieser ist eingängig und dadurch kann man dem Gedankenfluss über weite Strecken gut folgen. Jedoch sind in der Architektonik des Textes so manche Passagen irritierend: Das Buch endet sehr abrupt mit den beiden Fallbeispielen. Ein kurz gehaltener Schluss (im Umfang und Ton ähnlich der Einleitung), der nochmals die wesentlichen Punkte resümiert, hätte dem Buch gut gestanden. Irritierend ist auch die lange Passage zu Experimenten im dritten Kapitel (S.80ff); dies hätte ich als Leser des Buches eher bei den methodischen Ausführungen im Methodenteil des Buches erwartet. Eine weitere Schwäche betrifft die Erörterungen zentraler Begrifflichkeiten. Neben der sehr allgemeinen Bestimmung des Begriffs der „Evaluation" („Bewertung einer Handlung bzw. der Folgen einer Handlung", S.7) hätte man sich neben der Explikation verschiedener Evaluationstypen (summative, formative, responsive Evaluation, Input-, Prozess- und Output-Evaluation) doch noch eine etwas spezifischere Definition gewünscht. Zudem wäre gerade bei einem Einführungstext ein Glossar dieser zentralen Begrifflichkeiten hilfreich. Dem arbeitet aber dann die Angabe von weiterführender Literatur ein wenig entgegen. Insgesamt ist die Beurteilung des Buches angesichts der Stärken, die es besitzt, wie auch der Schwächen, die es aufweist, Janus-köpfig. Auf der einen Seite wird das Thema Evaluation schön in den Erziehungs- bzw. Bildungswissenschaftlichen Kontext eingebettet und wichtige Dimensionen der Evaluation angesprochen und in den Text eingebaut, auf der anderen Seite vermisst man in den Ausführungen Punkte, die zum Verständnis definitiv beigetragen hätten (z.B. Erläuterungen zum Begriff „Evaluation" selbst, ein Glossar oder auch (explizit gemachte) Auswahlkriterien hinsichtlich ausgewählter theoretischer Positionen und Modelle sowie zu Guter letzt einen eindeutigeren Titel – im Band geht es ja nur um einen Ausschnitt (Schulwesen) aus einem sehr viel facettenreicheren Bildungssystems).

Besonderheiten

Der Einbezug und die Einbettung der Evaluation in den bildungs- bzw. erziehungs-wissenschaftlichen Kontext ist wohl die zentrale Besonderheit dieses Textes. Indem Evaluation in unmittelbare Nähe zum pädagogischen Handeln gerückt wird (S.14), birgt der Text auch (implizit) Lösungsansätze für das Spannungsverhältnis zwischen Theorie und Praxis in der Evaluationsforschung. Umgekehrt hebt der Autor hervor, dass auch die Evaluationsforschung eine Antwort für das Problem der Theorie-Praxis-Vermittlung bietet: „Ihr Ansatzpunkt für die Vermittlung von Theorie und Praxis liegt in der Erhebung und Auswertung empirischer Daten nach theoretischen Gesichtspunkten, um für praktisch relevante Entscheidungen Informationen bereitstellen zu können." ( S.14)

Standardisierte Checkliste für die Rezension

A – Inhalte

Die folgende Liste zeigt mögliche Inhalte eines Lehrbuchs für Evaluation. Es muss nicht unbedingt ein Vorteil sein, wenn ein Buch alle Inhalte abdeckt, bzw. ein Nachteil, sollten nicht alle Inhalte behandelt werden. Vielmehr kommt es darauf an, dass die Inhalte vor dem Hintergrund des Anspruchs und der Zielsetzung des Buches in genügender Breite und Tiefe dargestellt sind.

 

Geht das Buch ein auf… ja teil-weise nein Bemerkungen
1 …Definition, Funktionen und Zwecke von Evaluation? x        Neben der sehr allgemeinen Bestimmung des Begriffs der „Evaluation" (Bewertung einer Handlung bzw. der Folgen einer Handlung, Kuper 2005: 7) hätte man sich neben der Explikation verschiedener Evaluationstypen (summative, formative, responsive Evaluation) doch noch eine etwas spezifischere Definition gewünscht.
2 …Ansätze und Theorien der Evaluation (z.B. im Rahmen eines gegenüberstellenden Überblicks)?   x   Ja, es werden Modelle vorgestellt (z.B. 4th Generation Evaluation), jedoch lässt der Text Selektionskriterien vermissen; gibt es doch viele weitere Modelle.
3 …die geschichtliche Entwicklung der Evaluation?   x    
4 …die DeGEval-Standards (und/oder internationale Äquivalente)? x        
5 …Organisations- und Feldkenntnisse, Kontextwissen? x     Wiederholt wird z.B. in den Fallbeispielen auf Kontexte verwiesen.
6 …das Projektmanagement bei Evaluationen?   x    Vereinzelt finden sich hier Hinweise in den Fallbeispielen.
7 …Sozial- und Selbstkompetenzen von Evaluierenden?    x   Es finden sich verstreut im Text immer wieder Hinweise auf zentrale Kompetenzen von Evaluator/inn/en (vgl. z.B. Kuper 2005: 10, 11, 19, 46, 54).
8 …aktuelle internationale Evaluationsliteratur?   x    
9 …den gesamten Evaluationsprozess (vom Erstkontakt und der Planung über die Datenerhebung und -analyse, die Berichterstattung bis hin zur Metaevaluation)?      x  


B – Didaktik

Bei dem zu rezensierenden Buch handelt es sich (im weitesten Sinne) um ein Lehrbuch, d.h. um ein Medium, das explizit mit didaktischen Intentionen gestaltet wurde und allgemein oder themenspezifisch zu einzelnen Anwendungs- oder Teilbereichen der Evaluation informieren und die aktive Auseinandersetzung mit den dargestellten Inhalten anregen soll. Vor diesem Hintergrund stellen sich im Rahmen der Rezension die folgenden Fragen: 

 

 

ja teil-weise nein Bemerkungen
1 Wird gesagt, an wen sich das Buch richtet? (Zielgruppe(n))      x Immer wieder ist ganz allgemein von „Leserinnen und Leser“ die Rede.
2 Wird gesagt, für welche didaktischen (Anwendungs)Kontexte sich das Buch eignet?       x   
3 Werden konkrete Lernziele formuliert?      x  
4 Sind Fragen zur Selbstkontrolle und/oder Übungen enthalten?       x  
5 Wird der Bezug zur Praxis in angemessenem Umfang hergestellt (z.B. mit Fallbeispielen, konkreten Handlungsempfehlungen)? x      Zwei, vom Charakter her ganz unterschiedliche Fallstudien (1. Evaluation der Leistungsdifferenzierung in einer Gesamtschule, 2. Innovation im Netzwerk der Jugendberufshilfe) stehen am Ende der Einführung. Im Zusammenhang mit der Einführung wird mit diesen beiden Studien der Anspruch verfolgt, „die Entstehung einer Fragestellung, die Auseinandersetzung mit den Informationsbedürfnissen von Praktikern und die methodische Durchführung der Evaluation exemplarisch darzustellen.“ (Kuper 2005: 174)


C – Textgestaltung

Mit Blick auf die Zielgruppe(n) bzw. den Anwendungskontext des Lehrbuches können auch gestalterische Kriterien an das Medium gestellt werden.

 

 

ja teil-weise nein Bemerkungen
1 Ist die verwendete Sprache prägnant und verständlich? x      
2 Ist die Gliederung übersichtlich und folgt der Aufbau einer erkennbaren Logik („roter Faden“)?     Kuper führt hierzu Folgendes aus: „Die einzelnen Kapitel können auch unabhängig voneinander gelesen werden, fügen sich aber einer Gliederung …“ (Kuper 2005: 9)
3 Werden Abbildungen, Tabellen, Illustrationen etc. in geeigneter Form und geeignetem Umfang eingesetzt?

x      
4 Ist der Umfang des Buches dem Inhalt und den Zielsetzungen des Buches angemessen?    
5 Alles in allem: Ist der Text hinsichtlich Inhalt und Niveau der Zielgruppe angepasst?      


D – Formale Kriterien

Abschliessend werden noch einige formale Kriterien aufgeführt, die bei einer Buchbeurteilung zu berücksichtigen sind:

 

Das Buch… ja teil-weise nein Bemerkungen
1 …hat ein angemessenes und nutzendenfreundliches Layout.   x    
2 …enthält ein Glossar zentraler Begriffe.     x  
3 …enthält ein Autoren-/Autorinnenverzeichnis.     x  
4 …enthält ein Stichwortverzeichnis. x      
5 …enthält Hinweise auf weiterführende Literaturquellen. x      
6 …hat einen dem zu erwartenden Nutzen angemessenen Preis. x      
7 …ist für alle Interessierten leicht verfügbar (z.B. über den Buchhandel; ggf. Bemerkungen zu alternativen Bezugswegen). x      


Zuletzt geändert: 14. März 2015

Dr. Dörte Schott

Freie Evaluatorin
Telefon: +49 228 6296673
Email:info [at] doerte-schott.de

Sandra Schopper, M.A.

Studiengangskoordinatorin "Master of Evaluation"

Universität des Saarlandes und Hochschule für Technik und Wirtschaft des Saarlandes

Telefon: 0681/ 302-4328
E-Mail: s.schopper@mx.uni-saarland.de