Sie sind hier:Home»Arbeitskreise»Professionalisierung (ehemals: Aus- und Weiterbildung in der Evaluation)»Rezension Kirkpatrick

Rezension Kirkpatrick

Rezension Kirkpatrick

Kirkpatrick, D.L. & Kirkpatrick, J.D. (2006). Evaluating training programs. The four levels. San Francisco: Berret-Koehler Publishers.

 

ISBN: 1-57675-348-4

Preis: ca. 32€

Rezensiert von Dr. Jan Hense, Januar 2013

jan.hense@psychol.uni-giessen.de

 

 

 

 

 

 

 

Zusammenfassung der Inhalte

Donald Kirkpatricks Evaluating training programs. The four levels kann man als den Klassiker der Trainingsevaluation bezeichnen. Bereits Ende der fünfziger Jahre definierte er vier Ebenen, auf denen die Wirkungen von Weiterbildung untersucht werden können: reaction (Akzeptanz), learning (Lernerfolg), behavior (Transfer am Arbeitsplatz) und results (geschäftlicher Nutzen).

Teil 1 des Buchs nimmt ein knappes Drittel der Seiten ein und enthält eine Einführung in das Modell, in der die einzelnen Ebenen und Möglichkeiten zu ihrer empirischen Erfassung genau beschrieben werden. Teil 2 enthält viele authentische Fallstudien aus dem Kontext der betrieblichen Weiterbildung mit beispielhaften Instrumenten zu den einzelnen Ebenen.

Das Buch eignet sich für

Die Lektüre von Evaluating training programs lohnt sich vor allem für jene, die sich für die Analyse der Wirkungen von Bildungsmaßnahmen interessieren und die vier Ebenen einmal aus erster Hand kennenlernen wollen. Für umfassendere und vor allem formative Evaluationen sollte man sich allerdings nicht alleine auf das Kirkpatrick-Modell verlassen.

Stärken und Schwächen

Warum Kirkpatricks Modell über die Jahre so erfolgreich war, erschließt sich schnell bei der Lektüre. Die vier Ebenen sind nicht nur leicht verständlich und plausibel, sondern werden darüber hinaus in einem sehr eingängigen, praxistauglichen Schreibstil vermittelt und mit vielen Beispielen, Tabellen und Abbildungen illustriert.

Interessanterweise ist der Ansatz über die Jahre so populär geworden, dass Beschränkungen des Modells, die Kirkpatrick selbst benennt, oft vernachlässigt werden. Zu diesen gehört einerseits, dass die vier Ebenen zwar eine Kausalkette suggerieren, bei der jede Ebene die jeweils höheren Ebenen beeinflusst, tatsächlich aber nicht mehr als eine nützliche Heuristik für die Praxis sein sollen. Noch wichtiger ist, dass die vier Ebenen ausschließlich die Wirkungen von Bildungsmaßnahmen thematisieren und damit für pädagogische Prozesse und Ausgangs- und Rahmenbedingungen blind bleiben, die für deren Zustandekommen verantwortlich sind. Daher ist Kirkpatricks Modell vor allem für rein summative Evaluationen geeignet.

Für den allgemeinen Bereich der Evaluation ist das Buch mit Vorsicht zu genießen, da Kirkpatrick nur den Trainingssektor kennt und nichts anderes. So ist etwa der Trend zur Programmtheorie an ihm komplett vorbei gegangen, was sich u.a. darin niederschlägt, dass der Lehr-Lern-Prozess selbst, in dem ja die Trainingswirkungen auf den vier Ebenen zustande kommen, gar nicht vorkommt. Als alleinige Ressource für die Evaluation von Trainings und Weiterbildung ist Kirkpatrick also nicht zu empfehlen, aber als wichtiger Ansatz in diesem Bereich ist er nicht zu ignorieren.

Besonderheiten

Die vielen authentischen Fallbeispiele durch Drittautoren im zweiten Teil sind sicherlich eine Besonderheit.

Rezensent/-in

Prof. Dr. Jan Hense, jan.hense@psychol.uni-giessen.de

 


Checkliste Evaluationslehrbücher

A – Inhalte

Die folgende Liste zeigt mögliche Inhalte eines Lehrbuchs für Evaluation. Es muss nicht unbedingt ein Vorteil sein, wenn ein Buch alle Inhalte abdeckt, bzw. ein Nachteil, sollten nicht alle Inhalte behandelt werden. Vielmehr kommt es darauf an, dass die Inhalte vor dem Hintergrund des Anspruchs und der Zielsetzung des Buches in genügender Breite und Tiefe dargestellt sind.

 

Wo liegen die Schwerpunkte des Buchs?

 

 

Geht das Buch ein auf…

ja

teil-weise

nein

   Bemerkungen

1

…Definition, Funktionen und Zwecke von Evaluation?

 

 

x

Enger Fokus und Horizont auf Evaluation von Weiterbildungstrainings

2

…Ansätze und Theorien der Evaluation (z.B. im Rahmen eines gegenüberstellenden Überblicks)?

 

 

x

 

3

…die geschichtliche Entwicklung der Evaluation?

 

 

x

 

4

…die DeGEval-Standards (und/oder internationale Äquivalente)?

 

 

x

 

5

…Organisations- und Feldkenntnisse, Kontextwissen?

 

x

 

In Grenzen für den Kontext Training, allerdings nur pragmatisch

6

…das Projektmanagement bei Evaluationen?

 

x

 

eher implizit

7

…Sozial- und Selbstkompetenzen von Evaluierenden?

 

 

x

wenn dann am Rande

8

…aktuelle internationale Evaluationsliteratur?

 

 

x

 

9

…den gesamten Evaluationsprozess (vom Erstkontakt und der Planung über die Datenerhebung und -analyse, die Berichterstattung bis hin zur Metaevaluation)?

 

x

 

Für den Trainingskontext wird die Evaluation als Abschluss eines 10-schrittigen Prozesses behandelt

 

B – Didaktik

Bei dem zu rezensierenden Buch handelt es sich (im weitesten Sinne) um ein Lehrbuch, d.h. um ein Medium, das explizit mit didaktischen Intentionen gestaltet wurde und allgemein oder themenspezifisch zu einzelnen Anwendungs- oder Teilbereichen der Evaluation informieren und die aktive Auseinandersetzung mit den dargestellten Inhalten anregen soll. Vor diesem Hintergrund stellen sich im Rahmen der Rezension die folgenden Fragen:

 

 

 

ja

teil-weise

nein

Bemerkungen

1

Wird gesagt, an wen sich das Buch richtet? (Zielgruppe(n))

x

 

 

Planende, Koordinierende und Lehrende im Trainingsbereich

2

Wird gesagt, für welche didaktischen (Anwendungs-)Kontexte sich das Buch eignet?

 

 

x

implizit: Selbstlernen

3

Werden konkrete Lernziele formuliert?

 

 

x

 

4

Sind Fragen zur Selbstkontrolle und/oder Übungen enthalten?

 

 

x

 

5

Wird der Bezug zur Praxis in angemessenem Umfang hergestellt (z.B. mit Fallbeispielen, konkreten Handlungsempfehlungen)?

x

 

 

Der Hauptteil des Buchs besteht aus authentischen Fallschilderungen für die vier Ebenen der Trainingsevaluation, die von Drittautoren beigesteuert wurden.

6

Werden die behandelten Themen im Gesamtkontext der Evaluation verankert, werden Querbezüge hergestellt?

 

 

x

Das Buch ist komplett ignorant gegenüber der Evaluationsdiskussion außerhalb des Trainingsbereichs.

 

C – Textgestaltung

Mit Blick auf die Zielgruppe(n) bzw. den Anwendungskontext des Lehrbuches können auch gestalterische Kriterien an das Medium gestellt werden.

 

 

ja

teil-weise

nein

Bemerkungen

1

Ist die verwendete Sprache prägnant und verständlich?

x

 

 

 

2

Ist die Gliederung übersichtlich und folgt der Aufbau einer erkennbaren Logik („roter Faden“)?

x

 

 

Hauptgliederungsschema sind die vier Ebenen.

3

Werden Abbildungen, Tabellen, Illustrationen etc. in geeigneter Form und geeignetem Umfang eingesetzt?

x

 

 

In den Praxisbeispielen

4

Ist der Umfang des Buches dem Inhalt und den Zielsetzungen des Buches angemessen?

x

 

 

 

5

Alles in allem: Ist der Text hinsichtlich Inhalt und Niveau der Zielgruppe angepasst?

x

 

 

 

 

D – Formale Kriterien

Abschliessend werden noch einige formale Kriterien aufgeführt, die bei einer Buchbeurteilung zu berücksichtigen sind:

 

Das Buch…

ja

teil-weise

nein

Bemerkungen

1

…hat ein angemessenes und nutzendenfreundliches Layout.

x

 

 

Insgesamt aber eher textlastig

2

…enthält ein Glossar zentraler Begriffe.

 

 

x

 

3

…enthält ein Autoren-/Autorinnenverzeichnis.

 

 

x

Nur wenige Literaturverweise im Text, das Buch ist ansonsten weitgehend selbstreferenziell

4

…enthält ein Stichwortverzeichnis.

x

 

 

 

5

…enthält Hinweise auf weiterführende Literaturquellen.

 

 

x

 

7

…hat einen dem zu erwartenden Nutzen angemessenen Preis.

 

x

 

 

8

…ist für alle Interessierten leicht verfügbar (z.B. über den Buchhandel; ggf. Bemerkungen zu alternativen Bezugswegen).

x

 

 

 

 

Zuletzt geändert: 14. März 2015

Dr. Dörte Schott

Freie Evaluatorin
Telefon: +49 228 6296673
Email:info [at] doerte-schott.de

Sandra Schopper, M.A.

Studiengangskoordinatorin "Master of Evaluation"

Universität des Saarlandes und Hochschule für Technik und Wirtschaft des Saarlandes

Telefon: 0681/ 302-4328
E-Mail: s.schopper@mx.uni-saarland.de