Degeval

Initiative für einen AK „Methoden in der Evaluation“

Vorschlag für die Gründung eines Arbeitskreises „Methoden in der Evaluation“ in der DeGEval

Ausgangs- und Problemlage

Stärker als in der universitären Forschung – in der inhaltliche Fragen nach methodischen Vorlieben bearbeitet werden können – muss der Prozess der methodischen Arbeit in der Evaluation sich strikt an den Erfordernissen des jeweiligen Untersuchungsgegenstandes orientieren. Das bedeutet, dass entsprechende methodische Kompetenzen und die zu ihrer Anwendung erforderliche Offenheit konstitutive Elemente des Handelns bei der Evaluation sein müssen. Damit sind zwei elementare Gründe zur Etablierung eines Methodenarbeitskreises genannt. Dabei bedeutet „Offenheit“, dass in dem Kreis ein Austausch nicht nur über Forschungsmethoden stattfinden soll, sondern auch über andere Arten von evaluativen Verfahren (etwa: entscheidungstheoretische oder beteiligungsorientierte Bewertungsverfahren). Unter „methodischer Kompetenz“ wiederum wird hier verstanden, dass – anders als in der Grundlagenforschung – in der auftragsbasierten Evaluation, unter dem Handlungsdruck der Praxis oft eine perfekte Lösung nicht umgesetzt werden kann, sondern ökonomisch vertretbare und pragmatisch handhabbare Abkürzungsverfahren gefunden werden müssen. Die Vertretbarkeit solcher Abkürzungsverfahren, die in der Literatur zunehmend diskutiert werden, und ihre Abgrenzung gegenüber schlechter, pseudowissenschaftlicher Evaluationspraxis muss ein ebenso wichtiges Anliegen für in der Evaluation Tätige und Auftraggebende sein, wie die Anwendung allgemein akzeptierter wissenschaftlich begründeter Qualitätskriterien im Handlungsfeld Evaluation. Insgesamt gilt, dass auf dem sehr weiten und interdisziplinären Feld empirischer Forschungsmethoden und der Methodologie empirischer Sozial- und Verhaltensforschung in den letzten Jahrzehnten rapide Entwicklungen und bedeutsame Debatten stattgefunden haben. Diese betreffen einerseits die Entwicklung fortgeschrittener und teilweise recht komplexer Verfahren der Datenerhebung und Datenauswertung und andererseits konzeptuelle und grundsätzliche Fragen wie etwa das Verhältnis qualitativer und quantitativer Methoden. Viele dieser Entwicklungen sind für Evaluation als berufliche Praxis und wissenschaftlich begründete Tätigkeit von unmittelbarer Relevanz: dies gilt etwa für die zunehmende Verfügbarkeit von EDV-gestützten, statistisch anspruchsvollen, aber oft leicht zu implementierenden Datenanalysetechniken (deren Anwendungsvoraussetzungen aber sehr komplex sein können), das betrifft weiterhin Debatten über „Hierarchien der Evidenz“ und „evidence based practice“ u.a.m. Von diesen Entwicklungen angeregt, oder auch unabhängig davon, finden in wissenschaftlichen Einzeldisziplinen immer wieder intensive Debatten über wissenschaftlich begründete Standards für gute und vertretbare Forschung statt. Die „DeGEval – Gesellschaft für Evaluation“ muss hier selber tätig werden, um als ein sichtbarer Akteur an Debatten über Methoden in der Evaluation teilzunehmen und um gleichermaßen wissenschaftlich vertretbare und pragmatisch umsetzbare Standards und Qualitätskriterien zu diskutieren und in der Fachöffentlichkeit zu vertreten. Die wesentliche Aufgabe eines AK „Forschungsmethoden in der Evaluation“ wäre demnach der offene Austausch über Evaluationsmethoden über einzelne inhaltliche Evaluationsfelder hinweg.

Ziele der Gründung des Arbeitskreises

Der Arbeitskreis wird den aktuellen Stand der Methodendiskussion, der Methodenentwicklung und anderer Bewertungsverfahren in relevanten Fachdisziplinen (Psychologie, Statistik, Soziologie, Ökonomie, Medizin, Pflegewissenschaften u.a.m.), insoweit dieser Stand für Evaluation von Relevanz ist, aufarbeiten, diskutieren und so auch die unterschiedlichen Fachdisziplinen in Austausch miteinander bringen. Im Zentrum der Aufmerksamkeit stehen dabei Gütestandards und Qualitätskriterien von Evaluationsmethoden. Im Sinne der aus der evidenzbasierten Medizin bekannten „Hierarchie der Evidenz“ sollen dabei best practices und akzeptable good practices identifiziert werden und die Geltungsreichweite von Aussagen, die mit Verfahren unterschiedlicher methodischer Strenge und Komplexität formuliert werden können, vergleichend bestimmt werden. Damit soll die Bandbreite wissenschaftlich vertretbarer Evaluationsmethoden in zwei Richtungen abgegrenzt werden: einerseits gegenüber zeit- und personalintensiven, hochkomplexen methodischen Verfahren, die vor allem in der wissenschaftlichen Grundlagenforschung einen Platz haben und andererseits gegenüber „Folkloremethoden“ der Praxis, denen methodische Kontrolle weitgehend fehlt. Für in der Evaluationsforschung Tätige ebenso wie für Auftraggebende und an den Evaluationsergebnissen Interessierte sollen auf diese Weise Brauchbarkeit und Erkenntnisgrenzen unterschiedlicher methodischer Ansätze verdeutlicht werden.

Ein mögliches Arbeitsprogramm

Diese Ziele sollen mit einer Serie von Arbeitstreffen (im Rahmen von und neben den Jahres-tagungen der DeGEval) umgesetzt werden. Die nähere inhaltliche Ausgestaltung erfolgt im Arbeitskreis. Zu den einzelnen festzulegenden Themen werden Referentinnen und Referenten aus dem Bereich der Forschung und der Praxis eingeladen, wobei durch ein sensibles Tagungs- und Diskussionsmanagement sicher gestellt wird, dass „Theoretiker(innen)“ und „Praktiker(innen)“ nicht Fehlerwartungen aneinander aufbauen, die zu Missverständnissen und Frustrationen führen. Ziel ist vielmehr eine konstruktive Diskussion und ein gewinnbringender Austausch durchaus auch mit dem Ziel der Vorbereitung einer Entwicklung von gleichzeitig wissenschaftlich vertretbaren und pragmatisch zu bewältigenden Standards. Letzteres kann in Unter-AKs geschehen, die ihre Ergebnisse dann an den eher querschnitts- und austauschorientierten Arbeitskreis „Methoden der Evaluation“ zur Diskussion übermitteln.

Um einen ersten Vorschlag zu einer Querschnittsdiskussion zu machen, könnte ein inhaltlicher Zugang über nachstehende Themen erfolgen:

• Forschungsdesigns in der Evaluation

• Gütekriterien empirischer Forschung

• Sampling in der Evaluation

• Verfahren der standardisierten Datenerhebung

• qualitative Interview- und Beobachtungsverfahren

• Statistische Methoden in der Evaluation

• Methoden zur Analyse von qualitativen Textdaten

Insgesamt sollten interessante Erörterungen der Tagungen in eine kleinere oder größere Publikation, oder – so weit entsprechende Ergebnisse vorliegen – in die Formulierungen von Handreichungen und Empfehlungen für in der Evaluation Tätige und Auftraggebende münden.

Initiatoren

Die initiierenden DeGEval-Mitglieder arbeiten seit vielen Jahren praktisch und wissenschaftlich auf dem Gebiet der Methoden empirischer Sozialforschung und der Evaluationsfor-schung, sind dort mit zahlreichen Publikationen national und international ausgewiesen. Weitere Interessierte, die sich an dem Aufbau einer solchen Arbeitsgruppe beteiligen wollen, sind herzlich eingeladen.

Prof. Dr. Udo Kelle
Institut für SoziologiePhilipps-Universität Marburg
Ketzerbach 11
35032 Marburg
Tel.   06421- 2824584 (direkt)
         06421- 2824588 (Sekretariat)
Fax   06421- 2828978

Dr. Christian Erzberger
Gesellschaft für innovative Sozialforschung und Sozialplanung e.V. (GISS)
Kohlhökerstr. 22
28203 Bremen
Tel. 0421/3347086
Fax 0421/3398835