Evaluation und Gesellschaft - Positionspapier 02 der DeGEval

1. Welche Relevanz und Funktion hat Evaluation für die Gesellschaft?

Evaluation leistet einen substanziellen Beitrag zur Bewertung von Projekten, Programmen und Organisationen. Ein zentrales Anwendungsfeld von Evaluation sind (politisch initiierte) öffentliche Programme. Somit steht die Bewertung ‚öffentlichen‘ Handelns im Vordergrund. Waren es zunächst Programme im Bildungs-, Sozial- und Gesundheitsbereich, so hat sich das Anwendungsspektrum von Evaluation mittlerweile auf alle Bereiche öffentlichen Handelns ausgeweitet. Mit zunehmender Autonomie und Selbststeuerung politischer Teilbereiche und Organisationen (wie z.B. Universitäten) wächst die Legitimationspflicht gegenüber politischen Entscheidungsträgern und der Öffentlichkeit. Die Aufgabe von Evaluation ist es dabei, Wirkungen politischer und administrativer Entscheidungen zu überprüfen und fundierte, sachliche Informationen zu öffentlichen und politischen Debatten bereitzustellen. Evaluation hat in diesem Sinne eine aufklärerische Funktion und ermöglicht eine wissensbasierte Entscheidungsfindung. Evaluation dient zudem der Legitimation und Transparenz innerhalb einer Organisation. Sie unterstützt Prozesse der Qualitätssicherung und -entwicklung und soll Organisationen in ihren Lernprozessen fördern.

2. Wie viel Evaluation braucht die Gesellschaft?

Einer langen Tradition von Evaluation öffentlicher Programme in den Vereinigten Staaten steht eine vergleichsweise kurze europäische Geschichte der Evaluation gegenüber. Bewertungsverfahren werden in Europa mittlerweile in vielen Feldern gesellschaftspolitischen Handelns regelmäßig eingesetzt. Sie entsprechen jedoch oft nur eingeschränkt professionellen Standards der Evaluation und sind häufig unterfinanziert. Sollen Evaluationen jedoch für die Ausrichtung künftiger Politik wissensbasierte Hinweise liefern, so müssen sie professionell durchgeführt und adäquat finanziert werden. Dabei gilt es, die Befunde bereits durchgeführter Evaluationen stärker zu nutzen sowie den Fokus zukünftiger Evaluationen vermehrt auf die nachhaltige Wirkung von Maßnahmen und Programmen für die Gesellschaft zu richten. Im Fokus steht nicht die Quantität von Evaluationen, sondern deren Relevanz und Beitrag zum Erkenntnisgewinn.

3. Soll Evaluation gesellschaftspolitisch Position beziehen?

Evaluation ist nicht bloßes Messen, sondern stets auch Bewerten. Evaluationen sollen daher unterschiedliche und gegenläufige Wertpositionen möglichst unparteiisch berücksichtigen und die zugrundeliegenden Bewertungskriterien explizit und transparent machen. Eine so verstandene Evaluationspraxis kann aufklären, unterstützen und Vertrauen fördern. Evaluation bezieht somit in aller Regel nicht selbst eine gesellschaftspolitische Position, sondern macht vielmehr unterschiedliche Wertpositionen sichtbar.

4. Wie können Evaluationsergebnisse Eingang in die gesellschaftliche Praxis finden?

Evaluation kann zur Transparenz gesellschaftspolitischer Prozesse und damit zum Dialog beitragen. Beteiligung gesellschaftlicher Akteure im Prozess der Evaluation sowie Klarheit in der Berichterstattung fördern den Nutzen von Evaluationen. Nicht nur positive Ergebnisse von Evaluationen zählen, auch das ‚Scheitern‘ eines Programmes stellt eine wichtige Erkenntnis dar und ist hilfreich für die weitere gesellschaftliche Entwicklung. Inwieweit Evaluationsergebnisse in politische Prozesse eingehen und damit Wirkung erzielen, hängt wesentlich von den Auftraggebenden und politischen Entscheidungsträgern ab. Dies setzt voraus, dass Politik und Praxis bereit sind, aus Evaluationsergebnissen zu lernen. Gleichzeitig sollte die Öffentlichkeit daran interessiert sein, Evaluation als Maßnahme zur öffentlichen Rechenschaftslegung einzufordern.

Die DeGEval – Gesellschaft für Evaluation hat zur Unterstützung professioneller und relevanter Evaluation Standards für Evaluation, Empfehlungen für Auftraggebende sowie zur Aus- und Weiterbildung in Evaluation veröffentlicht.

> DeGEval-Positionspapier 02 - Evaluation und Gesellschaft als pdf

Steuerung braucht Evaluation - Positionspapier 01 der DeGEval

Moderne Gesellschaften sind geprägt durch komplexe Steuerungsprozesse, in denen Wirtschaft, Politik, Bildung, Sozialsystem und weitere Akteurinnen und Akteure vielfältige, zum Teil gegenläufige Interessen mit unterschiedlichen Handlungslogiken verfolgen. Die Globalisierung von Märkten führt zu weiteren Anforderungen an die Steuerungsprozesse, wie nicht zuletzt die aktuelle Finanzkrise zeigt. Diese komplexe Beziehung von Steuerung und Evaluation war Thema der 11. Jahrestagung der DeGEval – Gesellschaft für Evaluation in Klagenfurt.

Evaluationen haben in den vergangenen Jahren in allen Politik- und Praxisfeldern an Bedeutung gewonnen. Sie können fundierte Informationen für die Gestaltung von Politik, die Verbesserung von Abläufen in Organisationen und für die Weiterentwicklung der Fachpraxis bereitstellen. Dies ist aus Sicht der DeGEval – Gesellschaft für Evaluation Chance und Gefahr zugleich: Chance insofern, als Evaluationen durch gesichertes Wissen und transparente Bewertung Steuerungsprozesse verbessern können; Gefahr insoweit, als Evaluationen zur bloßen Legitimation politischer Entscheidungen verwendet werden und ihnen – bei wachsendem Bedarf und oft geringen Budgets – die notwendigen Qualitätsstandards fehlen können.
Aus Perspektive der DeGEval ist die Koppelung von Evaluationen an Entscheidungsprozesse eine notwendige Bedingung, um in Politik, Wirtschaft und anderen Handlungsfeldern zu einer reflexiven Haltung bei Entscheidungsträgerinnen und -trägern beizutragen, Steuerung sachlich zu fundieren und Wirkungen abzuschätzen. Damit tragen Evaluationen zu einer evidenz-basierten Politik und Praxis bei.

Der Vorstand der DeGEval appelliert an Entscheidungsträgerinnen und -träger in Politik und anderen Handlungsfeldern, angemessene Voraussetzungen zu schaffen, um die Verwendung von Evaluation für eine rationale Steuerung zu stärken. Insbesondere sind hierbei folgende Aspekte von Bedeutung:

1. Die Unterstützung von Steuerungsprozessen durch Evaluation bedarf der verbindlichen Vereinbarung über die Form und Transparenz der Ergebnisverwendung. Unklare oder fehlende Verwendungsvereinbarungen ohne Orientierung am Bedarf potentieller Nutzerinnen und Nutzer schmälern die Steuerungsrelevanz von Evaluationen.
2. Für die Durchführung von Evaluationen muss ein dem Zweck angemessener Zeitrahmen definiert werden, um methodische und feldspezifische Standards einhalten zu können. Insbesondere sollten Evaluatorinnen und Evaluatoren frühzeitig in die Zielexplikation und Ausgestaltung der Instrumente von Programmen, Strategien und Institutionen eingebunden sein, um die Realisierbarkeit bestimmter Evaluationsdesigns gemeinsam mit den Auftraggebenden zu erörtern.
3. Für Evaluationen müssen angemessene Ressourcen zur Verfügung stehen. Die DeGEval sieht mit Sorge, dass einerseits die Anzahl der Evaluationen enorm zunimmt, andererseits die für eine qualitativ angemessene Evaluation notwendigen finanziellen Mittel häufig nicht zur Verfügung stehen.
4. Insgesamt sollte die Vergabe von Evaluationen professionellen Standards entsprechen, die neben den bereits angeführten Aspekten auch das Verhältnis zwischen Auftraggebenden und Evaluatorinnen und Evaluatoren sowie den Ablauf der Evaluation definieren.
5. Von den Evaluatorinnen und Evaluatoren ist zu fordern, dass sie über angemessene Methoden- und Feldkenntnisse, Evaluationserfahrung, Sozialkompetenzen sowie über Kenntnisse zu Evaluationsansätzen und -modellen verfügen. Denn die Ergebnisse von Evaluationen sind in der Regel nur dann nützlich, wenn diese professionell durchgeführt werden.
6. Evaluationen sollten daher national und international anerkannten Standards entsprechen, auf die sich die beteiligten Akteurinnen und Akteure verbindlich verständigen.

Die DeGEval – Gesellschaft für Evaluation hat als größte Fachgesellschaft für Evaluation in Europa zur Unterstützung der Beteiligten in Evaluationsprozessen mehrere hilfreiche Produkte entwickelt. Neben den europaweit verbreiteten DeGEval-Standards für Evaluation sind dies insbesondere Empfehlungen für Auftraggebende sowie Empfehlungen für die Aus- und Weiterbildung von Evaluatorinnen und Evaluatoren.

> DeGEval-Positionspapier 01 "Steuerung braucht Evaluation" als pdf

 

Governance Needs Evaluation - Policy Document 01 of DeGEval - Gesellschaft fuer Evaluation

Modern societies are shaped by complex governance processes within which the economic, political, educational and social system and further stakeholders pursue diverse, and oftentimes contradictory interests each with a different logic of action. Moreover, the globalisation of markets makes even further demands on governance processes, as has been demonstrated by the recent financial crisis. This complex relationship of governance and evaluation was the topic of the 11th annual meeting of the DeGEval - Gesellschaft fuer Evaluation in Klagenfurt, Austria.

In recent years, evaluations have become more important in all fields of politics and practice. They can provide well-founded information for policy planning, the improvement of operational sequences in organisations and for the further development of professional practices in general. In the opinion of DeGEval, this is both an opportunity and a risk: an opportunity in that evaluations can improve governance processes via well-founded knowledge and transparent evaluation policies; a risk, however, insofar as evaluations can be used solely to legitimise political decisions and the evaluations themselves - due to growing demand and often low budgets - can lack essential quality standards.

From the perspective of DeGEval, the interconnection of evaluations with decision-making processes in political, economic and other fields of practice is an essential requirement to contribute to a reflective attitude of decision-makers, to found governance on a factual basis and to assess and anticipate consequences accurately. Thus, evaluations contribute to politics and practice founded upon empirical facts.

The executive board of DeGEval calls upon decision-makers in politics and other fields of practice to create adequate conditions in order to strengthen the use of evaluation for rational governance. The following aspects are of especial importance:
1. The support of governance processes with evaluation requires a binding agreement regarding the form and transparency of the use of results. Unclear or lacking agreements without an orientation towards potential users reduce the relevance of evaluation for governance.

2. For the implementation of evaluation it is of utmost importance to define a time frame in accordance with the evaluation's purpose in order to be able to observe methodical and field-specific standards. In particular, evaluators should be involved early in the target explication process and the creation of instruments for programmes, strategies and institutions in order to enable a discussion regarding the feasibility of certain evaluation designs with the client.

3. Evaluations must be backed by sufficient resources. DeGEval views with concern that on the one hand the number of evaluations has drastically increased, on the other hand, however, the necessary amount of financial resources for qualitatively appropriate evaluations are oftentimes not available.

4. Taking all things into consideration, the allocation of evaluations should take place according to professional standards that alongside the already mentioned aspects also define the relationship between evaluators and clients and define the evaluation schedule.

5. On the part of the evaluators, it is required that they have adequate methodical and field knowledge, evaluation experience, social skills and know-how regarding evaluation approaches and models. This is essential because evaluation results are only useful if the evaluations are carried out professionally.

6. Thus, evaluations should take place in accordance with national and international standards upon which all stakeholders are in agreement.

DeGEval - Gesellschaft fuer Evaluation as Europe's largest association for evaluation has developed several helpful products to support stakeholders in evaluations. Alongside the DeGEval - Standards for Evaluation that are widespread in Europe there are in particular the Recommendations for Clients of Evaluation and the Recommendations on Education and Training in Evaluation.

> DeGEval Policy Document 01 "Governance Needs Evaluation" as pdf