Sie sind hier:Home»Publikationen»Positionspapiere

Positionspapiere

Evaluation and knowledge society - Position paper 08 of the DeGEval

Evaluation and knowledge society

Position paper of the Board of DeGEval-Evaluation Society

The move towards a “knowledge society” has already attracted broad public and scientific attention with the work of Daniel Bell in the early 1970s. Knowledge and its role in society have been analysed in manifold ways in connection with knowledge politics and the knowledge economy. It is no coincidence that the development of the knowledge society has occurred alongside an increasing importance of evaluation. Evaluation as such is a process for the generation of knowledge.

“Evaluation and knowledge society” formed the underlying of the annual conference of the DeGEval – Evaluation Society in Speyer in 2015.

  • Evaluation fulfils a need generated by the move towards a knowledge society


Societal governance processes as well a individual actions nowadays increasingly rely on knowledge, which is enhanced by new technological developments for data processing and digitalization, as stressed by Wolfgang Böttcher in his introductory speech at the conference to the meeting. This is relevant at organizational level, but also for other parts of society or even entire societies. Modernization concepts such as “better or smarter regulation” as well as “open government” are hardly conceivable without specific forms of knowledge generation, processing and exploitation.

  • Evidence from evaluation is generated by manifold use of methods


Evaluations represent evidence in the widest sense, which needs to be framed by theory and methodology. In his conference-opening keynote Stefan Kuhlmann stressed that one should not overhastily talk about a hierarchy of “good” or “bad” evidence, “good” or “bad” knowledge. In the demand for an evidence-based approach priority is usually given to quantitative randomized and controlled studies that follow an experimental design. This does not take into account that there are several alternative evaluation designs that can also contribute to our knowledge. Indeed, it might be more appropriate to collect different evidences on the same item in order to triangulate evidence.

  • Secure connectivity of knowledge produced by evaluation


An important function of evaluation in the knowledge society is the preparation of knowledge in a way that makes connectivity and use possible. The results of evaluation projects should not end up in the drawer, but be merged to a knowledge base about effects of measures in the different fields. This newly generated knowledge should be compatible with discourses in different fields or systems – e.g. contribute to the dissemination of knowledge generated in the knowledge system and the inclusion in politics. Evaluation therefore fulfils the function of being “translator” between scientific knowledge aimed at general contexts on the one hand on the other of providing detailed action requests of actors in specific settings. Evaluation can help to translate general knowledge and adapt it to specific contexts.

  • Aim: contributions to the public debate, improvement of democratization


Knowledge bases which are fed by evaluations can be used for social decision processes in different areas. Contemporary evaluation is developing towards being knowledge based multi-methods research on specific questions which puts the interests of its clients into focus. Evaluation can thus through knowledge which is being provided to ever-growing degree and support stakeholders in the design of their actions. Wherever the use of public funds is involved, it always refers to society as a whole. The professionalization of evaluators is based on increasing understanding of theory and methods and can thus also stick to the emancipatory promise of the knowledge society.


______________________________________________________________
Evaluation and knowledge society - Position paper of the DeGEval as PDF

Zuletzt geändert: 21. Juni 2016

Evaluation und Wissensgesellschaft - Positionspapier 08 des Vorstandes der DeGEval – Gesellschaft für Evaluation

Evaluation und Wissensgesellschaft

Positionspapier des Vorstandes der DeGEval – Gesellschaft für Evaluation

Der Wandel zur „Wissensgesellschaft“ hat spätestens mit Daniel Bells Arbeiten in den frühen 1970er Jahren breite öffentliche und wissenschaftliche Aufmerksamkeit erfahren. Wissen und seine Rolle in der Gesellschaft sind im Zusammenhang mit Wissenspolitik und Wissensökonomie vielfältig analysiert worden. Nicht zufällig fällt die Entwicklung der Wissensgesellschaft mit der steigenden Bedeutung der Evaluation zusammen. Evaluation ist für sich genommen ein Verfahren zur Generierung von Wissen.

Auf ihrer Jahrestagung im September 2015 nahm sich die DeGEval - Gesellschaft für Evaluation e.V. in Speyer Zeit, das Thema „Evaluation und Wissensgesellschaft“ in seinen unterschiedlichen Facetten zu diskutieren.

  •  Evaluation erfüllt einen Bedarf, der sich aus dem Wandel zur Wissensgesellschaft speist

Gesellschaftliche Steuerungsprozesse wie auch individuelles Handeln stützen sich heute vermehrt auf die Ressource Wissen, verstärkt durch neue technologische Entwicklungen der Datenverarbeitung und Digitalisierung, wie Wolfgang Böttcher in seinem Grußwort zum Kongress betonte. Dies gilt sowohl auf Ebene von Organisationen als auch  für gesellschaftliche Teilbereiche oder ganze Gesellschaften. Modernisierungskonzepte wie „Better bzw. Smarter Regulation“ sowie „Open Government“ sind ohne eine spezifische Form der Wissensgenerierung, -aufbereitung und -nutzung kaum denkbar.

  • Evidenz aus Evaluation entsteht durch vielfältigen Methodeneinsatz

Evaluationen stellen Evidenz im weitesten Sinne dar, die theorie- und methodenkritisch gerahmt werden muss. Stefan Kuhlmann hat hier in seiner den Kongress eröffnenden Keynote betont, dass man dabei nicht vorschnell von einer Hierarchie „guter“ oder „schlechter“ Evidenz,  „guten“ oder „schlechten“ Wissens sprechen könne. Gerne wird in der Forderung nach Evidenzbasierung den quantitativen randomisierten kontrollierten Studien nach dem experimentellen Design der Vorrang gegeben. Das übersieht, dass eine ganze Reihe von alternativen Evaluationsdesigns auch zu dieser Wissensbasis beitragen können. Viel näher liegt es, verschiedene Evidenzen zum selben Gegenstand im Sinne einer Evidenztriangulation zusammenzutragen.

·         Anschlussfähigkeit des durch Evaluation produzierten Wissens sicherstellen

Eine wichtige Funktion von Evaluationen in der Wissensgesellschaft ist die Aufbereitung von Wissen in einer Form, die Anschlussfähigkeit und Nutzung ermöglicht. Die Ergebnisse von Evaluationsprojekten sollten nicht in Schubladen verschwinden, sondern zu einem Wissensbestand über Wirkungen von Maßnahmen in den verschiedenen Feldern zusammengefügt werden. Dieses neu generierte Wissen soll dabei anschlussfähig an die Diskurse in verschiedenen Feldern oder Systemen sein – also beispielsweise zu einer Vermittlung von im Wissenschaftssystem generiertem Wissen und deren Verarbeitung in der Politik beitragen. Evaluation erfüllt damit die Rolle einer „Übersetzerin“ zwischen den auf allgemeine Zusammenhänge zielenden wissenschaftlichen Erkenntnissen auf der einen Seite und den konkreten Handlungsanforderungen von Akteuren in spezifischen Settings auf der anderen. Evaluation kann helfen, allgemeines Wissen in konkrete Kontexte zu übersetzen und anzupassen.

·         Ziel: Beitrag zur offenen Debatte, Stärkung von Demokratisierungsprozessen

Solche aus Evaluationen gespeisten Wissensbestände können für gesellschaftliche Entscheidungsprozesse in den verschiedensten Bereichen genutzt werden. Zeitgemäße Evaluation entwickelt sich zu einer wissensbasierten, auf multipler Evidenz ruhenden Erforschung spezifischer Fragestellungen, die das Nutzungsinteresse der Auftraggebenden in den Mittelpunkt rückt. Evaluation kann insofern durch das in zunehmendem Umfang bereitgestellte Wissen führen und Akteure bei der Gestaltung ihrer Handlungen unterstützen. Wo es um den Einsatz öffentlicher Gelder geht, ist hiermit auch immer die Gesamtgesellschaft gemeint. Die Professionalisierung der Evaluatorinnen und Evaluatoren läuft dabei über ein immer stärker gesichertes Theorie- und Methodenverständnis und kann so auch das emanzipatorische Versprechen der Wissensgesellschaft einlösen.

_______________________________________________________________
Evaluation und Wissensgesellschaft - Positionspapier 08 der DeGEval als PDF

Zuletzt geändert: 12. April 2016

Professionalization in and for Evaluation: Position paper 07 of the DeGEval

Professionalization in and for Evaluation

Position Paper of the DeGEval – Gesellschaft für Evaluation (Evaluation Society) Management Board

February 2015

The 16th Annual Conference of the DeGEval – Gesellschaft für Evaluation e.V., which we carried out together with the Swiss Evaluation Society SEVAL in Zurich in 2014, dealt with the issue of professionalization in and for evaluation: How can professionalism be ensured, what can be or is to be meant when talking about professionalism, or what exactly should our evaluation society contribute in order to make evaluation an indispensable instrument for the decision making process in all societal and political fields?

The choice of this topic was not solely based on the fact that the support of a continuous development process of evaluation practice and standards is explicitly stipulated in the DeGEval’s statutes and thus leads to the question of the significance of “professionalism”. It is also a prevailing topic at present since there are intensive ongoing discussions in several evaluation societies in Germany and in other countries about this battery of questions. Last but not least, the success story of evaluation necessitates a debate that is able to provide better orientation.

However, the success story of evaluation can definitely be described as being quite ambivalent. On the one hand, there is hardly any political decision made today without at least some reference to evaluation. This applies to Europe in particular. In the German speaking countries, “evaluation” has not been regarded as a kind of foreign word that evokes resistance in those affected for quite some time. On the other hand, there are a number of activities such as simple feedbacks, audits, or psychometric tests that are wrongly called evaluations since they are not able to reach the standards of professional program or organization evaluation, even though there might be some overlapping aspects. Furthermore, it is not quite clear if someone who calls himself/herself an evaluator, is really appropriately qualified enough. So far a reliable outline of the profession has been missing.

The topic “professionalization of evaluation” and the challenges attached to it may be discussed in the form of thesis and antithesis. Thus, guidelines can be drawn up that mark the lines within which discussions can take place. They can be phrased as questions:

  • Is it sufficient to have a thorough knowledge about the respective political field in order to be able to evaluate this? Or does it suffice to have evaluation competence to be able to evaluate in any old field?
  • Are quality and quantity of the certainly very heterogeneous offers for the development of evaluation competence sufficient? Or will the range of course offerings have to be systematically extended and accredited?
  • Should training and professional development courses rather be localized in the political area? Or does it make more sense to make generic offers?
  • Do the available evaluation standards with regard to quality development suffice? Or are further measures required that go beyond that, such as controlling and examining measures to safeguard standards and, if necessary, to sanction noncompliance.
  • Can the quality of evaluation only be ensured by more stringent and more systematic regulations such as e.g. a certification of evaluators? Or do self-definition and possibly a membership in the DeGEval in Germany and Austria suffice to act as evaluators?
  • Is the quality of an evaluation defined by the parties involved? Or is an external assessment and complaints body required?

This addresses a wide range of possible issues and challenges. At the one end of the spectrum the question arises what kind of quality evaluations must have and which competencies evaluators must possess in order to be able to talk about “good” evaluation. At the other end, there is the question if and in how far accreditation and certification of evaluators should define the field of professional evaluation.

Subsequent to the discussions at our annual conference and numerous internal debates on the two ends of the problem “good evaluation” and “certification and accreditation” that also included several experts, we feel that we are closer to the former. Wherever our position tends to open up to the latter – in particular with regard to certification – it is in favor of voluntariness.

Given the political fields in which evaluators move and the importance of evaluation results as evidences in highly relevant societal decision processes, this is indeed quite a moderate position.

Our general objections and concerns against strong regulation refer to the fact that evaluation has not yet advanced enough on the “classical” way towards professionalism despite its development. In Austria and Germany, we have just about made the first steps on the way towards a “profession”: evaluation is carried out on a commercial basis, it is taught and researched, and the stakeholders have organized themselves. But evaluation is still far away from being able to fulfill an institutionalized function within the political sector. A professional profile has not yet been reliably defined, either. Owing to the multidisciplinarity of evaluation that collects and brings together the methodological knowledge of empirical social research and assessment as well as the special expertise of the respective research area, the development of a professional profile that embraces this duality seems by no means trivial. We are still far away from governmental recognition and approval as a profession.

All along this way a number of questions remain unanswered: Who should enunciate in a mandatory and legally-binding way what evaluation, i.e. good evolution, really is? Who should be certified by whom in order to subsequently certify others? Who should pass a fair judgment on the quality of an evaluation in a legal case between the commissioning and the evaluating body – with possibly considerable consequences – that is professional as well binding for all the participants? What are the consequences of mandatory certification and thus the potential exclusion of several of today’s evaluating bodies?

Last but not least, the number of individuals and institutions organized in the DeGEval limits the possibilities, but also the need for stronger accreditation and certification at present. We still have not yet our member potential in Germany and Austria, and the entire work in the research groups and in the board is done on an honorary basis.

However, we do indeed follow processes based on voluntariness such as the initiative of mutual assessment (Voluntary Evaluator Peer Review) or the standardized procedure in Canada to become a “credentialed evaluator”, but our impressions are that those procedures are very intricate and costly and not at all indisputable as to their legitimacy.

Against the background of the developments in Germany and Austria so far, it is first and foremost about further developing the qualification landscape. Some initiatives are taking place at present. The DeGEval offers a platform that collects offers and proposals for training and professional development courses in the evaluation sector and systematically describes them on the basis of standard criteria. One project group is presently working on a teaching course “Evaluation” that could be integrated in the methodology seminars of social science degree programs.

We will continue to work on strengthening the DeGEval’s standards of evaluation. Each member can contribute to this by offering project-related discussions of these standards in the context of evaluations. We also think that an increased inclusion of those bodies that actually commission evaluations seems worthwhile: the cooperation of evaluating and commissioning institutions and organizations constitutes one of the conditions for a high-quality evaluation. We as an evaluation society will certainly increase our efforts even further to come into contact with those who commission evaluations. The description of the evaluators’ competencies might also lead to a revision process and thus result in a firm establishment of such competencies by means of precisely described curricular elements.

There is one further stimulus that we actually owe to the European Evaluation Society (EES). They discuss certain “cases” on a special platform. The idea is that it might be useful to learn more about actual evaluations. Whenever possible, real evaluation studies should be made visible: learning on the case. This is very similar to the challenge to intensify research on evaluation.

The DeGEval’s strength also depends on its size. We would like to continue being open to people who are “somehow” involved with evaluation. All our activities like e.g. the publications, the conferences organized by our research groups and the annual convention aim at professionalizing our members in matters of evaluation. However, interested candidates will not have to pass an entry test in order to become members.

There are quite a few interesting prospects for the DeGEval as on organization as well as for its members as far as advancing professionalization of evaluation is concerned: winning new, interested and qualified members, spreading the standards of good evaluation even further, cooperating with professional associations whose members are also involved in the evaluation sector, strengthening the external communication with those who commission evaluations, and the cooperation with evaluation societies in other countries. Ultimately, it is exchange and reflection that, in our opinion, leads the way towards a stronger professionalization of evaluation. These first steps might even be the stepping stones towards a certification process.


Professionalization in and for Evaluation: Position paper 07 of the DeGEval als PDF.

 

Zuletzt geändert: 20. Mai 2015

Professionalisierung in und für Evaluation - Positionspapier 07 der DeGEval

Professionalisierung in und für Evaluation

Positionspapier des Vorstandes der DeGEval – Gesellschaft für Evaluation

Februar 2015

Die 16. Jahrestagung der DeGEval – Gesellschaft für Evaluation e.V., die wir 2014 gemeinsam mit der Schweizer Evaluationsgesellschaft SEVAL in Zürich durchgeführt haben, fragte nach Professionalität in und für Evaluation: Wie kann Professionalität gesichert werden, was soll und kann überhaupt unter Professionalität verstanden werden oder welche Beiträge sollte unsere Evaluationsgesellschaft leisten, Evaluation zu einem unverzichtbaren Instrument zur Entscheidungsfindung in allen gesellschaftlichen und politischen Feldern zu machen?

Die Themenwahl begründete sich nicht nur auf die Tatsache, dass die Unterstützung eines kontinuierlichen Entwicklungsprozesses von Evaluationspraxis und -standards als eine der zentralen Aufgaben in der Satzung der DeGEval festgeschrieben ist und sich hieraus die Frage eröffnet, welchen Stellenwert „Professionalisierung“ erhalten soll. Aktualität bekommt das Thema auch dadurch, dass in vielen Evaluationsgesellschaften intern und international über diesen Fragekomplex diskutiert wird. Nicht zuletzt drängt die Erfolgsgeschichte der Evaluation, eine Debatte zu führen, die Orientierung geben soll.

Die Erfolgsgeschichte der Evaluation ist durchaus als ambivalent zu beurteilen. Einerseits kommt heutzutage kaum eine politische Entscheidung – vor allem auf europäischer Ebene – ohne den Verweis auf ihre Evaluation aus. Schon länger ist Evaluation auch im deutschen Sprachraum kein „Fremdwort“ mehr, das bei den Betroffenen Widerstand hervorruft. Andererseits firmieren verschiedene Aktivitäten wie einfache Feedbacks, Audits oder psychometrische Tests häufig und zu Unrecht als Evaluation, denn sie unterbieten, auch wenn es Überschneidungen zu Evaluationen gibt, die vorhandenen Standards einer Programm- oder Organisationsevaluation. Unklar ist zudem, inwieweit einschlägig qualifiziert ist, wer sich Evaluatorin oder Evaluator nennt. Eine verlässliche Konturierung fehlt bislang.

Das Thema „Professionalisierung der Evaluation“ und die damit verknüpften Herausforderungen können in Form von These und Gegenthese erörtert werden. Damit können Leitplanken aufgestellt werden, innerhalb deren sich eine Diskussion bewegen kann. Als Fragen formuliert:

  • Genügt es, sich im Politikfeld auszukennen, um dort evaluieren zu können? Oder genügt es, über Evaluationskompetenz zu verfügen, um dann in jedem beliebigen Feld evaluieren zu können?
  • Sind die Qualität und Quantität der – ja sehr heterogenen – Angebote zur Entwicklung von Evaluationskompetenz ausreichend? Oder müssen Lehrangebote systematisch ausgeweitet und akkreditiert werden?
  • Sollten Aus- und Weiterbildungen eher im Politikfeld verortet sein? Oder ist es sinnvoller, generische Angebote zu machen?
  • Genügen die verfügbaren Standards der Evaluation zur Qualitätsentwicklung? Oder sind darüber hinausgehende kontrollierende, prüfende Maßnahmen erforderlich, die eine Einhaltung der Standards sichern und ggf. sanktionieren?
  • Kann die Qualität der Evaluierung dauerhaft nur durch härtere und systematischere Regulierung wie z.B. eine Zertifizierung von Evaluierenden gesichert werden? Oder reichen eine Selbstdefinition und ggf. die Mitgliedschaft in der DeGEval in Deutschland und Österreich aus, um als Evaluator/in auftreten zu können?
  • Wird die Qualität einer Evaluation durch die Beteiligten definiert? Oder benötigen wir eine externe Prüfungs- und Beschwerdestelle?


Hiermit ist ein breites Spektrum von möglichen Themen und Herausforderungen adressiert. An einem Ende steht die Frage, welche Qualität Evaluationen aufweisen müssen und über welche Kompetenzen Evaluatorinnen und Evaluatoren verfügen sollen, damit von guter Evaluation geredet werden kann. Am anderen Ende des Spektrums steht die Frage, ob und inwieweit Akkreditierung und Zertifizierung von Evaluatorinnen und Evaluatoren das Feld professioneller Evaluation definieren sollen.

Nach den Diskussionen anlässlich unserer Jahrestagung und nach verschiedenen internen Debatten unter Einbezug von Expertinnen und Experten sehen wir uns zwischen den Polen „Gute Evaluation“ versus „Zertifizierung und Akkreditierung“ näher beim ersteren. Wo sich unsere Position auch etwas zur anderen Seite hin öffnet – beispielsweise bei der Zertifizierung von Weiterbildungsangeboten – setzt sie auf Freiwilligkeit.

Angesichts der Politikfelder, in denen sich Evaluatoren und Evaluatorinnen bewegen, und angesichts der Bedeutung, die Evaluationsergebnisse als Evidenzen in gesellschaftlich hoch relevanten Entscheidungsprozessen haben können, ist dies eine moderate Positionierung.

Unsere generellen Bedenken und Einwände gegen eine strenge Regulierung verweisen darauf, dass die Evaluation trotz ihrer Entwicklung auf dem „klassischen“ Weg zur „Professionalität“ noch nicht weit genug fortgeschritten ist. Von den Etappen, die auf dem Weg zu einem „Beruf“ zurückgelegt werden, haben wir – jedenfalls in Deutschland und Österreich – allenfalls die ersten hinter uns gelassen: Evaluation wird erwerbsmäßig betrieben, sie wird unterrichtet und beforscht und Akteure haben sich organisiert. Noch ist die Evaluation weit davon entfernt, eine institutionalisierte Funktion in der Politik auszuüben. Auch ein berufliches Profil ist verlässlich nicht definiert. Aufgrund der Interdisziplinarität von Evaluation, die methodische Kenntnisse in der empirischen Sozialforschung und der Bewertung ebenso wie Fachexpertise im jeweiligen Untersuchungsfeld zusammenbringt, scheint die Konturierung eines berufliches Profils, welches dieser Dualität gerecht wird, nicht trivial. Noch weiter entfernt sind wir von der staatlichen Anerkennung der Evaluation als Beruf.

Auf diesem Weg sind noch viele Fragen offen: Wer sollte verbindlich und rechtssicher formulieren, was Evaluation und, vor allem, was gute Evaluation ist? Wer sollte von wem zertifiziert sein, um dann andere zu zertifizieren? Wer sollte in einem Streitfall zwischen Auftraggebenden und Auftragnehmenden fachlich und für alle Beteiligten verbindlich ein Urteil über die Qualität einer Evaluation – mit womöglich erheblichen Konsequenzen – fällen? Welche Folgen hätte eine verbindliche Zertifizierung und damit potentiell ein Ausschluss vieler Akteure, die heute evaluieren?

Nicht zuletzt begrenzt die Zahl der in der DeGEval organisierten Personen und Institutionen die Möglichkeiten, aber auch die Notwendigkeit einer stärkeren Akkreditierung und Zertifizierung zum jetzigen Zeitpunkt. Noch haben wir unser Potenzial an Mitgliedern in Deutschland und Österreich nicht ausgeschöpft, und in der DeGEval wird in den Arbeitskreisen und im Vorstand ausschließlich ehrenamtlich gearbeitet.

Mit Interesse verfolgen wir allerdings die auf Freiwilligkeit beruhenden Prozesse wie die Initiative einer gegenseitigen Bewertung (Voluntary Evaluator Peer Review) oder das standardisierte Verfahren, um in Kanada als „Credentialed Evaluator“ zu gelten. Aber solche Verfahren, so unser Eindruck, sind sehr aufwändig und hinsichtlich ihrer Legitimität durchaus nicht unumstritten.

Vor dem Hintergrund der bisherigen Entwicklungen in Deutschland und Österreich geht es zuvörderst darum, die Qualifizierungslandschaft weiter zu entwickeln. Einige Initiativen sind im Gang. Die DeGEval bietet eine Plattform an, auf der Aus- und Weiterbildungsangebote im Bereich der Evaluation gesammelt und systematisch nach einheitlichen Kriterien beschrieben werden. Eine Projektgruppe erarbeitet eine Lehreinheit „Evaluation“, die sich in Methodenseminare sozialwissenschaftlicher Studiengänge einfügen lässt.

Wir werden zudem weiterhin dazu beitragen, die Standards der Evaluation der DeGEval zu stärken. Hierzu kann jedes Mitglied der DeGEval seinen Beitrag leisten, indem sie im Rahmen von Evaluationen projektbezogen diskutiert werden. Auch der noch stärkere Einbezug der Auftraggebenden erscheint uns lohnenswert: In der Zusammenarbeit von Evaluierenden  und Auftraggebenden liegt eine Bedingung für eine gute Qualität von Evaluation. Wir werden uns als Evaluationsgesellschaft deshalb noch stärker darum bemühen, Kontakt mit den Auftraggebenden aufzunehmen. Auch die Beschreibungen der Kompetenzen von Evaluatorinnen und Evaluatoren könnten in einen Revisionsprozess geführt und dabei womöglich mittels präzise beschriebener curricularer Elemente konkretisiert werden.

Eine weitere Überlegung verdanken wir der European Evaluation Society (EES). Hier werden auf einer Plattform „Fälle“ diskutiert. Die Idee ist, dass es nützlich sein könnte, mehr über tatsächliche Evaluationen zu erfahren. Wenn immer es geht, sollten reale Evaluationsstudien sichtbar gemacht werden: Lernen am Fall. In einen ähnlichen Zusammenhang fällt die Aufforderung, die Forschung über Evaluation zu intensivieren.

Die Stärke der DeGEval hängt auch von ihrer Größe ab. Wir wollen weiterhin offen sein für Personen und Organisationen, die „irgendwie“ mit Evaluation zu tun haben. Mit unseren Aktivitäten, also z.B. den Publikationen, den Tagungen der Arbeitskreise und der Jahrestagung wollen wir unsere Mitglieder für Evaluation professionalisieren. Aber wir stellen keine Eingangsprüfung vor die Tür zur Mitgliedschaft.

Es gibt für die DeGEval als Organisation und für ihre Mitglieder interessante Perspektiven, die Professionalisierung von Evaluation voranzutreiben: die Gewinnung interessierter und qualifizierter Mitglieder, die weitere Verbreitung der Standards guter Evaluation, die Kooperation mit Fachverbänden, in denen sich Personen versammeln, die (auch) evaluieren, die Stärkung der externen Kommunikation mit Auftraggebenden sowie die Zusammenarbeit mit den Evaluationsgesellschaften in anderen Staaten. Gerade im Austausch und der Reflexion sehen wir den Weg zu einer stärkeren Professionalisierung von Evaluation. Womöglich können dieses erste Schritte auf dem Weg zu Verfahren der Zertifizierung sein.


Professionalisierung in für Evaluation - Positionspapier 07 der DeGEval als PDF

Zuletzt geändert: 20. Mai 2015

Complexity and Evaluation - Position paper 06 of the DeGEval

Complexity and Evaluation

Position Paper of the DeGEval Gesellschaft für Evaluation (Evaluation Society) Management Board

January 2014


Complexity is a characteristic feature of human action and behaviour. It is a particularly formative issue in modern societies: In most cases, the major and minor challenges and problems of human cooperation can only be resolved in a co-action process of diversely differentiated and specialised systems or persons. The ever-changing and developing interaction relationships are partly responsible for the efficiency of societies. However, they are also constitutive for their complexity. Overall it is true that complexity can increase problem-solving abilities and open opportunities for individual development potential – albeit at the cost of uncertainty and permanent coordination and attunement requirements. Thus evaluation, which inter alia attempts to trace causal influence conditions – i.e. activities and their desired or non-desired effects – faces very special challenges against this background. Therefore the DeGEval-Gesellschaft für Evaluation dealt with the issue “Complexity and Evaluation” at its Annual Conference 2013.

Evaluation supports comprehension

Action and behaviour in social contexts under the conditions of complexity is characterised by permanent and manifold correlations and interdependencies. Globalisation, acceleration, networking as well as technological innovations are drivers for these developments. This limits the possibilities to detect clear causalities. In order to be able to collect data on effect relationships, tailor-made designs, appropriate methods, a high data processing and analysis quality as well as a competent execution of evaluation processes depending on the respective subject and context of an evaluation are required. Non-linearity, emergence, but also different interpretations and assessments exacerbate the ascertainment of effect relationships. Evaluation can aid in comprehending and explaining how interactions take place, which changes occur, how they proceed, and which results they generate. Evaluation supports competent and evidence-based action and behaviour.

Evaluation means multiplicity of methods

Bearing in mind these circumstances, the methods that evaluation applies to approach its subject matter – e.g. a labour market programme – cannot just be of the quantitative kind. In particular, they cannot merely aim at gathering “hard” causality data such as in experimental control group designs. Both, control group approaches and quantitative methods in the broader sense, are indeed indispensable for the evaluation. However, evaluation will only be able to unfold its full achievement potential, if it applies and combines a more or less wide and context-specific range of methods according to the concrete subject matter and the precise problem in question. Qualitative methods, particularly those that are able to pick up diverging view points and assessments of participating stakeholders and to feed them into the evaluation, are absolutely crucial. Evaluation uses and combines a wide range of methods.

Evaluation is communication

When carrying out the evaluation of complex programmes specific challenges must be met. On the one hand, sufficient context knowledge and information, especially on the respective cultures, is indispensable in order to be able to capture complexity in an adequate manner. On the other hand, the evaluation process itself gains in significance. The incorporation of all the relevant stakeholders, their perceptions and assessments within the process is of vital importance for a really successful evaluation. Handling complexity comprises participation, negotiations, visualisations, comprehensibility as well as co-management, and it outlines the challenges facing the evaluating bodies in practise. The DeGEval Standards for Evaluation can supply some helpful advice as to the successful execution of the evaluation process.

Evaluation requires adequate competencies and resources

It is of crucial importance that evaluations under complexity conditions must be carefully planned and carried out in a way that is appropriate to the subject matter and problem of the respective evaluation. Therefore the actual evaluating team as well as those who control and accompany an evaluation project must possess comprehensive competencies. They should comprise not only an understanding of the appropriate approaches as to planning and design, the selection and implementation of suitable methods and the ability to communicate during the evaluation process, but also an excellent knowledge of the respective area. It is the combination of this knowledge as well as all these skills and abilities that will develop the full potential of an evaluation project. Another requirement, however, is the allocation of sufficient resources. The availability of resources does not merely refer to financial aspects. It also includes the availability of qualified personnel on either side of the project, the evaluating team as well as the team that controls and accompanies the evaluation.

Evaluation creates orientation

Concepts of modern political and administrative process control and organisation management in general frequently rely on evidence-based orientation. In these approaches, procedures that gather and feed back information from the environment by means of a limited number of indicators and parameters often play an important role for management and control processes. In most cases, however, the concentration on few selected parameters cannot do justice to the complexity of social reality. Those who only or predominantly attempt to manage processes on the basis of indicators without continuously examining and adjusting the selected parameters are forgetting about complexity. This bears the risk of mismanagement and wasting resources. Evaluation is able to counteract such tendencies. It can help to comprehend complexity and possibly reduce it so that targeted actions in social contexts are made possible despite a certain level of precariousness that can never entirely be eliminated. This applies to politics as well as to decisions in individual organisations. Evaluation is able to increase transparency with regard to the changes as well as to the participating stakeholders and structures. Metaphorically speaking, evaluation can contribute to help political bodies and organisations navigate in their continuously confusing environment – without, however, ignoring too much of this environment.

Evaluation and complexity are tightly connected. To the extent that evaluation can manage to elucidate patterns and regularities in the social environment of organisations and policies, it can contribute significantly to handle complexity. Making use of evaluation in this sense also means to develop an understanding for the context. Evaluation helps the stakeholders in the political arena and in organisations to find orientation in their respective environment. To this effect evaluation helps to understand whether, and if so, how targeted interventions are at all feasible in a given setting. Thus it is not paramount that evaluation provides specific details or explicit recommendations for decisions. Evaluation has its strength in contributing towards the “enlightenment” of politicians and those in charge. If it is successful in this respect, it will have managed to make a contribution to the handling of complexity and to societal development in terms of aspired objectives.

Evaluation is the systematic analysis and study of the benefits or value of a certain subject matter. Such evaluation objects include e.g. programmes, projects, products, measures, achievements, organisations, political issues, technologies or research projects. Results, conclusions or recommendations must be comprehensible and documented according to DeGEval standards, and they must be based on empirical qualitative and/or quantitative data. Approximately 750 persons and institutions working in the evaluation sector, mainly from Germany and Austria, have joined forces to become the DeGEval – Gesellschaft für Evaluation. The objectives of the DeGEval comprise information and exchange as to evaluation issues, the integration of different perspectives of evaluation as well as its professionalization. Apart from the work in 14 thematically structured working teams, the annual conferences are an important place for such an exchange. The topic for the Annual Conference 2013 was “Complexity and Evaluation”. The Annual Conference 2014 will be jointly organised together with the Swiss evaluation society SEVAL. It takes place between 10th and 12th September in Zurich. The topic is “Professionalization in and for Evaluations”.


Complexity and Evaluation - Position paper 06 of DeGEval as PDF

Zuletzt geändert: 20. Mai 2015

Komplexität und Evaluation - Positionspapier 06 der DeGEval

Komplexität und Evaluation

Positionspapier des Vorstandes der DeGEval Gesellschaft für Evaluation

Januar 2014


Komplexität ist ein Charakteristikum menschlichen Handelns und prägt insbesondere moderne Gesellschaften: Die großen und kleinen Herausforderungen und Probleme des menschlichen Zusammenarbeitens können meist nur im Zusammenwirken unterschiedlich stark differenzierter und spezialisierter Systeme oder Personen gelöst werden. Die sich wandelnden und entwickelnden Interaktionsbeziehungen sind mitverantwortlich für die Leistungsfähigkeit der Gesellschaft, konstituieren aber auch ihre Komplexität. Komplexität kann zwar insgesamt die Problemlösungsfähigkeit erhöhen und eröffnet dem Einzelnen Entfaltungsspielräume – allerdings um den Preis der Ungewissheit sowie ständiger Koordinations- und Abstimmungsanforderungen. Evaluation, die ja unter anderem versucht, kausalen Einflussbeziehungen – Aktivitäten und deren erwünschten oder nicht-gewollten Handlungswirkungen – nachzuspüren, steht vor diesem Hintergrund vor besonderen Herausforderungen. Auf ihrer Jahrestagung 2013 hat sich die DeGEval-Gesellschaft für Evaluation daher mit dem Thema „Komplexität und Evaluation“ auseinandergesetzt.

Evaluation unterstützt Verstehen

Handeln in sozialen Kontexten ist unter den Bedingungen der Komplexität durch ständige und vielfältige Zusammenhänge und Interdependenzen geprägt. Globalisierung, Beschleunigung, Vernetzung und technologische Innovationen treiben diese Entwicklungen voran. Dies begrenzt die Möglichkeiten, klare Kausalitäten greifen zu können. Wirkungsbeziehungen zu erfassen erfordert je nach Gegenstand und Kontext der Evaluierung genau zugeschnittene Designs, angemessene Methoden und hohe Qualität der Datenverarbeitung und -analyse sowie kompetente Durchführung des Evaluierungsprozesses. Nichtlinearität, Emergenz, aber auch unterschiedliche Interpretationen und Wertungen erschweren die Erfassung von Wirkungsbeziehungen. Evaluation kann helfen zu verstehen und zu erklären, wie Interaktionen vonstatten gehen, welche Veränderungen sich ereignen, wie sie ablaufen und welche Ergebnisse sie hervorbringen. Evaluation unterstützt kompetentes und von Evidenzen informiertes Handeln.

Evaluation ist Methodenvielfalt

Die Methoden, mit denen sich Evaluation ihrem Gegenstand – wie beispielsweise einem Arbeitsmarktprogramm – nähert, können unter diesen Bedingungen nicht nur quantitativer Art sein. Insbesondere können sie nicht nur auf die Erfassung „harter“ Kausalität ausgerichtet sein, wie etwa experimentelle Kontrollgruppendesigns. Beides – Kontrollgruppenansätze, aber auch quantitative Methoden im weiteren Sinne – ist für die Evaluierung unverzichtbar. Ihre volle Leistungsfähigkeit wird Evaluierung aber nur dann entfalten können, wenn sie in Abhängigkeit von ihrem konkreten Gegenstand und der konkreten Fragestellung ein kontextspezifisch gewähltes mehr oder weniger breites Spektrum von Methoden zum Einsatz bringt und kombiniert. Qualitative Methoden, insbesondere solche, die in der Lage sind, divergierende Sichtweisen und Einschätzungen beteiligter Akteure aufzugreifen und in die Bewertung einzuspeisen, sind unerlässlich. Evaluation nutzt und kombiniert ein breites Spektrum an Methoden.

Evaluation ist Kommunikation

Die Durchführung von Evaluierungen komplexer Programme stellt besondere Herausforderungen. Zum einen ist ein gewisses Maß an Kenntnissen über den Kontext, die jeweiligen Kulturen unerlässlich, um Komplexität angemessen fassen zu können. Zum anderen gewinnt der Prozess der Evaluation selbst besondere Bedeutung. Die Einbeziehung aller relevanten Akteure, ihrer Sichtweisen und Bewertungen in den Prozess ist für eine wirklich gelungene Evaluation unerlässlich. Der Umgang mit Komplexität reicht von Partizipation, über Verhandlungen, Visualisierungen, Verständlichkeit bis hin zum Co-Management und umreißt die Herausforderungen, vor denen die Evaluierenden in der Praxis stehen. Die DeGEval-Standards für Evaluation können hilfreiche Hinweise geben, wie der Evaluierungsprozess erfolgreich gestaltet werden kann.

Evaluation erfordert angemessene Kompetenzen und Ressourcen

Für die Evaluierung unter Bedingungen der Komplexität ist eine dem Evaluationsgegenstand und der -fragestellung angemessene Planung und Durchführung von zentraler Bedeutung. Auf Seiten der Evaluierenden wie auch derjenigen, die die Evaluierung steuern und begleiten, sind dazu umfassende Kompetenzen erforderlich. Neben der Beherrschung der jeweils angemessenen Ansätze zur Planung und zum Design, zur Auswahl und Umsetzung der passenden Methoden und zur Kommunikation während des Evaluierungsprozesses sind dabei auch gute Kenntnisse des jeweiligen Feldes unerlässlich. Nur die Kombination all dieser Fähigkeiten und Kenntnisse kann die volle Leistungsfähigkeit der Evaluierung zur Entfaltung bringen. Voraussetzung dafür ist auch die Bereitstellung ausreichender Ressourcen. Die Ressourcenverfügbarkeit bezieht sich nicht nur auf Geld, sie schließt insbesondere auch die Verfügbarkeit über ausreichend qualifiziertes Personal mit ein – und das auf Seiten der Evaluierenden ebenso wie auf Seiten derjenigen, die die Evaluierung steuern und begleiten.

Evaluation schafft Orientierung

Konzepte der modernen Politik- und Verwaltungssteuerung, wie generell des Organisationsmanagements setzen häufig auf Evidenzorientierung. Für das Management und die Steuerung spielen in diesen Ansätzen oft Verfahren eine wichtige Rolle, bei denen Informationen aus der Umwelt über eine begrenzte Anzahl von Indikatoren und Kennziffern gewonnen und rückgespiegelt werden. Die Konzentration auf wenige ausgewählte Kennzahlen kann der Komplexität der sozialen Realität in den allermeisten Fällen nicht gerecht werden. Wer dennoch – ausschließlich oder überwiegend – nach Kennzahlen steuert, ohne die Kennzahlenauswahl kontinuierlich zu überprüfen und anzupassen, blendet Komplexität aus. Damit verbunden ist das Risiko der Fehlsteuerung und Ressourcenverschwendung. Evaluation kann dem entgegenwirken. Evaluation kann helfen, Komplexität soweit zu verstehen und gegebenenfalls zu reduzieren, dass trotz einer nie ganz aufzuhebenden Ungewissheit zielgerichtetes Handeln in sozialem Kontext möglich wird. Das gilt für Politik genauso wie für Entscheidungen in einzelnen Organisationen. Evaluation ist in der Lage, die Transparenz hinsichtlich der Veränderungen sowie der beteiligten Akteure und Strukturen zu erhöhen. Bildlich gesprochen kann Evaluation dazu beitragen, Politik oder Organisationen bei der Navigation in ihrer zunehmend unübersichtlichen Umwelt zu unterstützen – ohne jedoch zu viel von dieser Umwelt zu ignorieren.

Evaluation und Komplexität sind eng miteinander verknüpft. In dem Maße, in dem Evaluation es leisten kann, Muster und Regelmäßigkeiten im sozialen Umfeld von Organisationen und Politiken zu erhellen, kann sie dazu beitragen, mit Komplexität umzugehen. Nutzung von Evaluation in diesem Sinne bedeutet auch, ein Verständnis für den Kontext zu entwickeln. Evaluation unterstützt die Akteure, die in Politik und Organisationen handeln, dabei, sich in ihrer Umwelt zu orientieren. In diesem Sinne hilft Evaluation zu verstehen, ob und wenn ja, wie zielgerichtete Interventionen in einem gegebenen Setting überhaupt denkbar sind. Es sind also nicht vorrangig konkrete Hinweise und detaillierte Entscheidungsempfehlungen, die durch Evaluation bereitgestellt werden. Evaluation hat ihre Stärke darin, zur „Erleuchtung“, zur „Aufklärung“ von Politikerinnen und Politikern und Verantwortlichen beizutragen. Wenn ihr dies gelingt, hat sie ihren Beitrag zum Umgang mit Komplexität geleistet und gesellschaftliche Weiterentwicklung im Sinne angestrebter Ziele unterstützt.

Evaluation ist die systematische Untersuchung des Nutzens oder Wertes eines Gegenstandes. Solche Evaluationsgegenstände können z. B. Programme, Projekte, Produkte, Maßnahmen, Leistungen, Organisationen, Politik, Technologien oder Forschung sein. Die erzielten Ergebnisse, Schlussfolgerungen oder Empfehlungen müssen nach den DeGEval Standards nachvollziehbar auf empirisch gewonnenen qualitativen und/oder quantitativen Daten beruhen. Rund 750 Personen und Institutionen, die im Bereich der Evaluation tätig sind, vorwiegend aus Deutschland und Österreich, haben sich in der DeGEval – Gesellschaft für Evaluation e.V. zusammengeschlossen. Die Ziele der DeGEval sind Information und Austausch über Evaluation, die Zusammenführung unterschiedlicher Perspektiven der Evaluation sowie die Professionalisierung von Evaluation. Neben der Arbeit in 14 thematisch gegliederten Arbeitskreisen sind die Jahrestagungen ein wichtiger Ort für diesen Austausch. Die Jahrestagung 2013 stand unter dem Motto „Komplexität und Evaluation“. Die Jahrestagung 2014 wird gemeinsam mit der Schweizer Evaluationsgesellschaft SEVAL ausgerichtet und findet vom 10. bis 12. September in Zürich zum Thema „Professionalisierung in und für Evaluationen“ statt.


Komplexität und Evaluation - Positionspapier 06 der DeGEval als PDF

Zuletzt geändert: 20. Mai 2015

Evidence and Evaluation - Position paper 05 of the DeGEval

Evidence and Evaluation

Position paper of the DeGEval – Gesellschaft für Evaluation

At its annual convention in 2012, the DeGEval - Gesellschaft für Evaluation discussed the topic “Evidence and Evaluation”. At present, this issue is quite significant in policy and practise settings. Decisions aimed at introducing and implementing political programmes should be based on knowledge. The connection between evidence and evaluation is self-evident since the latter is to generate essential information for the rational design and control of programmes and organisations. Those in charge of decision making and execution of evaluations expect findings based on scientific research in order to further support their own action. Whereas “evident” frequently refers to “self-evident” or “obvious” in everyday use, the term “evidence” in an evaluation context means “proof” or “argument”, so that knowledge based and well-founded decisions can be made.

Until only a few years ago, talks preceding evaluation projects took place on a relatively simple level, and they were often limited to questions like how to explain to the persons who are to be evaluated what an evaluation is or how to explain to contracting bodies the respective advantages of a specific evaluation. Nowadays, however, evaluators increasingly come across a well-developed understanding and a sound knowledge with regard to evaluations. Meanwhile, a certain amount of maturity as to the handling of evaluations seems to be widely spread.

In the past, evaluations covered a wide range of different issues: they examined the basic requirements for projects or programmes, they assessed their structure and meaningfulness, and there was a strong interest in accompanying measures by means of evaluation and in continuously developing them in cooperation with the persons to be evaluated. This went hand in hand with the application of a large variety of methods.

Such a wide thematic and methodological range of evaluations has now been reduced in the face of an increasing (cost) pressure on initiators and executors of political programmes. This means that at present evaluations are more and more expected to supply evidences in the form of sound proof to demonstrate the efficiency of interventions. The occurrence of desired effects should be proven as clearly as possible.

Within the methodological debates in social sciences, the idea of evidences being able to support the efficiency of programmes solely by applying the methodical “gold standard” is dominating the respective discussions at present. Expressed in a simplified manner it means that effects can only be proven when a systematic comparison between at least two statistically identical groups, one with and the other one without “intervention”, results in a significant difference. The intervention must therefore be controlled, i.e. it must be carried out in an exactly prescribed manner and must therefore be repeatable.
However, such a randomised and controlled experiment is difficult to realise in social contacts for a number of reasons. In social or political programmes, the variables influencing the success are scarcely isolable. Programmes can usually not be carried out in a strictly mechanical sense, and a great deal of programmes lack a logical causal model. For ethical and practical reasons, it is hardly possible to determine control groups, and quantitative studies require large samples.

Furthermore, the question might be asked what kind of content related statements can be gathered by means of quantitative effect sizes of programmes. Merely looking at effects might easily shift the view to non-intended or even negative effects of programmes. This applies in particular to underfinanced evaluations.

The expectation of effect evidences is quite understandable. Indeed, effect evaluations used to be an essential part of the evaluators’ work. However, the dominance of requests for effect evidences tends to overlook the fact that the quality of a programme can neither be sufficiently assessed nor further developed by effect measuring. Such a shift or narrowing of focus increasingly alters the function of an evaluation: it is not so much aimed at optimisation but at legitimising a programme or a measure.

Let us look at the problem from another perspective. If an evaluation has found proven evidences, it is certainly disappointing when the decision maker or the body in charge of practical implementation will then not act according to the evidences provided. Those who evaluate must learn to understand that decisions can well be supported by the respective evidences, but that they are still influenced by other variables as well. Evidences do not determine certain decisions. The way one acts always depends on contexts, norms and standards that are beyond the scope of proof. Decisions might be based on information gathered on the basis of evidences, but they might still find orientation in other standards and benchmarks than measured evidences. Action in political, social and educational contexts cannot be reduced to “something that can be measured” in the sense of a normatively neutral currency.

During the exchange between evaluating body and awarding body, the plausible request for generating evidences should always bear in mind the difficulties involved with such a requirement. Evidences should also serve the purpose of improving programmes, increasing their advantages, and strengthening the people – and should not just find proof for measurable effects. This approach requires feedback loops and their analyses in the sense of structured learning processes. It also requires a multi-methodological procedure, which is not possible without adequate time and effort as well as the respective expenditure that goes hand in hand with it.

Ideas of straightforward and unproblematic effect evaluations are unrealistic and reduce the potential of evaluations. Professor Geert Biesta (at present at Luxembourg University), the main speaker at the DeGEval conference in 2012, emphasised the fact that the overpowering idea of evidences generates the tendency that decision makers only deem important what is actually measurable with regard to its effects. Instead of that, it should be quite the other way round. The main question should be what is important to us as far as political, societal, educational and ecological issues are concerned. The question if the important issue is in fact measurable should then actually be secondary.


Evidence and Evaluation - Position paper 05 of DeGEval as PDF

Zuletzt geändert: 22. April 2015

Evidenz und Evaluation - Positionspapier 05 der DeGEval

Die DeGEval- Gesellschaft für Evaluation hat auf ihrer Jahrestagung 2012 mit „Evidenz und Evaluation“ ein Thema diskutiert, das in Politik und Praxis aktuell sehr bedeutsam ist. Entscheidungen zur Einführung oder Umsetzung von politischen Programmen sollen wissensbasiert sein. Der Zusammenhang von Evidenz und Evaluation ist naheliegend, soll letztere doch wesentliche Informationen für die rationale Gestaltung und Steuerung von Programmen und Organisationen erzeugen. Entscheider und Durchführende von Evaluationen erwarten wissenschaftlich basierte Erkenntnisse, die das eigene Handeln absichern helfen. Anders als im Alltag, in dem ein Verweis auf „Evidentes“ häufig synonym für „selbstverständlich“ oder „offensichtlich“ steht, meint Evidenz im Kontext von Evaluation „Beleg“ oder „Beweis“, damit gut informierte – und möglichst robuste – Entscheidungen getroffen werden können.

Noch vor wenigen Jahren fanden Gespräche im Vorfeld von Evaluationen auf relativ einfachem Niveau statt: Wie erkläre ich den Evaluierten, was eine Evaluation ist? Wie erkläre ich den Auftraggebenden, was eine Evaluation leisten kann? Heute hingegen stellen Evaluatorinnen und Evaluatoren immer häufiger ein entwickeltes Verständnis und vertieftes Wissen über Evaluation fest. Eine Reife im Umgang mit Evaluationen ist inzwischen weit verbreitet.

In der Vergangenheit waren Evaluationen thematisch breit aufgestellt: Sie prüften grundlegend den Bedarf für Projekte oder Programme, bewerteten ihre Sinnhaftigkeit und Struktur, es gab ein starkes Interesse daran, Maßnahmen durch Evaluation zu begleiten und kontinuierlich in Zusammenarbeit mit Evaluierten zu entwickeln. Verbunden damit war ein großes Spektrum eingesetzter Methoden.

Das breite thematische und methodische Spektrum von Evaluation wird angesichts eines zunehmenden (Kosten-)Drucks auf Durchführende und Initiatoren von politischen Programmen in dem Sinne reduziert, dass nunmehr von Evaluationen immer häufiger erwartet wird, Evidenzen – im Sinne von robusten Belegen – für die Wirksamkeit von Interventionen zu liefern. Das Eintreten von angestrebten Effekten soll möglichst sicher belegt sein.
Innerhalb der sozialwissenschaftlichen Methodendebatten dominiert aktuell die Vorstellung, dass Evidenzen für Wirkungen von Programmen lediglich durch den methodischen „Goldstandard“ garantiert werden können: Wirkungen können – etwas vereinfacht ausgedrückt – demnach nur bewiesen werden, wenn ein systematischer Vergleich von wenigstens zwei statistisch identischen Gruppen, von denen die erste eine „Intervention“ erhält und die zweite nicht, eine signifikante Differenz ergibt. Dazu muss die Intervention kontrolliert sein, sie muss also in einer exakt vorgeschriebenen Art und Weise durchgeführt werden und demnach wiederholbar sein.

Ein solches randomisiertes und kontrolliertes Experiment ist allerdings aufgrund einer Vielzahl von Gründen in sozialen Kontexten nur schwer umsetzbar: In sozialen oder politischen Programmen lassen sich die den Erfolg beeinflussenden Variablen kaum isolieren, Programme sind in der Regel kaum in mechanischem Sinn durchführbar, vielen Programmen fehlt ein logisches Wirkmodell, Kontrollgruppen sind aus ethischen und praktischen Gründen kaum festzulegen, quantitative Studien benötigen große Stichproben.

Darüber hinaus ist auch zu fragen, was quantitative Effektstärken von Programmen inhaltlich aussagen. Der Blick auf Effekte verstellt – insbesondere bei unterfinanzierten Evaluationen – zudem allzu leicht den Blick auf nicht beabsichtigte oder sogar negative Effekte von Programmen.

Die Erwartung von Wirkungsbelegen ist gut nachvollziehbar. Wirkungsevaluationen waren auch in der Vergangenheit immer wesentliches Element der Arbeit von Evaluatoren. Aber die Dominanz der Forderung nach Evidenzen für Wirkungen übersieht, dass die Qualität eines Programms nicht zureichend durch Effektmessungen zu bewerten und vor allem nicht weiter zu entwickeln ist. Mit dieser Verschiebung bzw. Verengung ändert sich zunehmend die Funktion von Evaluation: sie dient weniger der Optimierung, sondern mehr der Legitimation eines Programms bzw. einer Maßnahme.

Ein Blick aus anderer Perspektive: Für eine Evaluation, die Evidenzen belegt hat, ist es enttäuschend, wenn Entscheider oder Praktiker dann nicht den Belegen entsprechend handeln. Evaluierende müssen verstehen lernen, dass Entscheidungen durch Evidenzen zwar fundiert werden können, sie aber immer auch von anderen Variablen mitbestimmt werden. Evidenzen determinieren nicht bestimmte Entscheidungen. Handeln ist immer auch an Kontexten und Normen orientiert, die jenseits von Beweisen liegen. Entscheidungen können zwar durch Evidenzen informiert sein, sich aber dennoch an anderen Maßstäben als gemessene Belege orientieren. Handeln in politischen, sozialen oder pädagogischen Kontexten ist nicht auf „Vermessbares“ im Sinne einer normativ neutralen Währung reduzierbar.

Im Austausch zwischen Evaluierenden und Auftraggebenden sollte die – plausible – Forderung nach Erzeugung von Evidenzen die Schwierigkeiten im Blick behalten, die mit einem solchen Anspruch verbunden sind. Evidenzen sollen auch dazu dienen, Programme zu verbessern, ihren Nutzen zu steigern und die Menschen zu stärken –, nicht nur messbare Effekte zu belegen. Hierzu sind Rückkopplungs-Schleifen und deren Auswertung im Sinne von strukturierten Lernprozessen nötig. Auch erfordert ein solcher Ansatz multimethodische Zugriffe. Das geht nicht ohne einen angemessenen Aufwand und damit verbundene Kosten.

Vorstellungen von schlichten und unproblematischen Wirkungsevaluationen sind unrealistisch und reduzieren das Potenzial von Evaluationen. Der Hauptredner der DeGEval-Konferenz 2012, Professor Geert Biesta (nunmehr Universität Luxemburg), machte deutlich, dass die Mächtigkeit der Idee der Evidenz die Tendenz erzeugt, dass Entscheidern nur noch als bedeutend erscheint, was in seinen Wirkungen messbar ist. Stattdessen sollte umgekehrt gefragt werden, was uns – politisch, gesellschaftlich, pädagogisch, ökologisch – wichtig ist. Ob das Wichtige messbar ist, ist dann erst die zweite Frage.


Evidenz und Evaluation - Positionspapier 05 der DeGEval als PDF

Zuletzt geändert: 22. April 2015

Participation in evaluation - Position paper 04 of the DeGEval – Gesellschaft für Evaluation (Society for Evaluation)

Participation – nothing extraordinary

Today participation is a central component of many evaluations. Quite frequently an active participation in evaluation processes is important for the success of the evaluation. The participation in evaluations, i.e. the persons concerned and the participants, have an influence on the questions of an evaluation, on criteria used, on the interpretation of results as well as on the development of assessments and recommended subsequent actions, will result in a higher acceptance level and thus in a better utilisation of evaluation results, which significantly improves the quality of evaluations.

What does participation mean?

Participation means that clients and the persons concerned are actively involved in the realisation of the evaluation. It might, however, also include all groups with a legitimate interest. The evaluation process of a participative evaluation can be decisively controlled by the evaluating body or, alternatively, the persons concerned can have a high influence on the process and procedure. It ranges from an adequate consideration of the participants’ point of view to cooperation as to the interpretation of results. A classic distinction of participative evaluations aims at their claim to cause changes. Participative evaluations can serve the purpose to provide better foundations for decisions that are to be made for the assessment and the continuation of projects and programmes. However, participative evaluations might also be guided by the idea to initiate social changes by incorporating the persons concerned.

Why participation?

Participation is based on a basically democratic and democracy-enhancing understanding of evaluation. Systematic and valuating assessments can only be made adequately within the respective context of the people participating in the processes. For example, the evaluation of labour market programmes is relatively useless without considering the perspective of job seekers. The same applies to the evaluation of university teaching without taking the students’ perspectives into consideration.
Furthermore, participation can also be an important foundation of practical evaluation processes. The crucial standards of utility, feasibility, propriety, and accuracy will only be achieved by respective procedures of participation. Participative procedures make it possible to come to professionally grounded and useful evaluation results.

Participation – how?

If we understand participation as a crucial component of evaluation processes, an early and comprehensible participation is important. Prior to commencing, all persons concerned and all participants must be identified. Only then is it possible to express all problems and questions adequately and avoid ‘blind spots’ and lopsided allocations.
A diplomatic approach as well as a sure instinct are vital. On the one hand, this refers to the cooperation with the clients that ordered the evaluation. On the other hand, the integrative, fair, and transparent cooperation with the persons that are, directly or indirectly, affected by the evaluation results is equally important. There are numerous procedures to ensure this and they depend on the respective objectives and processes.
It is of crucial importance to incorporate and illustrate the different perspectives of participants and persons concerned with regard to the evaluation. Taking into account the various points of view increases the precision of evaluation results. A multitude of perspectives as to objectives as well as evaluation criteria is absolutely positive for carrying out programmes since their long-term success does not only depend on the opinion of experts. For example, in case of a programme to evaluate urban redevelopment, the assessment of the local inhabitants is of vital importance. After all, they decide what ‘catches on’.
Moreover, an early incorporation of different participants ensures mutual learning and a step-by-step further development of knowledge and skills. It is not only programmes and their evaluation that benefit from participation. By processes of change that are initiated, evaluated, reflected and further developed mutually, all participants and people concerned are able to expand their competencies. In the area of education a new level of quality for schools and universities can be gradually developed that will result in a new learning culture.

Challenges with participation

As a matter of course, there are always basic and evaluation-related problems as far as participation is concerned. The crucial question is: Who is allowed to participate, why is someone allowed to participate, and what is the scope of someone’s participation? And who will make the final decision in case of doubts?
For evaluations, in particular, there is always the question if basic principles like e.g. the foundation in empirical research methods are questioned. In how far is comprehensive participation compatible with scientific quality criteria which ensure that evaluation means more than just a mere feedback or an interest-based expression of one’s opinion? In what way are handling criteria and efficiency still manageable with such a number of participants? There are definitely no simple answers. The methodological questions can only be answered in respect of the objective of the evaluation. However, a certain amount of participation seems to be vital.

Permanent quality assurance

The decisive fact for a participative evaluation is a start of the evolution process, which has been mutually agreed upon. Together, possibilities and necessities must be determined and negotiated. Apart from a basic understanding as to possibilities, limits and costs of participation on all sides, methodical competences and skills regarding the process organisation of evaluators are of utmost importance. Their quality is the most important factor. Accordingly, that means that these competencies and skills must be established with all the participants in an evaluation and efforts must be made that they are permanently ensured.

In order to support professional and relevant evaluations, the DeGEval – Gesellschaft für Evaluation e.V. (Society for Evaluation) has published standards for evaluation, for further training and qualification with regard to evaluations as well as recommendations for potential clients that also include information on participation.


Position paper 04 of the DeGEval - Participation in evaluation as PDF

Zuletzt geändert: 22. April 2015

Partizipation in der Evaluation - Positionspapier 04 der DeGEval

Partizipation – nichts außergewöhnliches

Partizipation ist heute ein zentraler Bestandteil von vielen Evaluationen. Aktive Beteiligung und Teilhabe an Evaluationsprozessen sind häufig eine wichtige Voraussetzung für das Gelingen eines Evaluationsvorhabens. Die Mitwirkung an Evaluationen – indem Betroffene und Beteiligte einen Einfluss erhalten auf die Fragestellungen einer Evaluation, verwendete Kriterien, die Interpretation der Ergebnisse oder die Erarbeitung von Bewertungen und Handlungsempfehlungen – führt zu einer höheren Akzeptanz und letztlich besseren Nutzung der Evaluationsergebnisse. Damit wird die Qualität von Evaluationen bedeutend verbessert.

Was bedeutet Partizipation

Partizipation ist die aktive Einbeziehung der Auftraggebenden und der von einer Evaluation Betroffenen an der Durchführung der Evaluation. Partizipation kann von der Beteiligung nur der direkt Betroffenen bis zur Einbeziehung aller Gruppen mit einem legitimen Interesse reichen. Der Evaluationsprozess einer partizipativen Evaluation kann entscheidend von den Evaluierenden gesteuert werden oder die Beteiligten selbst erhalten einen hohen Einfluss auf den Verlauf. Partizipation kann zudem in ihrer Tiefe von der angemessenen Berücksichtigung der Blickwinkel der Beteiligten bis beispielsweise hin zur Mitwirkung an der Interpretation der Evaluationsergebnisse reichen. Eine klassische Unterscheidung von partizipativen Evaluationen zielt auf deren Veränderungsanspruch ab. Partizipative Evaluationen können dem Zweck dienen, bessere Entscheidungsgrundlagen für die Bewertung und Fortführung von Projekten und Programmen zu erhalten. Partizipative Evaluationen können aber auch mit dem Anspruch verfolgt werden, durch die Einbeziehung der Betroffenen soziale Veränderungen zu initiieren.

Warum Partizipation

Partizipation begründet sich aus einem grundsätzlich demokratischen und demokratiefördernden Grundverständnis von Evaluation. Systematische und wertende Einschätzungen können nur im jeweiligen Kontext der an Handlungen Beteiligten angemessen getroffen werden. So ist die Einschätzung von Arbeitsmarktprogrammen ohne die Berücksichtigung des Blicks von Arbeitssuchenden ebenso verfehlt wie die Bewertung von Hochschullehre ohne die Einbeziehung der Perspektive von Studierenden.
Zugleich kann Partizipation auch einen wesentlichen Baustein des praktischen Evaluationshandelns darstellen. Die zentralen Standards von Nützlichkeit, Durchführbarkeit, Fairness und Genauigkeit lassen sich nur mit jeweils angemessenen Beteiligungsverfahren erreichen. Partizipative Verfahren ermöglichen es, fachlich fundierte und zudem hilfreiche Ergebnisse einer Evaluation zu erzielen.

Partizipation – wie?

Wird Partizipation als wesentlicher Bestandteil des Evaluationshandelns verstanden, ist die frühzeitige und nachvollziehbare Beteiligung grundlegend. Hierzu sind vorab alle Betroffenen und zu Beteiligenden zu identifizieren. Nur dann ist es möglich, Problem- und Fragestellungen adäquat zu formulieren und „blinde Flecken“ oder einseitige Zuweisungen zu vermeiden.
Notwendig sind dabei diplomatisches Vorgehen und Fingerspitzengefühl. Dies betrifft einerseits die Kooperation mit den Auftraggebenden der Evaluation. Ebenso wichtig ist andererseits der integrative, faire und transparente Umgang mit den Personen, die – direkt oder indirekt – von Evaluationsergebnissen betroffen sind. Die dazu möglichen Verfahren sind vielfältig und hängen von der jeweiligen Zielsetzung und dem jeweiligen Ablauf ab.
Von zentraler Bedeutung ist es, die unterschiedlichen Sichtweisen von Beteiligten und Betroffenen auf den Evaluationsgegenstand sowie auf die Ergebnisse der Evaluation einzubeziehen und darzustellen. Die Berücksichtigung verschiedener Perspektiven erhöht die Präzision der Evaluationsergebnisse. Perspektivenvielfalt sowohl im Hinblick auf Zielvorstellungen als auch auf Bewertungsmaßstäbe ist beispielsweise für eine Programmdurchführung positiv, denn der langfristige Erfolg von Programmen, z.B. zum Stadtumbau, hängt nicht nur vom Votum der Experten ab, sondern auch von der Einschätzung der Bewohnerinnen und Bewohner vor Ort. Hier entscheidet sich, was „ankommt“.
Zugleich ermöglicht eine frühzeitige Einbeziehung unterschiedlicher Akteure auch gegenseitiges Lernen und die schrittweise Weiterentwicklung von Kenntnissen und Fähigkeiten. Nicht nur Programme und ihre Evaluationen profitieren von Partizipation. Durch gemeinsam initiierte, bewertete, reflektierte und weiterentwickelte Veränderungsprozesse können alle beteiligten Akteure ihre Kompetenzen erweitern. Im Bildungsbereich können so schrittweise neue Qualitäten für Schule und Hochschule entwickelt werden und zu neuen Lernkulturen führen.

Herausforderungen bei der Partizipation

Mit der Partizipation tauchen auch immer wieder grundsätzliche wie speziell evaluationsbezogene Probleme auf. Prinzipiell stellt sich die Frage: Wer darf teilnehmen, warum darf jemand teilnehmen und wie weit geht die Einbeziehung? Und wer entscheidet im Zweifelsfall?
Und speziell für Evaluationen stellt sich die Frage, wann grundlegende Prinzipien der Evaluation wie beispielsweise die Fundierung mit empirischen Forschungsmaßstäben in Frage gestellt werden. Wie weit ist die umfassende Mitwirkung mit wissenschaftlichen Gütekriterien vereinbar, die sichern, dass Evaluation mehr ist als bloßes Feedback oder interessengeleitete Meinungsbekundung? Wie weit sind bei einer Vielfalt von Akteuren die Kriterien der Handhabbarkeit und Effizienz noch zu gewährleisten? Einfache Antworten gibt es hier nicht. Die methodischen Fragen sind jeweils abhängig vom Zweck der Evaluation zu beantworten. Ohne ein gewisses Maß an Partizipation geht es jedoch in der Regel kaum.

Qualität dauerhaft sichern

Entscheidend für eine partizipative Evaluation ist ein gemeinsam vereinbarter Einstieg in den Evaluationsprozess. Hier gilt es, zusammen die Möglichkeiten und Notwendigkeiten zu bestimmen und auszuhandeln. Neben dem Grundverständnis für Möglichkeiten, Grenzen und Kosten der Partizipation auf allen Seiten sind auch die Methodenkompetenzen und Fähigkeiten der Prozessorganisation von Evaluatorinnen und Evaluatoren von entscheidender Bedeutung. Ihre Qualität ist zentral. Entsprechend gilt es, diese Kompetenzen und Fähigkeiten bei allen Evaluationsbeteiligten aufzubauen und dauerhaft sicherzustellen.

Die DeGEval – Gesellschaft für Evaluation e.V. hat zur Unterstützung professioneller und relevanter Evaluation Standards für Evaluation, zur Aus- und Weiterbildung in Evaluation sowie Empfehlungen für Auftraggebende veröffentlicht, die auch Informationen zum Thema Partizipation enthalten.


Partizipation in der Evaluation - Positionspapier 04 der DeGEval als PDF

Zuletzt geändert: 22. April 2015

Methods of Evaluation - Position paper 03 of the DeGEval – Gesellschaft für Evaluation

Evaluations analyse and assess goal achievement and the effects of measures. Irrespective of its scope, funding and time frame an evaluation can support decision makers and the practice to objectively review and, if necessary, systematically improve the accuracy and effectiveness of measures, strategies and other subject matters. One question frequently asked is which methodical requirements are to be met under practical con-ditions in order to enable an evaluation to perform such tasks reliably, com-petently and professionally. The position paper at hand is meant to be a summary of central answers to this question. It is primarily aimed at individ-uals and institutions in charge of commissioning evaluations, accounting for them or utilizing their results as well as at the interested public.

1. What characterizes evaluation methods?

Quite frequently evaluation methods stem from empirical social research. Furthermore, however, evaluation uses additional methodical approaches such as e.g. the Delphi method, group discussions and cost-benefit analyses. These are instruments at the interface of statistical data collection (qualitative and/or quantitative) and assessment. Evaluations often make use of a mix of methods. They combine different methodical procedures (triangulation) in order to be able to appropriately take into consideration different perspectives.

2. Are there correct and wrong methods?

Unlike fundamental research, the quite frequently order-based evaluation must find an intelligent balance between high methodical standards on the one hand and a rather pragmatic, economically justifiable and often time-pressured approach on the other. Therefore there is no simple "right or wrong" as far as the selection of methods is concerned, but at best a "right or wrong" with regard to appropriateness as to the respective evaluation object. There rarely is one single method of choice though, but there often are a number of substantiated selection options instead.
Certain evaluation objectives, however, require specific methodical ap-proaches. As far as impact analyses are concerned, (quasi) experimental designs in due consideration of comparison groups are of particular im-portance, if practicably possible. In case of self-selective comparison group allocations possible disruptive factors should be compensated by respective statistical methods (matching) or other appropriate research designs.

3. Which methodical competences should evaluating bodies have?

Evaluating bodies should be competent with regard to a large range of methods. Although it is true that in actual evaluations the entire range of methods is rarely required, the evaluating bodies ought to have sufficient methodical knowledge to be able to assess potentials as well as limits of procedures and approaches employed. Thus they must be capable of giving substantiated reasons for their respective use, which obviously implies knowledge of alternative procedures.

4. What are the consequences for commissioning bodies?

Appropriate methods as well as a high quality of evaluation will supply a sound foundation for the utilisation of evaluation results; however, they will also incur costs. Commissioning evaluations must therefore not merely be based on economic aspects. Issues of contents and quality ought to be given priority.

In order to support professional and relevant evaluation procedures the DeGEval – Gesellschaft für Evaluation has published evaluation standards, recommendations for commissioning bodies as well as information on further training and education with regard to evaluation including details on evaluation methods.


Position paper 03 of the DeGEval - Methods of Evaluation as PDF

Zuletzt geändert: 22. April 2015

Methoden der Evaluation - Positionspapier 03 der DeGEval

Evaluationen analysieren und bewerten das Erreichen von Zielen und die Wirkungen von Maßnahmen. Unabhängig von ihrem Umfang, ihrer finanziellen Ausstattung und ihrem zeitlichen Horizont kann die Evaluation Entschei-dungsträger und Praxis dabei unterstützen, die Zielgenauigkeit und Wirksamkeit von Maßnahmen, Strategien und anderen Gegenständen objektiv zu überprüfen und systematisch zu verbessern. Eine häufige Frage dabei ist, welche methodischen Ansprüche unter praktischen Bedingungen zu erfüllen sind, damit Evaluation diese Aufgaben seriös und kompetent wahrnehmen kann. Das vorliegende Positionspapier versteht sich als eine Zusammenfassung zentraler Antworten auf diese Frage. Es richtet sich ins-besondere an Personen und Institutionen, die Evaluationen beauftragen, verantworten oder ihre Ergebnisse aufnehmen und nutzen wollen, sowie an die interessierte Öffentlichkeit.

1. Was kennzeichnet Evaluationsmethoden?

Evaluationsmethoden stammen vielfach aus dem Repertoire der empirischen Sozialforschung. Doch darüber hinaus bedient sich die Evaluation weiterer methodischer Zugänge. So sind z.B. die Delphi-Methode, Grup-pendiskussionen oder auch Kosten-Nutzwert-Analysen Instrumente, die an der Schnittstelle zwischen Datenerhebung (qualitativ und/oder quantitativ) und Bewertung anzusiedeln sind. Evaluationen zeichnen sich häufig durch einen Methoden-Mix aus. Sie kombinieren unter dem Begriff der Triangulation verschiedene methodische Verfahren, um unterschiedliche Perspektiven angemessen berücksichtigen zu können.


2. Gibt es richtige und falsche Methoden?

Anders als die Grundlagenforschung muss die meist auftragsbasierte Eva-luation klug ausbalancieren zwischen hohen methodischen Standards und einer ökonomisch vertretbaren, pragmatischen, häufig unter Zeitdruck ste-henden methodischen Herangehensweise. Es gibt daher kein einfaches „richtig oder falsch“ bei der Methodenwahl, sondern bestenfalls ein „richtig und falsch“ hinsichtlich der Angemessenheit an den jeweiligen Evaluations-gegenstand. Allerdings gibt es fast nie nur eine Methode der Wahl, sondern verschiedene, deren Auswahl begründet werden soll.
Für bestimmte Evaluationsanliegen sind jedoch bestimmte methodische Zugänge besonders hervorzuheben. Wenn es um Wirkungsanalysen geht, sind dies – soweit es die Praxis erlaubt – insbesondere
(quasi-)experimentelle Designs mit der Möglichkeit, Vergleichsgruppen hin-reichend zu berücksichtigen. Sofern die Zuteilung zu den Vergleichsgruppen durch Selbstselektion erfolgt, sollte der dadurch möglicherweise entstehende Störfaktor z.B. durch entsprechende statistische Methoden (matching) oder andere Erhebungsdesigns ausgeglichen werden.

3. Über welche Methodenkompetenz sollten Evaluierende verfügen?

Evaluierende müssen über ein breites Methodenspektrum verfügen. Zwar kommt in keiner Evaluation das gesamte Methodenspektrum zum Einsatz. Doch die Evaluierenden müssen über genügend methodische Kenntnisse verfügen, um Potenziale und Grenzen der eingesetzten Verfahren und Zu-gänge einschätzen zu können sowie deren Anwendung entsprechend be-gründen zu können; was die Kenntnis alternativer Verfahren voraussetzt.

4. Welche Konsequenzen ergeben sich für Auftraggebende?

Angemessene Methoden und eine hohe Qualität der Evaluation liefern eine fundierte Basis für die Nutzung von Evaluationsergebnissen; sie erzeugen allerdings auch Kosten. Die Auftragsvergabe einer Evaluation darf daher nicht nur nach ökonomischen Gesichtspunkten erfolgen. Inhaltliche und qualitative Kriterien müssen im Vordergrund stehen.

Die DeGEval – Gesellschaft für Evaluation hat zur Unterstützung professio-neller und relevanter Evaluation Standards für Evaluation, Empfehlungen für Auftraggebende sowie zur Aus- und Weiterbildung in Evaluation veröffentlicht, die auch weiterführende Informationen zu Fragen der Evaluationsmethoden bieten.


DeGEval-Positionspapier 03 - Methoden der Evaluation als PDF

Zuletzt geändert: 22. April 2015

Evaluation and Society - Policy Document 02 of the DeGEval – Evaluation Society

1. What relevance and function does evaluation have in society?

Evaluation contributes substantially to the assessment of projects, pro-grammes, and organisations. One of evaluation’s central fields of application is that of public and state programmes initiated through political legislation. Thus, the assessment of ‘public’ action is very much at the forefront in evaluation. Beginning with programmes in the education, social and health sector, evaluation’s field of application has now grown to encompass all areas of public action. Due to the increasing autonomy and self-monitoring of political subsystems and organisations (e.g. universities) the obligation has grown accordingly to legitimise programmes vis-à-vis political decision makers and the public. It is the task of evaluation in this context to examine the consequences of political and administrative decisions and to provide public and political debates with sound and factual information. In this sense, evaluation takes on an informative dimension providing a decision basis founded in factual knowledge and it serves, moreover, the legitimation and transparency of processes within organisations. It supports processes of quality assurance and development and should encourage learning process in organisations.

2. How much evaluation does society need?

In comparison to its lengthy history in the USA evaluation in Europe is a relatively new development. However, in today’s Europe evaluation proce-dures are regularly used in various fields of socio-political action. Unfortu-nately, these procedures often are only in limited accordance with profes-sional standards or are frequently under funded. If, however, evaluations are supposed to provide well-informed consultation for the direction of future policies, it is imperative that they are carried out professionally and are adequately funded. It is of especial importance that the findings of past evaluations are more actively taken into consideration and that the focus of future evaluations is shifted more towards the lasting impact of measures and programmes on society. It is not the quantity of evaluations, but their relevance with regard to and their contribution towards the deepening of insight that are of central importance.

3. Should evaluation take a socio-political position?

Evaluation is not just mere measuring and quantification, but inherently also an assessment. Therefore, evaluations should take diverse and contrary positions into account and make clear the evaluation criteria used. An evaluative practice conceived in this way can enlighten, support, and create trust. Consequently, evaluation does not take a socio-political position itself, but sheds light on diverse positions.

4. How can evaluation findings make their way into societal practice?

Evaluation contributes to making societal processes more transparent and, thus, promotes a fruitful dialogue. The participation of stakeholders in the evaluation process and clarity in the presentation of evaluation findings in-crease the utility of evaluations. This decidedly does not only apply to positive findings. The ‘failure’ of a programme is equally as informative and as beneficial to further societal development. To what extent evaluation results actually are taken onboard in political processes depends mostly on the re-spective client and the political decision makers. It requires that politics and practice are open to learning from evaluation results. At the same time, the public should have a vested interest in demanding evaluation as a tool of political and public accountability.


The DeGEval – Evaluation Society has published standards for evaluation, recommendations for clients, and recommendations for education and training in evaluation in order to support and further professional evaluation in relevant fields of application. For further information please visit: www.degeval.de.


Policy Document 02 of the DeGEval – Evaluation Society as pdf

Zuletzt geändert: 22. April 2015

Evaluation und Gesellschaft - Positionspapier 02 der DeGEval

1. Welche Relevanz und Funktion hat Evaluation für die Gesellschaft?

Evaluation leistet einen substanziellen Beitrag zur Bewertung von Projekten, Programmen und Organisationen. Ein zentrales Anwendungsfeld von Evaluation sind (politisch initiierte) öffentliche Programme. Somit steht die Bewertung ‚öffentlichen‘ Handelns im Vordergrund. Waren es zunächst Programme im Bildungs-, Sozial- und Gesundheitsbereich, so hat sich das Anwendungsspektrum von Evaluation mittlerweile auf alle Bereiche öffentlichen Handelns ausgeweitet. Mit zunehmender Autonomie und Selbststeuerung politischer Teilbereiche und Organisationen (wie z.B. Universitäten) wächst die Legitimationspflicht gegenüber politischen Entscheidungsträgern und der Öffentlichkeit. Die Aufgabe von Evaluation ist es dabei, Wirkungen politischer und administrativer Entscheidungen zu überprüfen und fundierte, sachliche Informationen zu öffentlichen und politischen Debatten bereitzustellen. Evaluation hat in diesem Sinne eine aufklärerische Funktion und ermöglicht eine wissensbasierte Entscheidungsfindung. Evaluation dient zudem der Legitimation und Transparenz innerhalb einer Organisation. Sie unterstützt Prozesse der Qualitätssicherung und -entwicklung und soll Organisationen in ihren Lernprozessen fördern.


2. Wie viel Evaluation braucht die Gesellschaft?

Einer langen Tradition von Evaluation öffentlicher Programme in den Vereinigten Staaten steht eine vergleichsweise kurze europäische Geschichte der Evaluation gegenüber. Bewertungsverfahren werden in Europa mittlerweile in vielen Feldern gesellschaftspolitischen Handelns regelmäßig eingesetzt. Sie entsprechen jedoch oft nur eingeschränkt professionellen Standards der Evaluation und sind häufig unterfinanziert. Sollen Evaluationen jedoch für die Ausrichtung künftiger Politik wissensbasierte Hinweise liefern, so müssen sie professionell durchgeführt und adäquat finanziert werden. Dabei gilt es, die Befunde bereits durchgeführter Evaluationen stärker zu nutzen sowie den Fokus zukünftiger Evaluationen vermehrt auf die nachhaltige Wirkung von Maßnahmen und Programmen für die Gesellschaft zu richten. Im Fokus steht nicht die Quantität von Evaluationen, sondern deren Relevanz und Beitrag zum Erkenntnisgewinn.

3. Soll Evaluation gesellschaftspolitisch Position beziehen?

Evaluation ist nicht bloßes Messen, sondern stets auch Bewerten. Evaluationen sollen daher unterschiedliche und gegenläufige Wertpositionen möglichst unparteiisch berücksichtigen und die zugrundeliegenden Bewertungskriterien explizit und transparent machen. Eine so verstandene Evaluationspraxis kann aufklären, unterstützen und Vertrauen fördern. Evaluation bezieht somit in aller Regel nicht selbst eine gesellschaftspolitische Position, sondern macht vielmehr unterschiedliche Wertpositionen sichtbar.


4. Wie können Evaluationsergebnisse Eingang in die gesellschaftliche Praxis finden?

Evaluation kann zur Transparenz gesellschaftspolitischer Prozesse und damit zum Dialog beitragen. Beteiligung gesellschaftlicher Akteure im Prozess der Evaluation sowie Klarheit in der Berichterstattung fördern den Nutzen von Evaluationen. Nicht nur positive Ergebnisse von Evaluationen zählen, auch das ‚Scheitern‘ eines Programmes stellt eine wichtige Erkenntnis dar und ist hilfreich für die weitere gesellschaftliche Entwicklung. Inwieweit Evaluationsergebnisse in politische Prozesse eingehen und damit Wirkung erzielen, hängt wesentlich von den Auftraggebenden und politischen Entscheidungsträgern ab. Dies setzt voraus, dass Politik und Praxis bereit sind, aus Evaluationsergebnissen zu lernen. Gleichzeitig sollte die Öffentlichkeit daran interessiert sein, Evaluation als Maßnahme zur öffentlichen Rechenschaftslegung einzufordern.

Die DeGEval – Gesellschaft für Evaluation hat zur Unterstützung professioneller und relevanter Evaluation Standards für Evaluation, Empfehlungen für Auftraggebende sowie zur Aus- und Weiterbildung in Evaluation veröffentlicht.


DeGEval-Positionspapier 02 - Evaluation und Gesellschaft als pdf

Zuletzt geändert: 22. April 2015

Governance Needs Evaluation - Policy Document 01 of DeGEval - Gesellschaft fuer Evaluation

Modern societies are shaped by complex governance processes within which the economic, political, educational and social system and further stakeholders pursue diverse, and oftentimes contradictory interests each with a different logic of action. Moreover, the globalisation of markets makes even further demands on governance processes, as has been demonstrated by the recent financial crisis. This complex relationship of governance and evaluation was the topic of the 11th annual meeting of the DeGEval - Gesellschaft fuer Evaluation in Klagenfurt, Austria.

In recent years, evaluations have become more important in all fields of politics and practice. They can provide well-founded information for policy planning, the improvement of operational sequences in organisations and for the further development of professional practices in general. In the opinion of DeGEval, this is both an opportunity and a risk: an opportunity in that evaluations can improve governance processes via well-founded knowledge and transparent evaluation policies; a risk, however, insofar as evaluations can be used solely to legitimise political decisions and the evaluations themselves - due to growing demand and often low budgets - can lack essential quality standards.

From the perspective of DeGEval, the interconnection of evaluations with decision-making processes in political, economic and other fields of practice is an essential requirement to contribute to a reflective attitude of decision-makers, to found governance on a factual basis and to assess and anticipate consequences accurately. Thus, evaluations contribute to politics and practice founded upon empirical facts.

The executive board of DeGEval calls upon decision-makers in politics and other fields of practice to create adequate conditions in order to strengthen the use of evaluation for rational governance. The following aspects are of especial importance:
1. The support of governance processes with evaluation requires a binding agreement regarding the form and transparency of the use of results. Unclear or lacking agreements without an orientation towards potential users reduce the relevance of evaluation for governance.

2. For the implementation of evaluation it is of utmost importance to define a time frame in accordance with the evaluation's purpose in order to be able to observe methodical and field-specific standards. In particular, evaluators should be involved early in the target explication process and the creation of instruments for programmes, strategies and institutions in order to enable a discussion regarding the feasibility of certain evaluation designs with the client.

3. Evaluations must be backed by sufficient resources. DeGEval views with concern that on the one hand the number of evaluations has drastically increased, on the other hand, however, the necessary amount of financial resources for qualitatively appropriate evaluations are oftentimes not available.

4. Taking all things into consideration, the allocation of evaluations should take place according to professional standards that alongside the already mentioned aspects also define the relationship between evaluators and clients and define the evaluation schedule.

5. On the part of the evaluators, it is required that they have adequate methodical and field knowledge, evaluation experience, social skills and know-how regarding evaluation approaches and models. This is essential because evaluation results are only useful if the evaluations are carried out professionally.

6. Thus, evaluations should take place in accordance with national and international standards upon which all stakeholders are in agreement.

DeGEval - Gesellschaft fuer Evaluation as Europe's largest association for evaluation has developed several helpful products to support stakeholders in evaluations. Alongside the DeGEval - Standards for Evaluation that are widespread in Europe there are in particular the Recommendations for Clients of Evaluation and the Recommendations on Education and Training in Evaluation.


DeGEval Policy Document 01 "Governance Needs Evaluation" as pdf

Zuletzt geändert: 22. April 2015

Steuerung braucht Evaluation - Positionspapier 01 der DeGEval

Moderne Gesellschaften sind geprägt durch komplexe Steuerungsprozesse, in denen Wirtschaft, Politik, Bildung, Sozialsystem und weitere Akteurinnen und Akteure vielfältige, zum Teil gegenläufige Interessen mit unterschiedlichen Handlungslogiken verfolgen. Die Globalisierung von Märkten führt zu weiteren Anforderungen an die Steuerungsprozesse, wie nicht zuletzt die aktuelle Finanzkrise zeigt. Diese komplexe Beziehung von Steuerung und Evaluation war Thema der 11. Jahrestagung der DeGEval – Gesellschaft für Evaluation in Klagenfurt.

Evaluationen haben in den vergangenen Jahren in allen Politik- und Praxisfeldern an Bedeutung gewonnen. Sie können fundierte Informationen für die Gestaltung von Politik, die Verbesserung von Abläufen in Organisationen und für die Weiterentwicklung der Fachpraxis bereitstellen. Dies ist aus Sicht der DeGEval – Gesellschaft für Evaluation Chance und Gefahr zugleich: Chance insofern, als Evaluationen durch gesichertes Wissen und transparente Bewertung Steuerungsprozesse verbessern können; Gefahr insoweit, als Evaluationen zur bloßen Legitimation politischer Entscheidungen verwendet werden und ihnen – bei wachsendem Bedarf und oft geringen Budgets – die notwendigen Qualitätsstandards fehlen können.
Aus Perspektive der DeGEval ist die Koppelung von Evaluationen an Entscheidungsprozesse eine notwendige Bedingung, um in Politik, Wirtschaft und anderen Handlungsfeldern zu einer reflexiven Haltung bei Entscheidungsträgerinnen und -trägern beizutragen, Steuerung sachlich zu fundieren und Wirkungen abzuschätzen. Damit tragen Evaluationen zu einer evidenz-basierten Politik und Praxis bei.

Der Vorstand der DeGEval appelliert an Entscheidungsträgerinnen und -träger in Politik und anderen Handlungsfeldern, angemessene Voraussetzungen zu schaffen, um die Verwendung von Evaluation für eine rationale Steuerung zu stärken. Insbesondere sind hierbei folgende Aspekte von Bedeutung:

  1. Die Unterstützung von Steuerungsprozessen durch Evaluation bedarf der verbindlichen Vereinbarung über die Form und Transparenz der Ergebnisverwendung. Unklare oder fehlende Verwendungsvereinbarungen ohne Orientierung am Bedarf potentieller Nutzerinnen und Nutzer schmälern die Steuerungsrelevanz von Evaluationen.
  2. Für die Durchführung von Evaluationen muss ein dem Zweck angemessener Zeitrahmen definiert werden, um methodische und feldspezifische Standards einhalten zu können. Insbesondere sollten Evaluatorinnen und Evaluatoren frühzeitig in die Zielexplikation und Ausgestaltung der Instrumente von Programmen, Strategien und Institutionen eingebunden sein, um die Realisierbarkeit bestimmter Evaluationsdesigns gemeinsam mit den Auftraggebenden zu erörtern.
  3. Für Evaluationen müssen angemessene Ressourcen zur Verfügung stehen. Die DeGEval sieht mit Sorge, dass einerseits die Anzahl der Evaluationen enorm zunimmt, andererseits die für eine qualitativ angemessene Evaluation notwendigen finanziellen Mittel häufig nicht zur Verfügung stehen.
  4. Insgesamt sollte die Vergabe von Evaluationen professionellen Standards entsprechen, die neben den bereits angeführten Aspekten auch das Verhältnis zwischen Auftraggebenden und Evaluatorinnen und Evaluatoren sowie den Ablauf der Evaluation definieren.
  5. Von den Evaluatorinnen und Evaluatoren ist zu fordern, dass sie über angemessene Methoden- und Feldkenntnisse, Evaluationserfahrung, Sozialkompetenzen sowie über Kenntnisse zu Evaluationsansätzen und -modellen verfügen. Denn die Ergebnisse von Evaluationen sind in der Regel nur dann nützlich, wenn diese professionell durchgeführt werden.
  6. Evaluationen sollten daher national und international anerkannten Standards entsprechen, auf die sich die beteiligten Akteurinnen und Akteure verbindlich verständigen.

Die DeGEval – Gesellschaft für Evaluation hat als größte Fachgesellschaft für Evaluation in Europa zur Unterstützung der Beteiligten in Evaluationsprozessen mehrere hilfreiche Produkte entwickelt. Neben den europaweit verbreiteten DeGEval-Standards für Evaluation sind dies insbesondere Empfehlungen für Auftraggebende sowie Empfehlungen für die Aus- und Weiterbildung von Evaluatorinnen und Evaluatoren.


DeGEval-Positionspapier 01 "Steuerung braucht Evaluation" als pdf

Zuletzt geändert: 22. April 2015