Degeval

Bisherige Workshops und Aktivitäten des Arbeitskreises "Evaluation von Forschungs-, Technologie- und Innovationspolitik" in der DeGEval:

+++++ AKTUELL: Jahrestagung in Münster 2009 +++++

Jahrestagung Münster 2009

Eine wichtigere Rolle für die Gesellschaft im Feld der Forschungs-, Technologie- und Innovationspolitik? Die Forschungs-, Technologie- und Innovationspolitik ist zumeist getrieben von der Technologieentwicklung und dem Forschungsfortschritt selbst. Akteure sind vor allem die ForscherInnen und EntwicklerInnen, neue Erkenntnisse und neue Lösungen prägen im Sinne eines „technology push“ die Politikgestaltung. Parallel konzentriert sich die Evaluation von Forschungs-, Technologie- und Innovationspolitik nicht selten auf die Ex Post-Analyse entsprechender Diffusionsprozesse und Förderprogramme. Die Gesellschaft als Quelle eines „demand pull“ oder als gestaltender Akteur spielt eine vergleichsweise geringere Rolle, auch wenn politische Strategien wie aktuell die Hightech-Strategie die Notwendigkeit einer stärker an gesellschaftlichen Bedürfnissen orientierte FTI-Politik betonen. Die zwei Beiträge des Workshops lenken den Blick auf Prozesse, in denen gesellschaftliche Aspekte – durch eine Öffnung der Forschungsevaluation im Sinne eines erweiterten Peer-Review bzw. durch die Evaluation des Foresight-Prozesses – stärker einbezogen sind. •    Janina Schirmer, Dr. Malte Schophaus (Wissenschaftliche Kommission Niedersachsen): „Extended Peer Review in der Forschungsevaluation als Antwort auf die Herausforderungen der Wissensgesellschaft?“ PDF

•    Judith Hoffmann (Institut für Technologie und Arbeit - Kaiserslautern): „Formative Prozessevaluation am Beispiel des BMBF-Foresight-Prozesses“ PDF

Frühjahrsteffen 2009 des AK FTI am 20. Mai 2009 in Karlsruhe

Der Arbeitskreis Forschungs-, Technologie- und Innovationspolitik der DeGEval hat am 20. Mai 2009 in Karlsruhe sein Frühjahrstreffen zum Thema „Kriterien und Indikatoren bei Evaluationen – Herausforderungen aus veränderten FTI Maßnahmen" durchgeführt. Mit Evaluatoren, Auftraggebern und Interessierten wurden die bei aktuellen Evaluationsprojekten eingesetzten Kriterien- und Indikatorensysteme diskutiert und einen Überblick über dieses stets aktuelle Feld der FTI-Evaluation geboten.

Auf dem Frühjahrstreffen erfolgte eine Bestandsaufnahme zu neueren Entwicklungen, es wurden Beispiele aus laufenden oder gerade abgeschlossenen Evaluationen vorgestellt. Das Frühjahrstreffen wurde in den Räumen des Fraunhofer Institut für System- und Innovationsforschung in Karlsruhe durchgeführt, das mit Dr. Marianne Kulicke im Sprecherteam des Arbeitskreises mitwirkt.

•Dr. Marianne Kulicke (Fraunhofer Institut für System- und Innovationsforschung): Überblick zu den Herausforderungen aus veränderten FTI Maßnahmen für Evaluationen PDF

•Dr. Sabine Mayer (KMU Forschung Austria): Systemevaluierung der österreichischen Forschungsförderung und –finanzierung PDF

Jahrestagung Klagenfurt 2008

Auf der Jahrestagung in Klagenfurt wurden die zwei folgenden Workshops durchgeführt:

Stellenwert von Evaluationen für Fördermaßnahmen in der FTI-Politik

Impulsreferate:

• Evelyn Bergsmann, Fakultät für Psychologie, Universität Wien:
  Die Arten der Verwendung von Evaluationen im Kontext von Steuerungsprozessen in den österreichischen Ministerien (PDF)
• Dr. Susanne Bührer, Fraunhofer ISI:
  Qualität und Wirkungen von Evaluationsstudien im europäischen Vergleich - erste Ergebnisse des EU-Projektes INNO-APPRAISAL (PDF)

Paneldiskussion mit:

• Dr. Sabine Mayer, Österreichische Forschungsförderungsgesellschaft (FFG)
• Mag. MA Michaela Topolnik, Rat für Forschung und Technologieentwicklung (RFTE)
• Dr. Rupert Pichler, Bundesministerium für Verkehr, Innovation und Technologie (BMVIT)

Moderation:

• Dr. Marianne Kulicke, Fraunhofer Institut für System- und Innovationsforschung (Fraunhofer ISI)

Systemevaluation - Policy-Evaluation – Strategieevaluation

Referenten:

• Mag. Sascha Ruhland, KMU FORSCHUNG AUSTRIA:
  Erste Erfahrungen aus der Systemevaluierung der österreichischen Forschungsförderung und -finanzierung (PDF)
• Dr. Sonja Kind, VDI/VDE Innovation + Technik GmbH:
  Begleitforschung der Hightech-Strategie in Deutschland – Eine Systemevaluation (PDF)
• Dr. Katherina Warta, Technopolis Group:
  Prozessunterstützung mit Evaluierungsansätzen bei der Einführung von Leistungsvereinbarungen in Luxemburg (PDF)

Moderation:

• Dr. Michael Stampfer, Wiener Wissenschafts-, Forschungs- und Technologiefonds (WWTF)

Frühjahrstreffen 9. Mai 2008 in Berlin: "Cluster- und Netzwerkevaluation"

Cluster- und Netzwerkprojekte sind zu einem wichtigen Ansatz der Technologie- und Innovationspolitik geworden. In Deutschland finden sich entsprechende Programme auf der nationalen Ebene – angefangen mit „BioRegio“ Anfang der 90er Jahre bis hin zu „Kompetenznetze Deutschland“ oder dem „Spitzenclusterwettbewerb“ heute. Noch weiter verbreitet sind Cluster- und Netzwerkansätze aber auf der Ebene der Bundesländer bzw. subregionaler Ebenen. Auch die Europäische Union hat mit ihrem Programm „Europe Innova“ den Cluster- und Netzwerkansatz in ihre Innovationspolitik integriert.

Für die Evaluation von Technologie- und Innovationspolitik bedeuten Cluster- und Netzwerkansätze eine spezifische Herausforderung. Regionale Rahmenbedingungen, Besonderheiten der Akteurskonstellation, Eigendynamiken der Interaktion prägen Netzwerke und Cluster in besonderem Maße. Evaluationen haben nicht nur Effekte staatlicher Intervention zu analysieren, sondern müssen endogene Prozesse und individuelle Besonderheiten zum Teil deutlich stärker mit berücksichtigen, als die bei der bislang vorherrschenden Programmförderung von Verbundprojekten der Fall war. In den letzten Jahren hat sich hier ein breiterer Erfahrungsschatz in Hinblick auf Evaluation aufgebaut, der für zukünftige Cluster- und Netzwerkevaluationen zu nutzen ist.

Das Programm als PDF

Beiträge:

• Dr. Marianne Kulicke; Fraunhofer ISI: Cluster und Netzwerkevaluation – eine kurze Bestandsaufnahme (PDF)
• Dr. Susanne Bührer; Fraunhofer ISI: Evaluation der Clusteroffensive Bayern (PDF)
  
• Michael Astor; prognos AG: Etablierung eines Monitoringsystems für die Clusterstrategie des Saarlandes (PDF)
  
• Dr. Mathias Kiese; Universität Hannover: Vergleich regionaler Cluster- und Netzwerkansätze (PDF)
  
• Dr. Jan Wessels; VDI/VDE-IT / Dr. Gerd Meier zu Köcker; iit: Benchmarking von Netzwerken als Ergänzung zu Evaluationen (PDF)

Kurzes Protokoll (PDF)

Dokumentation der Veranstaltung als AK-Veröffentlichung (PDF)

Dokumentation der Veranstaltung als Veröffentlichung in der Zeitschrift für Evaluation (PDF) (http://www.waxmann.com/index2.html?zs/zeval.html)

Jahrestagung in Lüneburg 2006

Evaluation von Netzwerken in der grundlagenorientierten Forschung gemeinsam mit dem AK Hochschule

Die Förderung von Netzwerken spielt im Bereich der grundlagenorientierten Forschung eine zunehmend wichtige 

Rolle. Aus diesem Grund haben sich der AK FTI-Politik und der AK Hochschule während der Jahrestagung 

der DeGEVal in Lüneburg zum Leitthema "Netzwerkevaluation - Evaluation von Netzwerken" mit der Frage der 

Evaluation von Netzwerken in der grundlagenorientierten Forschung und Forschungsförderung befasst. 

Die Beiträge stellen konkrete Evaluationsstudien, deren methodische Ansätze und Ergebnisse zur Diskussion. 

• Evaluation der Sonderforschungsbereiche in Österreich 

(Dr. Jakob Edler, Fraunhofer ISI)

• Erfahrungen mit der soziale Netzwerkanalysen am Beispiel der Evaluierung 

des österreichischen Genomforschungsprogramms GEN-AU (Dr. Roald Steiner, KMU FORSCHUNG AUSTRIA)

• Interinstitutionelle Zusammenarbeit in DFG-geförderten Kooperationsprogrammen: 

Identifikation von Forschungs-Clustern mit Hilfe der Sozialen Netzwerkanalyse 

(Dr. Jürgen Güdler, DFG, Direktor Informationsmanagement)

Evaluation von Netzwerkförderung in den Neuen Bundesländern gemeinsam mit dem AK Strukturpolitik 

Der AK FTI-Politik und der AK Strukturpolitik haben sich während der 

Jahrestagung der DeGEVal in Lüneburg zumLeitthema "Netzwerkevaluation - 

Evaluation von Netzwerken" mit der Frage der Evaluation der Netzwerkförderung 

in den Neuen Bundesländern befasst. Hintergrund für die Themenwahl ist die 

Beobachtung, dass seit Beginn der 1990erJahre eine Vielzahl von Förderprogrammen 

sich dem Ziel des Aufbaus vonInnovationsnetzwerken gewidmet hat. Zu diesen 

Förderprogrmmen existiert ebenfalls eine Vielzahl von Evaluationsstudien, 

deren methodische Ansätze und Ergebnisse zur Diskussion gestellt wurden. 

Die Beiträge im Einzelnen:

• Erfahrungen aus der Ausbildung von Moderatoren und Managern für
  Wirtschaftsnetzwerke in Brandenburg (Dr. Karsten Koitz, EuroNorm GmbH)

• Netzwerkförderung in Ostdeutschland und deren bisherige Einzelevaluationen
  (Dr. Vivien Lo, Fraunhofer ISI / Kreditanstalt für Wiederaufbau)

• Nemo-Evaluierung (GIB - Gesellschaft für Innovationsforschung und
  Beratung mbH, Prof. Dr. Carsten Becker)

• Evaluation des Fördernetzwerks der industriellen Gemeinschaftsforschung
  (Dr. Michael Rothgang, RWI Essen)

• Hochschulen und ihre Rolle als "knowledge broker" in regionalen
  Innovationsnetzwerken (Dr. Martina-Kauffeld-Monz, DIW)

Frühjahrstreffen 2006 in Karlruhe

am 16. Februar 2006 fand am Fraunhofer ISI in Karlsruhe ein Frühjahrsworkshop zum Thema "Evaluation von Institutionen" statt. Leitthemen waren:

• Steuerung von Forschungsinstitutionen: Welche Voraussetzungen bringen diese mit, um Evaluationsergebnisse umzusetzen etc.?
• "Nebenthema": Wie gehen Forschungsinstitutionen mit den zunehmenden Anforderungen an Internationalisierung und Europäisierung um und wie schlägt sich dies in Evaluationen nieder?

Beiträge:

• Zusammenfassung der bisherigen Aktivitäten des AK im Bereich Evaluation von Institutionen (Susanne Bührer)
• BMWA-Leitfaden zur Evaluation von Institutionen / nachgeordneten Behörden (Mindirig. a.D. Hans-Peter Lorenzen)
• Managementsysteme nach ISO und Business-Excellence in Institutionen - Chancen und Voraussetzungen für die nachhaltige Umsetzung von Evaluationsergebnissen (Karsten Koitz, Euronorm)
• Evaluation von Institutionen aus Sicht der Unternehmensberatung (Gudio Benzler, Deloitte)
• Erfahrungen aus der Leibniz-Gemeinschaft (Susanne Holstein, Leibniz-Gemeinschaft)
• Evaluation der BAM (Regina Buhr, VDI-VDE/IT)
• Evaluierung von FFF und FWF (Leonhard Jörg, Technopolis)
• Evaluierung der Beratungs- und Betreuungsstrukturen zum 6. Rahmenprogramm in Österreich (Sonja Sheikh, KMU Forschung Austria; Vivien Lo, Jakob Edler, Fraunhofer ISI)

Jahrestagung in Essen 2005

Die Frage nach der Wirkung von Evaluationen gilt auf allen Ebenen der FTI-Politik, d.h. auf der Ebene von Projekten, Programmen, aber auch von Institutionen. Nachdem wir uns auf den vergangenen AK-Sitzungen bereits mehrfach dem Thema Evaluation von (Forschungs-)Institutionen gewidmet hatten, wollten wir die Jahrestagung in Essen dazu nutzen, über eine besondere Form von Institutionen – die "Agencies" bzw. "Projektträger" zu sprechen. Grund hierfür ist ein einerseits in vielen Ländern und auch auf Ebene der Kommission sichtbarer Trend zur "Agencification", andererseits aber auch deren spezifische Rolle im FTI-System, nämlich als Mittler zwischen Minsterien, Fördernehmern und externen Evaluatoren. Damit sind sie von allen Seiten mit den entsprechenden Erwartungen konfrontiert und müssen auf der Basis dieser heterogenen Stimmen ihre Arbeit verrichten.

Leitfragen waren:

A) Agencies als Gegenstand von Evaluationen

• Was ist das sinnvolle Rational hinter der Auslagerung von hoheitlichen Aufgaben in Agenturen, wo sind Vor- und wo sind Nachteile?
• Welche Aufgaben übernehmen Agenturen klassischerweise und wie sind diese zu evaluieren?
• Sind Evaluationen ein sinnvolles Mittel zur Steuerung von Agenturen?

B) Agencies als Betreuer, Konzipierer, Umsetzer von Evaluationen

• Welche Rolle haben Evaluationen in der FTI Politik aus Sicht der "Policy maker" und aus Sicht der Agenturen bzw. Fördereinrichtungen?
• Wie können Agenturen Evaluationen sinnvoll nutzen, wie setzen sie Ergebnisse um, wie werden Evaluationsergebnisse ins Feld zurück gespielt??
• Welche Auswirkungen haben die Evaluationsergebnisse auf das Design künftiger Programme etc.?

ReferentInnen:

A: Allgemeiner Teil

• Birgit Baumann (FFG, Wien): Einführung in das Thema Agencies. Erfahrungen aus dem "Strata Thematic Network MAP - Best Practices for Multi-Actors and Multi Measures Programmes in RTDI Policy"
• Ullrike Blankenfeld (BMWA, Berlin): "Eine Studie für mehr Evaluationskultur in der Innovationspolitik der 25 EU-Mitgliedstaaten: "Supporting the monitoring and evaluation of innovation programmes"
• Dr. Guido Benzler (Deloittle Business Consulting GmbH, Düsseldorf): "Die Evaluation von öffentlichen Forschungseinrichtungen aus der Sicht eines Evaluators"

Moderation: Dr. Susanne Bührer, Fraunhofer ISI, Karlsruhe

Block B: Fallbeispiele ·

• Horst Steg (VDI/VDE-IT, Berlin): "Evaluation des BMBF-Programms "Mikrosysteme": Konzeption, Begleitung und Konsequenzen für die Gestaltung und die Steuerung des weiteren Programms"
• Dr. Marianne Kordel-Bödigheimer (Projektträger im DLR - Gesundheitsforschung, Bonn): "Evaluationen im Bereich Gesundheitsforschung - Erfahrungen aus Sicht des Projektträgers"
  Moderation: Dr. Susanne Bührer, Fraunhofer ISI, Karlsruhe

Jahrestagung in Wien 2004

Titel: "Forschungseinrichtungen, Förderorganisationen und Förderprogramme: Wege der Evaluierung und Konsequenzen für den Reformprozess"
Nachdem sich der AK in den vergangenen Jahren neben der Evaluation von komplexen Multi-Akteur-Programmen (Kassel 1999, Karlsruhe 2000) insbesondere der Evaluation von Forschungseinrichtungen (Berlin 2000, Speyer 2001) gewidmet hat, knüpfte das Arbeitsprogramm für die Jahrestagung in Wien 2004 direkt an:Unter dem Titel "Forschungseinrichtungen, Förderorganisationen und Förderprogramme: Wege der Evaluierung und Konsequenzen für den Reformprozess" wurden in der ersten Hälfte des Workshops Beiträge zu den Themen:

• Evaluation nachgeordneter Behörden bzw. Forschungseinrichtungen des Bundesministeriums für Wirtschaft und Arbeit (BMWA), Herr Lorenzen, sowie zur
• Evaluation der Förderpogramme "Forschungsnetzwerke" des österreichischen Wissenschaftsfonds (FWF), Herr Rudi Novak (FWF)

gehört. Daran anschließend wurde der bisherige Themenkomplex erweitert und die Frage nach den spezifischen Herausforderungen gestellt, die mit der Evaluation von Forschungsförderungsorganisationen verknüpft sind. Als Beiträge konnten wir gewinnen:

• Reforms Reformed: Evaluation and the Modernisation of the Austrian R&D Funding, Herr Erik Arnold (Technopolis)
• Ansätze in der Additionalitätsmessung von Forschungsförderungseinrichtungen (Joanneum Research).

Angesichts der erheblichen Umstrukturierungen, die derzeit im österreichischen FTI-System zu beobachten sind, erfolgt insbesondere bei den letztgenannten Prä-sentationen ein enger Brückenschlag zum Leitthema der Jahrestagung, der Qualität von Reformen. Zur Logik und Motivation sowie zum Stand der Umsetzung der Umstrukturierungen wird es einen kurzen Input von Dorothea Sturn geben.

Jahrestagung in Hamburg 2003

Auf der Jahrestagung In Hamburg wurden zwei Workshops durchgeführt. Der erste fand gemeinsam mit dem AK Hochschule statt und widmete sich dem Thema:
Forschungsevaluation und Forschungsexcellenz
Leitfragen waren:

• Wie wird das Monitoring von Forschungsevaluationen geleistet?
• Welche Möglichkeiten gibt es, Forschungsschwerpunkte zu definieren? Welche Methoden haben sich hier bewährt (z.B. Foresights), welche eher nicht?
• Wie sehen die Folgewirkungen von Forschungsevaluationen an Hochschulen aus?

Als ReferentInnen konnten gewonnen werden:

• Marlene Fries (Bayerisches Staatsinstitut für Hochschulforschung und Hochschulplanung): Evaluation von Forschung und Lehre an Hochschulen in Bayern
• Dr. Tim Stuchtey (Humboldt Universität zu Berlin): STEP-Projekt
• Dr. Susanne Bührer (Fraunhofer ISI): Forschungslandkarte Hochschulmedizin

Der zweite Workshop widmete sich dem Thema:
Evaluation im Kontext des 6. Rahmenprogramms
Leitfragen hier waren:

• Welche Zielsetzungen sind mit der Entwicklung des Europäischen Forschungsraumes verbunden und wie sind diese zu bewerten?
• Welche Anforderungen an die Evaluation ergeben sich aufgrund der neuen Instrumente im FP 6 (Networks of Excellence und Integrated Projects)?
• Welche Ansätze zur Evaluation von NoE existieren?
• Wie ist "Forschungsexcellenz" messbar?

Die ReferentInnen und Beiträge waren:

• Frau Stahl-Rolf (VDI-TZ): International experiences with ex-ante and ex- post evaluations of networks of innovation
• Thomas Heinze (Fraunhofer ISI): Mapping of Excellence

Jahrestagung in Mainz 2002

Thema des Workshops war: Evaluationsstandards in der Forschungs-, Technologie- und Innovationspolitik: Praktische Beispiele für HerausforderungenDie Akteure im Bereich Evaluation von Forschungs- und Technologiepolitik sind zum Einen sehr heterogen (Naturwissenschaftler und Techniker, Wirtschaftswissenschaftler, Sozialwissenschaftler), zum Anderen mangelt es derzeit trotz der zunehmenden Nachfrage noch an übergreifenden Institutionen oder Netzwerken, die eine Verbreitung der Evaluationsstandards zumindest erleichtern würden. Aus diesem Grund wurde diskutiert,

• welche Standards sich ausgehend von den DeGEval-Standards für die Evaluation von Forschungs- und Technologiepolitik formulieren lassen,
• in welchen konkreten Evaluationsprojekten die Einhaltung der Standards der DeGEval gewissen Herausforderungen ausgesetzt war und
• welche Strategien bestehen, dies zu meistern.

Vortragsfolien:

• Daisy Wessel (Wissenschaftsrat): Aufgaben, Kriterien und Verfahren des Evaluationsausschusses des Wissenschaftsrates (pdf)
• Lutz Gros (BMBF): Qualitätssicherung in der Projektförderung (pdf)
• Michael Stampfer (WWTF): Evaluierungsstandards für die österreichische FTI-Politik (pdf)
• Klaus Zinöcker (Joanneum Research): Socio Economic Evaluation of public RTD-Policies (pdf)
• Dorothea Sturn (TiG): Evaluierung im Kontext des Policy-Cycles (pdf)

Frühjahrstreffen in Wien 2002

Der AK FTI Politik - hat im Juni 2002 gemeinsam mit der Plattform Evaluierung Forschung und Technologiepolitik -Österreich in Wien einen Workshop durchgeführt zum Thema:
Die Rolle von "Räten" in der FTI Politik: Politikberatung, Politikgestaltung, Politikevaluierung
Hintergrund: In einigen Ländern haben Räte sehr wichtige Funktionen bei der strategischen Orientierung von Technologiepolitik, was mit einer ganzen Reihe genauer zu analysierenden Vor- und Nachteile verbunden ist: größere oder kleinere Anfälligkeit des Systems gegenüber Lobbying, Neupositionierung der zuständigen Ministerien, Informationsasymetrien, Komplettierung oder auch Überdeterminierung des Policy Cycles, etc. Darüber hinaus gibt es klassischerweise zwei verschiedene Arten von Räten - zum einen die "Councils" wie wir sie z.B. aus U.K. her kennen, die eher die Funktion von Finanzierungsagenturen haben zum anderen die Politikberatungsfunktion wie etwa der deutsche Wissenschaftsrat oder auch der österreichische Rat für Forschung und Technologieentwicklung. Primäres Thema der Frühjahrstagung soll die Beratungsfunktion sein.Inhalte bzw. Leitfragen lauteten:

• Welche Missionen, Ziele und strategische Funktionen haben Räte, welche sollten sie haben?
• - Wie sind Räte zusammengesetzt? Wer befindet darüber?
• "Verbessern" Räte das Funktionieren des Politiksystems, das des Innovationssystems?
• Wie passen Beratung, strategische Planung und Evaluation jeweils zusammen?
• Können Räte zu einer Verbesserung der Evaluierungskultur beitragen?

Nach einem einführenden Beitrag zum Thema: Internationaler Vergleich von "scientific advisory structures" (Susanne Bührer (Fraunhofer ISI, D) wurden vier Einzelfälle näher vorgestellt und diskutiert:

• Esko-Olavi Seppälä (Science and technology policy council of Finland): Finnland
• Michael Binder (Austrian Council for Research and Technology Development): Österreich
• Erik Arnold (Technopolis Brighton, UK): Norwegen
• Andreas Strucke (Wissenschaftsrat, D): Deutschland

Jahrestagung in Speyer 2001

Der Workshop zur Jahrestagung hatte das Thema "Systemevaluation von Forschungseinrichtungen in Deutschland – Konsequenzen?"Zum Thema:
Seit den 1990er Jahren wurden in Deutschland vermehrt Forschungsinstitutionen als solche evaluiert. Im Dezember 1996 beschlossen die Regierungschefs von Bund und Ländern, als Teil einer Betrachtung der Bund-Länder-Forschungsfinanzierung die Evaluation aller gemeinsam finanzierten Forschungseinrichtungen zu veranlassen. Im Frühjahr 1999 schloss eine internationale Kommission eine „Systeme