Sie sind hier:Home»DeGEval-Standards»Revisionsprozess

Revisionsprozess

Befragung zur Steuerung des Revisionsprozesses der DeGEval-Standards für Evaluation - Bericht zur quantitativen Datenauswertung -

DeGEval - Gesellschaft für Evaluation (2004):

Befragung zur Steuerung des Revisionsprozesses der DeGEval-Standards für Evaluation
- Bericht zur quantitativen Datenauswertung -

Koordination für den DeGEval-Vorstand und wissenschaftliche Begleitung
Wolfgang Beywl
Durchführung und Berichterstattung
Henry Kotitschke


Inhalt:

Einführung / Erläuterungen zur Auswertung
- Interpretationsgrundlage
- Das Kategoriensystem
- Besonderheiten bei der Auswertung der qualitativen Daten bei REVAL
- Erläuterungen zu Kategorie III (Kommentare / Anmerkungen zu den Standards und dem Revisionsprozess)

Auswertung der qualitativen Daten
- Kategorie I: Nutzung der Standards
- Kategorie II: Begründungen für Revisionsalternativen
- Kategorie III: Kommentare / Anmerkungen zu den Standards und dem Revisionsprozess

Issues

Ergebniszusammenfassung

Der Bericht:
Befragung zur Steuerung des Revisionsprozesses der DeGEval-Standards für Evaluation: Bericht zur quantitativen Datenauswertung (2004)

Zuletzt geändert: 17. März 2015

Revisionsprozess

Mit der Veröffentlichung der Standards im Jahr 2004 wurde ein Revisionsprozess angeregt um die Breite der Evaluationsfelder zu überprüfen sowie die Klarheit der Formulierungen und die Verständlichkeit der verschiedenen Nutzergruppen zu optimieren. Hierzu wurde im Sommer 2004 eine Online-Umfrage durchgeführt.


Online-Befragung: Information über den Rücklauf

  • Bis Anfang Juni 2004 hatten insgesamt 241 Personen die Befragung beendet. Davon 108 persönliche Mitglieder (86 über den personalisierten, 22 über einen anonymen Link), 31 Mitarbeitende von institutionellen Mitgliedern sowie 113 Nicht-Mitglieder. 11 persönliche Mitglieder sind gleichzeitig Mitarbeitende eines institutionellen Mitglieds.
  • Durchschnittlich haben pro Tag ca. drei Personen die personalisierte und ca. sechs Personen die anonyme Befragung aufgenommen.
  • Die Bearbeitung des Fragebogens hat bei der personalisierten Befragung durchschnittlich gut 15 Minuten und bei der anonymen Befragung ca. 11 Minuten in Anspruch genommen.
  • Die Gesamtmenge an Text aus den offenen Antworten umfasst ohne Leerzeichen 108.680 Zeichen (personalisierte Befragung: 54.110 Zeichen; anonyme Befragung: 54.570 Zeichen).

 

Befragungsverfahren

Die Befragung wurde über zwei verschiedene Verteilwege publiziert:

  • Persönliche und institutionelle Mitglieder, sowie der DeGEval bekannte Nicht-Mitglieder, die am Revisionsprozess Interesse gezeigt hatten, wurden per Email eingeladen, an der Befragung teilzunehmen. Für diese Gruppen wurden unterschiedliche Einladungsschreiben verfasst. Alle Angeschriebenen werden gebeten, den in der Email enthaltenen anonymen Link zur Umfrage an ihnen bekannte, am Thema „Evaluation/Standards" interessierte Personen, weiterzuleiten. Hiermit solle die Befragungsgesamtheit ausgeweitet werden.
  • Mit dem gleichen Ziel wurde der anonyme Umfragelink über verschiedene Berufsverbände, wissenschaftliche Fachgesellschaften, Internetforen und Mailverteilern verbreitet (eine Liste wird dem Abschlussbericht beigefügt).

 

Die aufgenommenen Daten wurden in zwei separaten Datensätzen gespeichert: Eine personalisierte, für die nur DeGEval-Mitglieder zugangsberechtigt waren (durch einen personalisierten Zugangslink), und eine anonyme, für die keine Zugangsbeschränkungen existierten (anonymer Zugangslink). Ursprünglich war angedacht, dass ein Datensatz die Antworten der persönlichen und institutionellen Mitglieder der DeGEval enthält, der andere die jeglicher Nicht-Mitglieder, die an der Untersuchung teilgenommen haben. Auf diese Weise sollte das Antwortverhalten von Mitgliedern und Nicht-Mitgliedern trennscharf betrachtet werden können. Es haben jedoch viele Mitglieder die Umfrage den anonymisierten Link benutzt; die Auswertung wird dies angemessen berücksichtigen.

Die Feldzeit der gesamten Online-Befragung war zunächst mit 41 Tagen (vom 15.04 – 25.05.2004) veranschlagt. Die Dauer der anonymen Befragung wurde bis zum 25.06.2004 verlängert, da auf Grund erst kürzlich erfolgter Aufrufe zur Beteiligung noch mit Rücklauf gerechnet wurde. Die personalisierte Befragung ist, der ursprünglichen Feldzeit entsprechend, inzwischen offline.

 

Befragungsergebnisse:

siehe unten

Zuletzt geändert: 04. November 2014

Befragung zur Steuerung des Revisionsprozesses der DeGEval-Standards für Evaluation - Bericht zur qualitativen Datenauswertung -

DeGEval - Gesellschaft für Evaluation (2004):

Befragung zur Steuerung des Revisionsprozesses der DeGEval-Standards für Evaluation (REVAL)
- Bericht zur qualitativen Datenauswertung -

Koordination für den DeGEval-Vorstand und wissenschaftliche Begleitung
Wolfgang Beywl
Durchführung und Berichterstattung
Henry Kotitschke

Inhalt:
1 Vorgeschichte und Zweck der Erhebung
2 Vorgehen
3 Beschreibung der Antwortgesamtheit
3.1 Mitgliedschaftsstatus
3.2 Rolle in der Evaluation
3.3 Umfang und inhaltliche Schwerpunkte der Tätigkeit in der Evaluation
4 Vertrautheit und Wertschätzung der Standards
5 Haltung zur Revision der DeGEval Standards
6 Ausblick
7 Anhang
7.1 REVAL-Fragebogen mit Antworthäufigkeiten in %
7.2 Auswertung der "sonstiges"-Antworten der geschlossenen Fragen
7.3 Logfile zur Verbreitung von REVAL
7.4 Aufforderungsanschreiben zur Teilnahme an der Online Befragung
7.5 Tabelle: Beschäftigungsumfang in den verschiedenen Evaluationsfeldern

Befragung zur Steuerung des Revisionsprozesses der DeGEval-Standards für Evaluation: Bericht zur qualitativen Datenauswertung (2004)

Zuletzt geändert: 23. Januar 2015