Hilfestellung externe Evaluation

Inhaltsverzeichnis

Einholung von Evaluationsangeboten

Ein Evaluationsauftrag an externe Evaluator/innen muss ausreichend beschrieben sein. Nachfolgende Checkliste kann helfen, die notwenigen Informationen weiter zu geben. Sie kann und muss jedoch an Ihr spezifisches Projekt und an Ihre Erwartungen an die Evaluation angepasst werden – nicht alle Punkte müssen für jedes Projekt zutreffend sein.

Rahmenbedingungen und formale Kriterien

  • Auftraggeber/in der Evaluation ist immer der jeweilige Projektträger
  • Ausschlusskriterien, die der Ausschreibung zugrunde gelegt werden (z.B. Insolvenzprozesse, persönliche Interessen bezüglich des Evaluationsgegenstandes usw.)
  • Erwartete Kompetenzen/Qualifikationen der Bewerber/innen
  • Einhaltung der Standards für Evaluation 
  • Auswahlkriterien und deren Gewichtung (auf welche Kriterien wird bei der Auswahl des Evaluationskonzepts besonderer Wert gelegt?)
  • Rechtliche Grundlagen für die Vergabe des Evaluationsauftrags, z.B. Verwertungsrechte
  • Zahlungsmodalitäten

Informationen zum Projekt

  • Antrag bzw. Konzept (z.B. als pdf)
  • Budget
  • Projektablaufplan
  • Projektrollenplan
  • Zusätzliche relevante Projektunterlagen: Ergebnisse von bereits gemachten Erhebungen oder Analysen, (Evaluations-)Berichte über bereits umgesetzte oder ähnliche Projekte, gegebenenfalls auch einschlägige Literatur

Evaluationsauftrag

  • Erwartete Struktur und Inhalte des Angebots: Welche Aspekte soll das Angebot beinhalten?
  • Ziel und Zweck der Evaluation: Welchem Zweck dient die Evaluation, an welche Interessensgruppen richtet sie sich und wie ist die vorgesehene Verwendung der Ergebnisse bei verschiedenen Interessensgruppen?
  • Gegenstand der Evaluation: generell gilt, bei externer Evaluation ist eine systematische, prozessbegleitende Evaluation vorzusehen, die auf die Strukturen und Prozesse der Umsetzung sowie die Ergebnisse bzw. Wirkungen fokussiert.
  • Zentrale Fragestellungen: Welche Fragen sollen durch die Evaluation beantwortet werden? Diese sollen die Struktur, Prozess- und Ergebnisevaluation umfassen und die Grundprinzipien der Gesundheitsförderung berücksichtigen.
  • Zusammengefasst werden folgende zentrale Themenbereiche behandelt: Gesundheitliche Chancengerechtigkeit, Aktivitäten und Methoden, Partizipation, Ziel- und Zielgruppenerreichung, Nachhaltigkeit, Zentrale Lernerfahrungen und Empfehlungen
  • Mögliche Fragestellungen, hinsichtlich prozessbegleitender Evaluation wären beispielsweise: Wie hat sich das Projekt tatsächlich entwickelt, wie war sein Verlauf? Haben sich die ursprünglichen Projektabsichten verändert? Wenn ja: wie? Wieso haben sich Projektpläne verändert? Wie verläuft die Zusammenarbeit im Projektteam?
  • Je nach Bedarf und Größe des Projekts sollen darüber hinaus durch die externe Evaluation spezifische Fragestellungen zum jeweiligen Projekt beantwortet werden. Bei den Fragestellungen können beispielsweise folgende Themen berücksichtigt werden: Fragen zu den spezifischen Projektergebnissen und Wirkungen sowie deren Bewertung, Fragen zur Zielerreichung des Projektes, anhand welcher Indikatoren, Fragen zur Projektstruktur, Fragen zum Projektprozess und zur konkreten Umsetzung, Fragen zur spezifischen Methodik, Fragen zur spezifischen Zielgruppe, Thematik, ggf. geplante eigene/zusätzliche Erhebungen im Rahmen des Projekts, welche in die Evaluation mit einbezogen werden können (z.B. Mitarbeiterbefragungen)

Zeitplan der Evaluation

Bitte planen Sie die Evaluation so, dass Sie von Projektbeginn an mit den Evaluator/innen zusammenarbeiten. Im Sinne einer partizipativen Evaluation können so z.B. auch gemeinsam mit den Evaluator/innen die Projektziele spezifiziert werden, sofern dies im Projektantrag noch nicht erfolgt ist.

Verbreitung und Verwendung der Evaluationsergebnisse

  • Wer sind die wesentlichen Adressat/innen der Evaluationsergebnisse? (unbedingt zu informierende und potenziell interessierte Zielgruppen)
  • Erwartungen an Form und Inhalt des Abschlussberichts der Evaluation
  • Erwartungen hinsichtlich spezieller Produkte der Evaluation (z.B. Leitfaden, Datenbanken etc.)
  • Beachten Sie bitte, dass externe Evaluator/innen von durch den FGÖ geförderten Projekten verpflichtet sind, einen Endbericht der Evaluation sowie Zwischenberichte an die Projektauftraggeber/-innen zu übermitteln. In den Controllingberichten und im Endbericht der Projektleitung soll ebenfalls über das Konzept, den Prozess und (Zwischen)Ergebnisse der externen Evaluation berichtet werden.

Evaluationsbudget

  • Budgetvorgaben bzw. Budgetrahmen für die Evaluation, soweit vorhanden, sollten wenn möglich in  Tages- oder Stundensätzen angegeben werden. In der Regel können die Kosten für externe Evaluationen mit rund 10 -15 % des Projektbudgets festgelegt werden.

Evaluationskonzept

Die nachfolgende Checkliste ist eine Hilfestellung um sicherzugehen, dass im Evaluationsangebot alle wesentlichen Punkte berücksichtigt werden. Sie kann und muss jedoch an das spezifische Projekt angepasst werden – nicht alle Punkte müssen für jedes Projekt zutreffend sein.

Rahmenbedingungen und formale Kriterien

  • Darlegung der Unabhängigkeit in Bezug auf den Evaluationsgegenstand bzw. Beschreibung des Umgangs mit eventuell vorhandenen Interessenskonflikten
  • Qualitätssicherung/Berücksichtigung der Standards für Evaluation der DeGEval 
  • Beschreibung der Mitglieder des Evaluationsteams: Kompetenzen und Qualifikationen, frühere Arbeiten und Referenzen der Evaluator/innen

Ausgangslage und Hintergrund

Kurzbeschreibung des Projektes oder Programms

  • mit Projektbegründung
  • Zielsetzungen des Projektes
  • Beschreibung der Settings und Zielgruppe/n
  • Geplante Aktivitäten und Methoden
  • Zentrale Kooperationspartner/innen
  • Laufzeit
  • Finanzieller Rahmen
  • Ziel und Zweck der Evaluation
  • Evaluationsgegenstand
  • Adressat/innen der Evaluation und vorgesehene Verwendung der Ergebnisse für verschiedene Interessensgruppen

Evaluationsdesign (Theoretischer Ansatz und Methoden)

  • Aktueller Wissensstand der Forschung und Evaluation auf dem für das Projekt relevanten Themengebiet
  • Theoretischer Hintergrund des Evaluationskonzeptes und Beschreibung des Erfahrungshintergrunds des Bieters/der Bieterin
  • Zentrale Fragestellungen, wie sie von der Projektleitung formuliert wurden: Welche Fragen sollen durch die Evaluation beantwortet werden? (siehe oben „Evaluationsauftrag/Fragestellungen“)
  • spezifische Fragestellungen zum jeweiligen Projekt
  • Fragen zur prozessbegleitenden Evaluation
  • Aufgreifen der im Evaluationsauftrag formulierten Fragestellungen und ggf. Erweiterung oder Abänderung durch den/die Bieter/in (verpflichtende Fragestellungen sind hiervon ausgenommen). Oft ergeben sich die definitiven Fragestellungen, sowie zusätzliche relevante Fragen, erst im Verlauf der Evaluation bzw. werden in einem partizipativen Prozess zwischen Evaluationsteam und Projektteam entwickelt. 
  • Beispielhafte Indikatoren für die Beantwortung der verpflichtenden Fragen, soweit dies auf Basis der formulierten Projektziele möglich ist.
  • Evaluationsmethoden

Qualitative Methoden

  • Detaillierte Beschreibung der geplanten Erhebungsmethode (wie Interviews, Fokusgruppen o.ä.)
  • Beschreibung und Begründung der Zielgruppe (Auswahl, Anzahl etc.)
  • Beschreibung der Durchführung und Auswertung

Quantitative Methoden

  • Detaillierte Beschreibung des geplanten Erhebungsinstrumentes
  • Beschreibung und Begründung der Stichprobenbildung/Stichprobengrößen
  • Beschreibung der Durchführung und Auswertung
  • Rahmenbedingungen für Datenerhebung und –analyse (z.B. Zugänglichkeit von Daten), alternative Vorgehensweisen, wenn diese Bedingungen nicht gegeben sind
  • Geplante Reflexions- und Feedbackprozesse hinsichtlich der Evaluationsergebnisse mit dem Projektteam bzw. anderen Adressat/innen während des Evaluationszeitraums

Evaluationsprodukte

  • Zusammenstellung der zu erwartenden Evaluationsprodukte (schriftliche oder mündliche Berichte, Zwischen- und Schlussberichte, Publikationen, Workshops, Präsentationen usw.)
  • Beachten Sie bitte, dass externe Evaluator/innen von durch den FGÖ geförderten Projekten verpflichtet sind, einen Endbericht der Evaluation sowie (je nach Vereinbarung mit den Projektauftraggebern/innen) Zwischenberichte an die Projektauftraggeber/innen zu übermitteln. In den Controllingberichten und im Endbericht der Projektleitung soll ebenfalls über das Konzept, den Prozess und (Zwischen)Ergebnisse der externen Evaluation berichtet werden.

Verbreitung und Verwendung der Evaluationsergebnisse

  • Geplante Verbreitung der Ergebnisse nach Vorliegen des Endberichts der Evaluation: Adressat/innen, Form

Arbeits- und Zeitplan

  • Arbeits- und Zeitplan der Evaluation in Abstimmung mit dem Projektablaufplan
  • Angabe der einzelnen Arbeitsschritte, inklusive eventueller Arbeiten zur Verbreitung und Nutzbarmachung der Evaluationsergebnisse
  • Angabe eines Zeitrahmens im Fall einer geplanten genaueren Ausarbeitung bzw. Überarbeitung/Anpassung des Evaluationskonzepts.

Evaluationsbudget

  • Personalkosten in nachvollziehbaren Einheiten, mit Aufschlüsselung nach Leistungen, z.B.: Stunden- oder Tagsätze, Personalkosten nach Anzahl Personen und Lohnklassen etc.
  • Sachkosten: z.B. Druck- und Versandkosten
  • Reisekosten

Anlagen

  • Lebenslauf mit Angaben zu Qualifikation, Erfahrungen und Interessen des/der Evaluationsverantwortlichen und der Mitarbeiter/innen der Evaluation
  • Firmenprofil und Referenzen

Bewertung Evaluationskonzept

Folgende Fragestellungen bieten eine Hilfestellung, wie die vorliegenden Evaluationskonzepte bewertet werden können und dadurch eine für den FGÖ notwendige Präferenzbegründung durchgeführt werden kann.

Anforderung an die Evaluator/-innen und deren Arbeit

1) Die Mitglieder des Evaluationsteams besitzen die methodischen Kenntnisse und Qualifikationen, die zur Durchführung der Evaluation notwendig sind.

2) Die Kontaktaufnahme bzw. die ersten Gespräche mit dem Evaluationsteam ist/sind gut verlaufen.

3) Die Mitglieder des Evaluationsteams besitzen Erfahrung im Bereich Evaluation.

4) Die Mitglieder des Evaluationsteams besitzen Erfahrung im Bereich Gesundheitsförderung.

5) Die dargestellten Referenzen sind zufriedenstellend.

6) Das Evaluationsteam steht völlig unabhängig zum evaluierenden Projekt bzw. sind etwaige Interessenskonflikte oder Naheverhältnisse transparent dargelegt und stellen aus Sicht der Projektleitung kein Ausschlusskriterium dar.

7) Qualitätsstandards der Evaluation sind im Konzept dargelegt.

Evaluationsdesign

1) Das Konzept ist klar und verständlich.

2) Das Konzept zeigt, dass das zu evaluierende Projekt gut verstanden wurde.

3) Das Konzept ist theoretisch fundiert.

4) Die Fragestellungen der Projektleitung wurden berücksichtigt.

5) Die Fragen, denen die Evaluation nachgehen will, erscheinen bezüglich des Untersuchungsgegenstandes angemessen.

6) Die vorgeschlagenen Methoden und Prozesse sind klar beschrieben.

7) Die vorgeschlagenen Erhebungsmethoden scheinen zur Beantwortung der Forschungsfragen geeignet.

8) Auswahl und Größe der Stichproben bzw. der Teilnehmer/innen/Befragten scheinen hinsichtlich der Forschungsfragen angemessen.

9) Die vorgeschlagenen Auswertungs- bzw. Analysemethoden scheinen zur Beantwortung der Forschungsfragen geeignet.

11) Die vorgeschlagenen Feedbackprozesse (Rückmeldung, Absprachen, Berichterstattung, Workshop) entsprechen unseren Vorstellungen.

12) Das Konzept beinhaltet Vorschläge für die Verbreitung und Verwendung der Evaluationsergebnisse.

Ressourcenmanagement

1) Der Zeitplan der Evaluation ist realistisch.

2) Der Zeitplan der Evaluation wurde mit dem Projektablaufplan abgestimmt.

3) Die einzelnen Arbeitsschritte der Evaluation wurden mit dem Projektablaufplan abgestimmt.

4) Eine Überarbeitung/Anpassung des Evaluationskonzeptes mit der Projektleitung ist vorgesehen.

5) Das vorgeschlagene Budget ist transparent dargestellt.

6) Das vorgeschlagene Budget erscheint angemessen und realistisch.

Endbericht

Bei allen durch den FGÖ geförderten Projekten mit externer Evaluation ist zu Projektende ein Endbericht der externen Evaluation zu erstellen. Er dient einerseits zur abschließenden Bewertung des Projekts, andererseits und vor allem aber richtet sich der Bericht an Umsetzer/innen zukünftiger Projekte und dient dazu, Projekterfahrungen und bewährte Aktivitäten und Methoden weiter zu verbreiten.

Der Endbericht ist – nach Freigabe durch Fördernehmer/in und FGÖ - zur Veröffentlichung bestimmt und kann über die Website des FGÖ von allen interessierten Personen abgerufen werden.

Idealerweise soll der Endbericht der externen Evaluation folgende Punkte enthalten:

Zusammenfassung

  • Ausgangslage
  • Evaluationsziele, Fragestellungen
  • Evaluationsmethoden
  • Zusammenfassung der wichtigsten Ergebnisse, vor allem hinsichtlich der Einhaltung der Grundprinzipien der Gesundheitsförderung 
  • Schlussfolgerungen und Empfehlungen

Einführung

Evaluationsauftrag und (theoretischer) Hintergrund:

  • Rahmenbedingungen
  • Ziel(e) der Evaluation
  • Verwendungszweck
  • Fragestellungen der Evaluation

Evaluationsdesign

Begründung der Methodenwahl, Anwendung der Methoden / Durchführung der Datenerhebung und – analyse, Informationsquellen:

  • Übersichtliche und transparente Darstellung der angewendeten Methoden und des Ablaufs von

Datenerhebung und –analyse, sowie Darstellung von:

  • erhobenen Daten
  • Quellen/InterviewpartnerInnen
  • Datenbasis
  • Darstellung möglicher Grenzen der Verlässlichkeit der Evaluation (z.B. aufgrund fehlender Daten oder einseitiger Auswahl von InterviewpartnerInnen)
  • Informationsquellen

Resultate und Diskussion

  • Darstellung und Reflexion der Evaluationsprozesse (Prozessbegleitung)
  • Wie hat sich das Projekt tatsächlich entwickelt, wie war sein Verlauf?
  • Haben sich die ursprünglichen Projektabsichten verändert? Wenn ja: wie?
  • Wieso haben sich Projektpläne verändert?
  • Inwiefern wurden Ergebnisse der Prozessevaluation dem Projektteam rückgemeldet?
  • Darstellung und Diskussion der Ergebnisse des FGÖ Evaluationsfragebogens.
  • Welche Projektergebnisse und Wirkungen sind aufgetreten und welche Wirkungen – sei es positiv oder negativ – nicht intendiert waren.
  • Inwieweit bzw. mit welcher Strategie hat das Projekt zur Förderung gesundheitlicher Chancengerechtigkeit beigetragen und was hat sich in Hinblick darauf gut oder weniger gut bewährt.
  • Welche Aktivitäten und Methoden haben sich insgesamt gut oder weniger gut bewährt.
  • Inwieweit konnten sich die Schwerpunktzielgruppen und Entscheidungsträger/innen im Projekt beteiligen und welche Faktoren waren für die Beteiligung förderlich/hinderlich.
  • Inwieweit konnten die Projektziele erreicht werden.
  • Inwieweit konnten die Zielgruppe(n) erreicht werden.
  • Können aus jetziger Sicht im Zuge des Projektes etablierte Strukturen, Prozesse und Aktivitäten sowie erzielte Wirkungen weiterbestehen bleiben.
  • Kann das Projekt auch an anderen Orten/in ähnlichen Settings umgesetzt werden (Transferierbarkeit) und wenn ja an welchen?
  • welche Maßnahmen scheinen zur Sicherung der Nachhaltigkeit aus jetziger Sicht erfolgversprechend.
  • Darstellung und Diskussion zusätzlicher Fragestellungen.

Schlussfolgerungen, Bilanz, Empfehlungen

  • Was waren die wesentlichen förderlichen und hinderlichen Faktoren für die Erreichung der Projektziele?
  • Wie haben solche Faktoren die Entwicklung und den Verlauf des Projekts beeinflusst?
  • Was sind die Stärken des Projekts?
  • Was sind die Schwächen des Projekts?
  • Welche zentrale Lernerfahrungen und Empfehlungen lassen sich daraus ableiten?

Anhang

Im Anhang sollte das Folgende enthalten sein:

  • Instrumente der Datenerhebung und –analyse: Interviews, Fragebögen etc.
  • Unterlagen des evaluierten Projekts, insbesondere wenn sie im Bericht erwähnt sind: Broschüren, Auszüge aus Zwischenberichten usw.