REvaluation Podcast

Promoted as the “gold standard” of evaluation, counterfactual evaluation is on the rise. This is one of the many findings from the new fteval cooperative study jointly conducted by the Austrian Institute for SME Research, Joanneum Research, and WPZ Research.
Counterfactual evaluations estimate the effect of a policy intervention by comparing what actually happened with what would have happened without it, typically using a comparable group that did not receive support. They link point A, the intervention, to point B, its outcome. Their appeal is quantification: a single number that makes the effect measurable and gives the findings weight in policy debates.
What happens when we ignore what is between A and B? What impact could counterfactual evaluations have? And what wishes do we further have for this method and the evaluation community?  
In this REvaluation podcast episode, we talk with Jakob Kofler from KMU Forschung Austria (SME Research Austria) about methods, conclusions, and recommendations.
Links:
The study: Chancen & Grenzen kontrafaktischer Wirkungsanalysen für die österreichische FTI-Politik – eine Situationsanalyse - fteval repository
Training in Vienna on 23 November 2026: Trainingsangebot: Kontrafaktische Wirkungsanalysen in österreichischen FTI-Evaluationen - fteval
SIP talk with the Austrian Council on counterfactual evaluations on 19 October 2026, in German: https://forwit.at/sip-talk/kausalanalysen-in-der-oesterreichischen-fti-evaluierung/ 
Related previous podcast episode: Folge #8 - Das AMDC: Für verknüpfte Mikrodaten ziehen wir alle Register - fteval (in German) 
Subscription Newsletter - fteval (EN) & Newsletter - fteval (DE)
Musik: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) by spinningmerkaba http://ccmixter.org/people/jlbrock44; SouljaUnit Remix of DeadRobot Music’s Surfy via https://freesound.org/people/SouljaUnit/sounds/640175/
Foto: Johnny Be Good
podcast(at)fteval.at  -  @fteval.bsky.social - fteval.at

Mit der Evaluierung der Basisprogramme 2026 wurde die zentrale bottom-up Förderung für Innovationen an Unternehmen auf ihre Wirkung geprüft - eines der größten und am längsten bestehenden Instrumente der FTI-Politik in Österreich. Bei einer gemeinsamen Veranstaltung mit dem BMIMI wurde in der fteval-Community nicht nur der methodische Zugang mit Hilfe von AMDC-Mikrodaten, sondern auch die Befunde dieser Evaluierung und deren Implikationen für das FTI-System in Österreich diskutiert. 
Gemeinsam mit Cornelia Reiter vom AIT und Tobias Herzog vom AMDC rekapitulieren wir in dieser Podcastfolge die Diskussionen der Veranstaltung und bieten eine kurze Zusammenfassung, für alle die während der Urlaubszeit nicht live dabei sein konnten. 
Links:
FFG-Basisprogramm 
Evaluationsbericht 2026 
Diskussionsveranstaltung am 17. August 2026 
Foliensatz zur Veranstaltung 
AIT 
AMDC 
Nächstes AMDC-Nutzer:innentreffen
Musik: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) by spinningmerkaba http://ccmixter.org/people/jlbrock44; SouljaUnit Remix of DeadRobot Music’s Surfy via https://freesound.org/people/SouljaUnit/sounds/640175/
Foto: Paloeka de Koning
podcast(at)fteval.at  -  @fteval.bsky.social - fteval.at

Mario Steyer lehrt und forscht an der Hochschule Campus Wien (HCW) im Studiengang Public Management, wo er auch Kurse in Evaluation anbietet. Für ihn ist Evaluation ein ideales Feld für angewandte Forschung: praxisnah, methodisch anspruchsvoll und gesellschaftlich relevant. 
Im Gespräch diskutieren wir, warum es im deutschsprachigen Raum nach wie vor keine eigenständige Ausbildung in Evaluation gibt – die meisten Evaluatorinnen und Evaluatoren finden eher zufällig, im Laufe ihrer Karriere, zu diesem Handwerk. Was Mario kurzerhand „Saarbrücken" nennt, ist der historische Masterstudiengang in Evaluation der Universität des Saarlandes – lange Zeit eine der wenigen strukturierten Ausbildungsmöglichkeiten im DACH-Raum. 
Evaluation ist dabei keineswegs ein Thema, das nur die öffentliche Verwaltung betrifft – aber sie soll als Vorbild für reflexive und verantwortungsvolle Maßnahmengestaltung dienen. Dass sie das bislang nur bedingt tut, ist eine der zentralen Spannungen, die wir in dieser Folge beleuchten. 
Außerdem sprechen wir über die Kompetenzen, die es für gute Evaluierungsarbeit braucht: einen differenzierten Umgang mit KI, eine solide methodische Ausbildung in empirischer Sozialforschung – und die oft unterschätzten Softskills, um zwischen Stakeholdern zu vermitteln und Ergebnisse klar zu kommunizieren. 
Schließlich teilt Mario Einblicke aus seiner eigenen Forschung: Er beschäftigt sich konkret mit der Reflexion der Lehrveranstaltungsevaluierung an der HCW – ein Beispiel dafür, wie Evaluation auch im Hochschulkontext als Instrument der Qualitätsentwicklung eingesetzt werden kann.  
Das provokante Zitat im Titel stammt nicht von unserem Gast selbst, sondern aus einer Publikation des Politikwissenschaftlers Peter Biegelbauer – und es dient als roter Faden dieser Episode. 
Links zur Folge: 
Publikationsdatenbank der Hochschule Campus Wien
Marios Publikation zur Lehrveranstaltungsevaluierung
Publikation von Peter Biegelbauer zur wissenschaftlichen Reflexion von Verwaltungspraxis
Historischer Master in Evaluation – Universität des Saarlandes
Eval-Training.org – Gemeinsame Trainingsplattform von DeGEval und SEVAL
Musik: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) by spinningmerkaba http://ccmixter.org/people/jlbrock44; SouljaUnit Remix of DeadRobot Music’s Surfy via https://freesound.org/people/SouljaUnit/sounds/640175/
Foto: Hübl (HCW)  
podcast(at)fteval.at  -  @fteval.bsky.social - fteval.at

Im aktuellen Regierungsprogramm ist eine Systemevaluation des österreichischen FTI-Systems vorgesehen – ein Anlass für die fteval-Community, gemeinsam zu reflektieren, was wir aus Studien und Evaluationen eigentlich bereits über das FTI-System wissen. Der Rat für Forschung, Wissenschaft, Innovation und Technologieentwicklung (FORWIT) und die Österreichische Plattform für Forschungs- und Technologiepolitikevaluierung (fteval) luden daher am 27. März 2026 die Evaluierungscommunity zu einer gemeinsamen Diskussionsveranstaltung „Zwischenbilanz: Was wissen wir eigentlich über das FTI-System?“, um auf Basis zweier rezenter Arbeiten zu überlegen, welche systemischen Erkenntnisse sich ableiten lassen und wo weiterer Klärungsbedarf besteht. 
Cornelia Reiter (AIT) und Thomas König (FORWIT) präsentierten die systembezogenen Erkenntnisse aus der Zwischenevaluierung der FTI-Strategie 2030 sowie der Analyse des Hochschulsystems. Brigitte Ecker (WPZ Research) und Jürgen Janger (WIFO) ergänzten mit Hintergrundinformationen und boten Impulse für die Plenumsdiskussion. In dieser Podcastfolge fangen die Kolleg:innen ihre wichtigsten Take-aways dieser Diskussion ein. 
Links: 
Präsentationsfolien zur Halbzeitevaluierung der FTI-Strategie 2030, Cornelia Reiter [PDF]
Evaluierung der FTI-Strategie 2030 zur Hälfte der Laufzeit [PDF]
Präsentationsfolien zur Hochschulanalyse, Thomas König [PDF]
Analyse des Hochschulsystems in Österreich [Publikation: Mitte 2026]
Präsentationsfolien zum Diskussionsimpuls von Jürgen Janger [PDF]
Präsentationsfolien zum Diskussionsimpuls von Brigitte Ecker [PDF]

Musik: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) by spinningmerkaba http://ccmixter.org/people/jlbrock44; SouljaUnit Remix of DeadRobot Music’s Surfy via https://freesound.org/people/SouljaUnit/sounds/640175/
Foto: Paloeka de Koning
 
podcast(at)fteval.at  -  @fteval.bsky.social - fteval.at

Helga Aichmaier und Alexander Damianisch erzählen in dieser Folge, wie man künstlerische Forschung fördern und evaluieren kann. Sie machen uns verständlich, was der Mehrwert und die Wirkmacht einer Forschung ist, die ihre Prozesse und Ergebnisse jenseits einer schriftlichen Denkkultur erfahrbar machen kann, um mit allen Sinnen "der Rätselhaftigkeit der Welt zu huldigen".
Auf die eigene Praxis vertrauen, Stärken stärken, starke Erzählungen transportieren und dabei mit der Gesellschaft zu interagieren und präsent zu sein sind die Empfehlungen, die die beiden Wissenschaftler:innen, die mit künstlerischen Mitteln forschen möchten, mitgeben. 
Links:
Angewandte Interdisciplinary Lab (AIL) - Platform for art, science and artistic research
Ausstellung der Angewandten "UNDERSTANDING – ART & RESEARCH" (2019) - Booklet [PDF]
Support Kunst und Forschung an der Universität für angewandte Kunst Wien
Programm zur Entwicklung und Erschließung der Künste des Österreichischen Wissenschaftsfonds (FWF) 
Evaluierung des PEEK Programms des FWF (2022) 
Statement des FWF zum Evaluierungsbericht 
Musik: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) by spinningmerkaba http://ccmixter.org/people/jlbrock44; SouljaUnit Remix of DeadRobot Music’s Surfy via https://freesound.org/people/SouljaUnit/sounds/640175/
Foto: Marianna Mondelos, Universität für angewandte Kunst Wien 
podcast(at)fteval.at  -  @fteval.bsky.social - fteval.at