Die Menschen hinter Förderprogrammen sind Profis darin, die Leistungen anderer zu bewerten. Aber auch Förderprogramme selbst brauchen Evaluationsmetriken. Denn wie sonst können wir behaupten, dass sie förderlich sind? Wir beim Prototype Fund wollen wissen, was wir eigentlich bewirken. Und dafür haben wir uns an unser eigenes Motto gehalten: Auch unsere Metriken sind ein Prototyp, den wir ständig testen und verbessern wollen.

Mehrdimensional: So wirkt der Prototype Fund

Wir glauben: Wie wirksam der Prototype Fund ist, hängt nur zum Teil von uns ab. Deshalb haben wir die Personen gefragt, die unsere Wirksamkeit am besten beurteilen können – unsere Geförderten. Mit den Projekten der ersten Runde haben wir in qualitativen Interviews verschiedene Kriterien für Fördererfolge herausgearbeitet, die der ganzen Bandbreite von Innovationen im Bereich Public Interest Tech gerecht werden. Diese entfallen auf vier verschiedene Wirkungsdimensionen:

1.) Projektfortschritt

Diese Dimension geht beispielsweise folgenden Fragen nach: Welche Funktionen hat ein Projekt durch die Förderung dazugewonnen? Wie gestaltet sich die Zeit nach der Förderung? Wird weiter am Projekt gearbeitet, wird das Werkzeug genutzt? Gründen die Teammitglieder eine Firma, einen Verein, und bemühen sie sich um weitere Förderung?

2.) Open-Source-Code als offenes Wissen

Der Prototype Fund fördert ausdrücklich innovative Open-Source-Projekte, um die Grundlagen für neue technologische Entwicklungen zu stärken und zum gemeinschaftlich verfügbaren Wissen beizutragen. Gibt es für die entwickelte Codebasis weitere Beitragende, wurde er von anderen genutzt oder geforkt?

3.) Persönliche Entwicklung

Ein für uns unerwarteter Schwerpunkt in den Antworten war die persönliche Weiterentwicklung der Geförderten, die diese in den Interviews häufig thematisierten. Gerade weil der Prototype Fund Selbständige fördert und nicht Unternehmen oder Organisationen, kann schon eine sechsmonatige Förderphase besonders bei jungen Menschen Auswirkungen auf den Berufsweg haben: Waren sie vor der Förderung bereits selbständig oder nicht, und wird die Selbständigkeit nach der Förderung weitergeführt? Welche Kompetenzen und Kenntnisse haben die Geförderten erworben, zum Beispiel durch unsere Coachings? Profitieren sie davon auch weiterhin? Welche Qualifikationsmaßnahmen sollten wir zusätzlich anbieten?

4.) Öffentliche Förderung als viables Mittel

Für uns als Forschungsprojekt ist außerdem interessant, wie der Prototype Fund im Vergleich zu konventionellen öffentlichen Förderprogrammen abschneidet. Wie hat sich die Einstellung der Geförderten zu Themen wie Selbständigkeit, Existenzgründung und öffentlicher Förderung verändert? Haben sie danach aus anderen Quellen weitere Förderung erhalten?

Anhand der ersten Interviews haben wir für die folgenden Runden einen strukturierten Interview-Leitfaden ausgearbeitet, den wir immer weiter verbessern wollen, um unsere Wirkung besser zu erfassen.

Perspektivwechsel: Ja, bitte!

Bei unseren Interviews haben wir vor allem gelernt, dass wir noch viel lernen können: Es lohnt sich, evaluiert zu werden und die Geförderten nach ihren Einschätzungen zu fragen. Dank ihnen konnten wir den Prototype Fund durch eine neue Brille betrachten und haben gemerkt, dass wir auch auf ganz andere Weise wirken, als wir zunächst dachten, und sogar Karrierewege beeinflussen. Das bringt Verantwortung mit sich, der wir gerecht werden müssen.
Außerdem setzen wir in Zukunft bei unseren Metriken noch stärker auf qualitative Daten statt auf quantitative Messungen. Ein einheitliches Erfolgsmaß wird der Vielfalt der Open-Source-Welt nämlich nicht gerecht. In qualitativen Interviews können wir auch besser erfahren, ob die Förderung für Projekterfolge gesorgt hat, oder ob andere, externe Faktoren dafür (mit-)verantwortlich waren.

Failosophy

Wir wollen stetig besser werden – und dafür müssen wir wissen, wo es noch hakt. Deshalb geben wir unseren Projekten Raum für ehrliches und kritisches Feedback. Wir haben von ihnen viele Anregungen erhalten, die wir inzwischen auch umsetzen: Weitere Coachings im Bereich Finanzen und Steuern, Projektmanagement und Kommunikation, eine klare Benennung von Ansprechpartner*innen für verschiedene Themen und zusätzliche Treffen mit der Prototype-Community zum Beispiel.
Indem wir ständig Neues ausprobieren und es gemeinsam mit denen, die wir fördern, evaluieren, folgen wir unserer eigenen Forderung nach mehr Mut zu “Failosophy” und können den Prototype Fund Stück für Stück verbessern.

Reporting, aber sinnvoll

Wir wollen keine Zahlen zu Codezeilen oder Webseitenzugriffen. Unsere Projekte sind erfolgreich, wenn sie die entwickelte Software unter einer offenen oder freien Lizenz bereitstellen und einen kurzen Bericht abliefern. In diesem Bericht verzichten wir auf große Budget-Pläne und detaillierte Meilensteine. Stattdessen leben wir auch hier Failosophy und bitten die Projekte, nicht nur ihre Erfolge, sondern gerade auch ihre Misserfolge darzulegen. Dabei wollen wir wissen: Was habt ihr gelernt? Wobei habt ihr euch vielleicht verschätzt? Was waren Sackgassen, die einfach nicht zum Ziel geführt haben, und warum? Oft sind das die spannendsten und lehrreichsten Teile der Berichte und enthalten Wissen, von dem andere mehr profitieren können als von reinen Erfolgsgeschichten.

Unser Fazit nach drei Jahren Prototype Fund lautet deshalb: Förderprogramme können sehr viel bewirken, aber auch einiges falsch machen. Deshalb ist ihre kontinuierliche Auswertung essentiell. Hypothesen, die man beim Designen des Programms hatte, können sich als teilweise falsch herausstellen und Verbesserungen nötig machen. Fehlerkultur leben heißt auch, nachjustieren zu können. Wir hoffen, dass andere Förderprogramme es uns nachmachen, die eigene Arbeit ehrlich hinterfragen und gemeinsam mit den geförderten Projekten an stetiger Verbesserung arbeiten.