Nachdem im Spotlight Wissenschaft Januar bereits zentrale Publikationen des Themenfelds Wirkungsmessung und Messung von Sozialen Innovationen vorgestellt wurden, präsentiert dieses Spotlight Wortmeldungen aus der aktuellen Forschung. Das Team Wissenschaft der TU Dortmund, hat dafür mit Wissenschaftler:innen der BMBF-geförderten Projekte Impact Measurement and Valuation Lab (IMV-Lab) und Impact Sozialer Innovationen (ISI) gesprochen. Im Fokus dieser Wortmeldungen steht dabei einerseits die Frage, wie die Wirkung Sozialer Innovationen systematisch erfasst werden kann, welche methodischen Ansätze und Herausforderungen derzeit diskutiert werden. Andererseits erörtern die Interviewpartner:innen wie die für SI-Forschung typische transdisziplinäre Zusammenarbeit besonders gut gelingen kann. Folgende fünf Fragen strukturieren dabei die Einblicke in die aktuelle Forschungspraxis, bevor abschließend die beiden Forschungsprojekte vorgestellt werden:
- Für wen und warum ist Wirkungsmessung für Soziale Innovationen wichtig?
- Welchen Beitrag leistet die Forschung zur Entwicklung von Instrumenten der Wirkungsmessung?
- Was sind aktuelle Ansätze, die in der Forschung diskutiert werden?
- Gibt es (methodische) Herausforderungen bei der Wirkungsmessung sozialer Innovationen im Vergleich zu technologischen Innovationen?
- Wie kooperieren Wissenschaftler:innen und Praktiker:innen in der SI-Wirkungsmessung? Welche Ressourcen sind dafür nötig?
Für das Projekt IMV-Lab beantworten Prof. Dr. Laura Marie Edinger-Schons und Felizia von Schweinitz von der Universität Hamburg sowie Prof. Dr. Ali Aslan Gümüsay und Dr. Amyn Vogel, von der Ludwig-Maximilians-Universität München die Fragen.
Projektteam IMV-Lab (von links nach rechts: Dr. Amyn Vogel, Felizia von Schweinitz, Prof. Dr. Laura Marie Edinger- Schons, Prof. Dr. Ali Aslan Gümüsay; Foto: Universität Hamburg/Willenbrock).
Für das ISI-Projekt hat die Plattform für Soziale Innovationen stellvertretend mit Dr. Judith Terstriep vom Institut Arbeit und Technik und Dr. Georg Mildenberger von der Universität Heidelberg gesprochen.
Dr. Georg Mildenberger (links; Foto: Mildenberger) und Dr. Judith Terstriep (rechts; Foto: Terstriep)
1. Team Wissenschaft: Für wen und warum ist Wirkungsmessung für Soziale Innovationen wichtig?
IMV-Lab: Soziale Innovationen bieten Ansätze, die zur Lösung gesellschaftlicher Herausforderungen und nachhaltiger Transformation beitragen. Wirkungsmessung befähigt Initiativen Sozialer Innovationen zur Verbesserung ihrer strategischen Ausrichtung.
Die Kommunikation über die eigene Wirkung kann es ihnen zudem ermöglichen, finanzielle Ressourcen zu akquirieren und langfristig ihre Handlungsfähigkeit auszubauen. Insbesondere in den sich aktuell dynamisch entwickelnden Finanzmärkten, die immer mehr Wert auf Investitionsmöglichkeiten mit positivem Impact legen, bildet die Wirkungsmessung eine wichtige Brücke. Wenn Transparenz über Wirkung besteht (sowohl positive als auch negative), können Akteur:innen in Finanzmärkten [zum Beispiel Investor:innen, Anm. der Redaktion] Kapital entsprechend auf die wirkungsvollsten Ansätze verteilen. Dies ist auch im gesellschaftlichen Interesse: Soziale Innovationen sind von zentraler Bedeutung für die Transformation unserer Wirtschaft und Gesellschaft in Richtung Nachhaltigkeit – und sollten genau deshalb gezielt gesteuert und gefördert werden.
ISI-Projekt: Die Wirkungsmessung ist für sehr unterschiedliche Akteursgruppen relevant.
Zu nennen sind hier sicherlich zunächst die Sozialen Innovator:innen selbst, deren Aktivitäten darauf abstellen ein spezifisches gesellschaftliches Problem oder eine Herausforderung mit ihrer Lösung zu adressieren. Für sie ist es entscheidend zu erfahren, ob die von ihnen entwickelte und in die Anwendung gebrachte Lösung tatsächlich den angestrebten gesellschaftlichen Beitrag leistet und ob die angenommenen positiven Effekte eintreten. Ebenso wichtig ist es frühzeitig Informationen darüber zu erhalten, ob sich eventuell negative, nicht-intendierte Effekte einstellen, die ein Neujustierung der Lösung erforderlich machen.
Daneben kann die Wirkungsmessung für Soziale Innovator:innen als Argumentationshilfe gegenüber Finanz- und Fördermittelgebenden dienen – und damit als Alternative oder komplementär (je nach Organisationsform) zu klassischen monetären Kennzahlen. Gerade Sozialunternehmen in frühen Entwicklungsphasen haben aufgrund der vielfach geringen Renditen im Vergleich zu ihren rein wirtschaftlich agierenden Wettbewerbern immer wieder Probleme eine Finanzierung für ihre Lösungen zu erhalten. Einen Beleg für die Wirkung und damit die gesellschaftliche Rendite in Händen zu halten, kann sich daher als vorteilhaft erweisen. Die gilt in besonderem Maße für nicht-marktfähige Soziale Innovationen.
Darüber hinaus ist eine Wirkungsmessung mittlerer Reichweite für politische Entscheidungsträger:innen im Zuge der zunehmenden Missionsorientierung der Forschungs- und Innovationpolitik, aber gerade auch vor dem Hintergrund der „Nationalen Strategie für Soziale Innovationen und gemeinwohlorientierte Unternehmen“ (SIGU) zentral. Sie kann Aufschluss über die Wirkung von Bündeln sozial-innovativer Initiativen in spezifischen Innovationsfeldern (z.B. Blockchain, digitale Bildung, soziale Dienste, Sharing Economy), die auf vergleichbare Ziele einzahlen liefern. Eine solche Wirkungsmessung mit ihren innovationsfeldspezifischen Wirklogiken kann helfen Programme (formativ) zu evaluieren und zugleich Projektnehmende darin unterstützen die Wirkung ihrer Projekte zu ermitteln.
2. Team Wissenschaft: Welchen Beitrag leistet die Forschung zur Entwicklung von Instrumenten der Wirkungsmessung?
IMV-Lab: Viele Methoden und Ansätze zur Messung und Bewertung Sozialer Innovationen sind nicht Open Source und haben keinen Peer-Review-Prozess durchlaufen. Darüber hinaus besteht unter Praktiker:innen und größeren Brancheninitiativen ein aktueller Trend zur Messung von Outputs (organisatorische Wirkungen), die später teils mit Bewertungskoeffizienten multipliziert und als monetarisierter Impact kommuniziert werden, ohne eine tatsächliche Messung der Outcomes (Wirkung auf Zielgruppenebene) oder Impacts (Wirkung auf gesellschaftlicher Ebene) durchzuführen.
Der Beitrag, den Forschende zur Entwicklung von Instrumenten der Wirkungsmessung leisten können, liegt in der transparenten Methodenentwicklung und Kommunikation, der Aufbereitung etablierter wissenschaftlicher Ansätze und der kritischen Reflexion der Anwendbarkeit und Grenzen der Wirkungsmessung.
In diesem Sinne wurde auch unser Praxisleitfaden zur Wirkungsmessung Sozialer Innovationen entwickelt. Im Kern dieses Handbuchs steht die Unterstützung von Organisationen, die ihre Wirkungsmessung weiterentwickeln und dabei wissenschaftliche Methoden verwenden wollen. Neben der Outcome-Ebene wird – sofern möglich und sinnvoll – auch die Wirkung auf gesellschaftlicher Ebene (Impact) einbezogen und qualitative sowie quantitative Instrumente der Wirkungsmessung und -bewertung werden erörtert. Dabei beziehen wir uns auch auf die bestehenden Potentiale sowie die Grenzen und moralischen Erwägungen der Quantifizierung und monetären Bewertung sozialer Wirkungen.
IMV-Lab: Diskussion rund um Wirkungslogiken, Wirkungsmessung und Bedarfe der Community im Rahmen des Jupiter Campus in Hamburg (Foto: Universität Hamburg/Willenbrock)
ISI-Projekt: Zwar existiert eine Vielzahl von Instrumenten zur Wirkungsmessung, diese erweisen sich aufgrund ihrer Komplexität und dem damit verbundenen zeitlichen Aufwand für viele kleinere sozial-innovative Initiativen wenig geeignet. Insofern kann die Forschung unseres Erachtens zwei wesentliche Beiträge leisten: Erstens kann sie durch die Entwicklung von Wirklogiken für Innovationsfelder und deren Verknüpfung mit Indikatoren und den zugrundeliegenden Datenquellen, sozialen Innovator:innen ein leicht anwendbares, auf ihre individuellen Bedürfnisse zugeschnittenes Instrumentarium zur Verfügung stellen.
Zweitens kann die Forschung – und daran arbeiten wir derzeit – eine Art Dashboard entwickeln, das sich Basisindikatoren, die auf alle Sozialen Innovationen anwendbar sind mit innovationsfeldspezifischen Indikatoren kombiniert. So könnte eine „Baseline“ geschaffen werden, die als Ausgangspunkt für die Bewertung der Wirkung der eigenen Initiative herangezogen werden kann.
Der internationale Austausch zur Wirkungsmessung ist ein weiterer zentraler Baustein unserer Forschungsaktivitäten. Dabei reflektieren wir nicht nur unsere eigene Arbeit, sondern können die Erfahrungen und Beispiele guter Praxis aus anderen Ländern auch für das hiesige Ökosystem nutzbar machen. Insofern übernimmt die Forschung immer auch eine „Brückenfunktion“ und bringt so unterschiedliche Communities ins Gespräch.
3. Team Wissenschaft: Was sind aktuelle Ansätze, die in der Forschung diskutiert werden?
IMV-Lab: Die Diskussionen über die Bewertung von Wirkung beruhen auf einer langen Forschungstradition: Ansätze stammen aus dem sozialen Sektor, dies betrifft zum Beispiel das Non-Profit-Management und soziales Unternehmertum. Weitere Ansätze stammen aus der Accounting- und Finance-Literatur, an dieser Stelle insbesondere in der ESG- und Impact Investing-Forschung. Daher ist das Forschungsfeld der Wirkungsmessung stark fragmentiert.
In der konzeptionellen und empirischen Forschungsarbeit werden Ansätze zur Erfassung von nicht-finanzieller Wirkung diskutiert. Oftmals werden auch bestehende Ansätze zur Erfolgsmessung erweitert, um bestimmte Facetten nicht-finanzieller Wirkung ebenfalls abzubilden. Bei den bestehenden Ansätzen zur Wirkungsmessung in der Praxis überwiegt ein Output-Fokus, während die Outcome-Ebene weniger häufig einbezogen wird. Häufig besteht insbesondere bei Ansätzen der Monetarisierung von Wirkung mangelnde Transparenz über die verwendeten Methoden.
Unsere Recherchen deuten ebenso darauf hin, dass quantitative Messansätze überwiegen. Wir unterteilen die quantitativen Messansätze in solche, die in erster Linie Kosten und Nutzen gewichten, solche, die sich auf Score- oder Index-Methoden stützen, und solche, die Output-, Outcome- oder Impact-Indikatoren bewerten, ohne diese zu aggregieren. Auch qualitative Methoden können für Soziale Innovationen vielversprechend sein. Hier zeigen sich Potenziale zur Weiterentwicklung auf, da diese oftmals die Logik hinter sozialer Wirkung gut erfassen. Oft gibt es jedoch nur begrenzt detaillierte Erläuterungen zur methodischen Vorgehensweise.
Innerhalb der Methoden bestehen große Unterschiede hinsichtlich der Messung: die gewählte Methodik, die verwendeten Datenquellen, die Ebenen der Messung und die Formulierung oder Nennung von Indikatoren weisen kaum Einheitlichkeit auf.
Dies hängt auch mit der Komplexität sozialer Wirkung zusammen, mit der oftmals konzeptionelle und methodische Herausforderungen verbunden sind. In einigen Bereichen kann ein Clustering Sozialer Innovationen sinnvoll sein, die beispielsweise Ähnlichkeiten in Wirkungsfeldern und somit potentiell auch in der Erfassung ihrer Wirkung aufweisen. Gleichzeitig ist das Verständnis ihrer spezifischen zugrundeliegenden (Wirkungs)Logiken von essentieller Bedeutung.
ISI-Projekt: Sicher zum einen die Frage, ob es eher für jedes Projekt und jede Intervention eine eigene Wirkungsmessung braucht oder ob es eine Art Standardmodell gibt. Oder, wie wir es im Projekt ISI machen, eben Wirkungsmodelle für bestimmte Innovationsfelder, sprich soziale Innovation, die auf das gleiche Ziel einzahlen. Also zum Beispiel Soziale Innovationen zur Unterstützung von Jugendlichen beim Übergang Schule – Beruf, oder solche die die gemeinsame Nutzung von Ressourcen ermöglichen. Zum anderen ist die Frage, ob Wirkungsmessung vor allem für die Sozialinnovator:innen da ist, um ihre Arbeit besser zu verstehen und zu entwickeln, oder auch für öffentliche und private Finanziers oder politische Entscheidungsträger, die gerne Vergleiche machen möchten, um herauszufinden, was am besten funktioniert.
Ein starker Einfluss geht dabei auch von der ESG-Debatte aus. Hier entwickeln sich Ideen zu „guten“ Methoden und Indikatoren, die aber sehr stark auf Wirtschaftsunternehmen ausgelegt sind. Hier ist zu prüfen, ob und wie diese sich für Soziale Innovation nutzen lassen oder ob sie in diesem Bereich eher abträglich sind. Dabei stellt sich dann immer wieder die Frage, ob und welche quantitativen Indikatoren für die Wirkungsmessung genutzt werden können oder sollen. Inwiefern Ergebnisse „monetarisiert“ werden können oder ob diese auf andere Weise miteinander verrechnet werden sollten, so dass gut zu vergleichende Werte entstehen.
4. Team Wissenschaft: Gibt es (methodische) Herausforderungen bei der Wirkungsmessung Sozialer Innovationen im Vergleich zu technologischen Innovationen?
IMV-Lab: Soziale Innovationen umfassen die systematische Entwicklung und Umsetzung wirkungsvoller Lösungen zur Bewältigung komplexer und systemischer sozialer und ökologischer Herausforderungen. Dies impliziert einen Beitrag zum individuellen Wohlergehen, dem gesellschaftlichen Fortschritt und der Förderung unserer Ökosysteme.
Dabei bestehen unterschiedliche konzeptionelle und methodische Herausforderungen der Wirkungsmessung Sozialer Innovationen. Im Vordergrund stehen hierbei die Vielfältigkeit der Stakeholder, die Operationalisierung und Erfassung sozialer Wertzuweisungen und die Herstellung und transparente Kommunikation der Kausalitätsbeziehung zwischen den Aktivitäten und deren Wirkungen auf Ebene der Zielgruppen, Gesellschaft und Umwelt.
Dabei befinden sich Organisationen, die auf Soziale Innovationen ausgerichtet sind, oft im Konflikt zwischen verschiedenen Bedürfnissen, Interessen und Forderungen der Stakeholder. Dies führt zu einem Dilemma bei der Messung von Wirkungen, bei welcher die Bedürfnisse und Ziele der Fördernden im Vordergrund stehen und die eigentlichen Zielgruppen erst nachgelagert einbezogen werden. In diesem Sinne legen wissenschaftlichen Beiträge nahe, dass der Prozess der Wirkungsmessung selbst eine soziale Wirkung hat, indem dies zur Sichtbarkeit bestimmter Wirkungen, Perspektiven und Stakeholder beiträgt, während andere unsichtbar bleiben.
Dies hat ebenso Auswirkungen auf die Einigung, Identifizierung und Messung sinnvoller sozialer Werte. Dabei stellt sich nicht nur die Frage welchen sozialen Herausforderungen die Initiativen Sozialer Innovationen begegnen sollen, sondern auch die Frage, welche sozialen Wirkungsindikatoren für die jeweilige soziale Herausforderung relevant sind. An dieser Stelle sind ausgiebige Auseinandersetzungen mit den unterschiedlichen Stakeholdern unerlässlich.
Die Messung und der Nachweis der kausalen Beziehungen zwischen den durchgeführten Aktivitäten zur Lösung einer sozialen oder ökologischen Herausforderung und den Ergebnissen dieser Aktivitäten sind komplex – haben die eigenen Aktivitäten tatsächlich zu den Outcomes für die Zielgruppe geführt? Eine klare kausale Beziehung zwischen Outputs und Outcomes erleichtert diese Übersetzung. Die Aufgabe, Kausalität herzustellen, wird für den Impact komplexer, da auf gesellschaftlicher Ebene weitere externe Faktoren jenseits der organisatorischen Kontrolle bestehen oder der Impact gegebenenfalls auch erst über einen längeren Zeitraum entfaltet wird. Diese konzeptionellen Herausforderungen zeigen die Komplexität, die mit dem Konstrukt des Impacts verbunden ist, und unterstreichen die Relevanz weiterer Debatten über dessen Definition.
ISI-Projekt: Eine zentrale Herausforderung stellen die hohen Erwartungen an die Wirkung Sozialer Innovationen dar. Sie sollen soziale, ökologische und ökonomische Ziele ausbalancieren, sich die Ressourcen für ihre sozial-innovativen Aktivitäten auf den Märkten beschaffen, zu Wachstum und Beschäftigung beitragen – auch wenn sie nicht zwingend wachstumsorientiert sind.
Bezogen auf die Wirkungsmessung stellen sich gegenwärtig drei große Herausforderungen:
- Die erste Herausforderung, das sogenannte „Attributionsproblem“, besteht darin, zu ermitteln, zu welchem Anteil die erzielte Wirkung der eigenen Initiative/Intervention zurechenbar ist.
- Obwohl zumeist mit positiven Wirkungen assoziiert, können zum Zweiten Soziale Innovationen auch Verdrängungs- oder andere negative Effekte haben. Diese im Rahmen der Wirkungsmessung zu berücksichtigen, stellt insofern eine Herausforderung dar, als dass es im Rahmen der Wirkungsmessung stets auch danach zu fragen gilt, inwiefern die eigene Lösung/ Intervention zu einer Verlagerung des Problems/der Herausforderung auf andere Bevölkerungsgruppen, in andere Regionen etc. bedingt und ob und in welchem Ausmaß der positiven Wirkung negative Effekte gegenüberstehen.
- Die dritte Herausforderung bildet das zeitliche Auseinanderfallen der Sozialen Innovation/Intervention und der sichtbaren Wirkungen. So kann es sein, dass sich beispielsweise die Effekte sozial-innovativer Lösung im Bereich der frühkindlichen Bildung erst Jahre später in Ausschöpfung von Bildungschancen und gesellschaftlicher Teilhabe niederschlagen.
5. Team Wissenschaft: Wie kooperieren Wissenschaftler:innen und Praktiker:innen in der SI-Wirkungsmessung? Welche Ressourcen sind dafür nötig?
IMV-Lab: Ein wichtiges Instrument der Kooperation zwischen Wissenschaftler:innen und Praktiker:innen ist der Austausch. Sowohl unter Wissenschaftler:innen als auch Praktiker:innen bestehen zahlreiche Einzelprojekte und Verbundvorhaben, welche sich mit diesem Thema auseinandersetzen mit dem Ziel individuelle und allgemein anwendbare Lösungen zu etablieren. Dabei begreifen wir die Förderung des interdisziplinären Austauschs als notwendig, um gemeinsam Ansätze zu entwickeln und zu etablieren.
Im Rahmen unseres Projekts versuchen wir dafür einen Beitrag zu leisten. Unser Praxisleitfaden ist über unsere Website öffentlich zugänglich. Darüber hinaus veranstalten wir oder nehmen wir an Veranstaltungen von Initiativen Sozialer Innovationen teil, um unsere Gedanken und Ansätze vorzustellen, aber auch in den Austausch über praktische Hindernisse und Potentiale zu gehen.
Als förderliche Instrumente für die künftige Zusammenarbeit begreifen wir die strukturellen Förderungen und die Finanzierung von Kooperationen als notwendige Ressourcen. Dabei kann es sich zum Beispiel um Projekte handeln, welche wissenschaftliche und praktische Partner:innen erfordern oder auch die Entwicklung von bundesweiten Plattformen, welche als Leuchtturmprojekte dienen können. Viele Initiativen Sozialer Innovationen bestehen aus kleinen Projekten, welchen es häufig an finanziellen Ressourcen und personellen Kapazitäten fehlt, eigenständig nach wissenschaftlichen und praktischen Partner:innen zu suchen. Etablierte Netzwerke und Plattformen können diese Hürden sinnvoll überwinden.
Vorstellung und Diskussion des IMV-Lab-Praxishandbuchs mit Vertreter:innen aus Praxis, Wissenschaft und Politik beim Bundesministerium für Bildung und Forschung im Dezember 2023 (Foto: Universität Hamburg).
ISI-Projekt: Die Kooperationen zwischen Wissenschaft und Praxis der SI-Wirkungsmessung reichen vom informellen (Erfahrungs-)Austausch über partizipative Formate bei der Entwicklung von Instrumenten bis hin zu „Action Learning Sets“ die auf ein voneinander lernen auf im Rahmen der Bearbeitung realer Problemstellungen in der Praxis abstellen.
In erster Linie braucht es Zeit, aber auch finanzieller Ressourcen, die es ermöglichen Prozesse längerfristig – über einen Dreijahreszeitraum hinausgehend – zu begleiten.
Über das Projekt Impact Measurement and Valuation Lab (IMV-Lab)
Im Rahmen der Nationalen Strategie für Soziale Innovationen und Gemeinwohlorientierte Unternehmen verfolgt das IMV-Lab-Projekt das Ziel, das Thema Wirkungsmessung Sozialer Innovationen systematisch aufzuarbeiten und Ressourcen zur Verfügung zu stellen, um die Wirkungstransparenz bei sozialen Innovationen zu steigern. In den letzten Monaten wurden existierende Messansätze zusammengetragen, strukturiert und mit Expert:innen diskutiert. Die Erkenntnisse wurden in einem Praxishandbuch zusammengefasst, das Grundlage für viele Formate mit der Community sein soll. Was daran neu ist? Viele Ressourcen, die bei Wirkungsmessung unterstützen, zeigen, wie man eine Wirkungslogik erarbeitet. Oft fehlt es aber an konkreter Unterstützung dabei, wie man soziale Wirkung auf Outcome Ebene (beispielsweise Selbstwirksamkeit oder digitale Kompetenz) in eine wissenschaftliche Messung übersetzt. Das Handbuch bietet eine praxisorientierte Zusammenfassung wissenschaftlicher Methoden zur Wirkungsmessung.
Zum Praxishandbuch geht es hier.
Über das Projekt Impact Sozialer Innovationen (ISI)
Das zentrale Ziel des Projektes Impact Sozialer Innovationen (ISI) besteht darin, einen signifikanten theoretischen und empirischen Fortschritt bei der Erfassung der Wirkungen sozialer Innovationen durch die Verknüpfung der beiden Forschungsfelder Soziale Innovation und Wirkungsmessung zu schaffen. ISI entwickelt dazu ein breites konzeptionelles Verständnis Sozialer Innovation und aggregiert Erfahrungen in der sozialen Wirkungsmessung auf Organisationsebene, um ein Instrument zum Wirkungsmonitoring von SI zu entwickeln. Dieses dient als Grundlage für ein dynamisches Panel zur Dauerbeobachtung der Effekte Sozialer Innovationen, welches eine Vielzahl an Akteur:innen, Feldern und Wirkungen einbezieht, diese ex-post und ex-ante betrachten kann und in Zukunft flexibel erweiterbar ist. Dabei werden für die vier Felder Sharing Economy, Innovationen in sozialen Diensten, Digitale Bildung und Blockchain Technologie Wirkungsmodelle entwickelt, in einem dynamischen Modell zusammengeführt sowie ein Erhebungsinstrument entwickelt, das ein möglichst breites Wirkungsspektrum abdeckt.
Hier geht’s zur ersten Projektveröffentlichung.
