Warum wir ein Monitoring brauchen, um klimaneutral zu werden
Selbst die beste Planung reduziert keine Emissionen, wenn die Planung nicht umgesetzt wird, und auch bei einer noch so guten Umsetzung wird es immer nötig sein, nachzusteuern. Daher ist ein Monitoring des Fortschritts unumgänglich. Ein gutes Monitoring bietet eine ehrliche Bewertung des aktuellen Status und ist gleichzeitig Motivation.
Die Kennzahlen bzw. KPI[1] des Monitorings dienen dann im Rahmen der jeweiligen Umsetzungsprojekte selber sowie auf der Ebene der Programmsteuerung [2] dazu, die laufenden Projekte zu optimieren, sie ggf. zu vergrößern und verbreitern, wenn sie gut laufen, sie einzustellen, wenn sie nicht effektiv sind und aus dem einen Projekt für die anderen zu lernen.
Was wollen wir monitoren?
Ein Monitoring kann und sollte auf jeder Stufe der „Wirkungstreppe“ erfolgen, um nachvollziehen zu können, dass wir die angestrebte Wirkung wirklich erzielen und wo wir ggf. nachsteuern müssen, um dies in noch höherem Maße zu tun. (Erläuterung der verschiedenen Stufen der Wirkungstreppe s. Maßnahmenentwicklung.)
Als Beispiel soll eine Seminar-Reihe zu Balkon-Solar-Anlagen dienen. Die Vor-Analyse könnte gezeigt haben, dass es ein großes Interesse an diesen Anlagen gibt, aber die Interessent:innen zögern, weil sie sich die Installation technisch nicht zutrauen und sie noch Fragen zur Speicherung oder Einspeisung überschüssigen Stroms haben, weil sie Probleme mit ihren Vermieter:innen befürchten und sie verunsichert sind bzgl. der rechtlichen Rahmenbedingungen (z.B. Anmeldung). Schließlich möchte man auch wissen, wie viel so ein Kraftwerk kostet, wie viel Strom man damit erzeugen kann und wie schnell es sich lohnt. Daher wäre es sinnvoll, über etwaige Fördermöglichkeiten zu informieren. Um die Informationslücken zu schließen, sollen nun Informationsveranstaltungen bzw. Seminare angeboten werden.
Beispielhafte Kennzahlen für das Monitoring der fiktiven Maßnahme „Seminare für PV-Balkonkraftwerke“ sind in der folgenden Tabelle dargestellt:
| Stufe | Mögliche Kennzahlen/KPI |
|---|---|
| Input |
|
| Aktivität*) |
|
| Output |
|
| Wirkung |
|
Tabelle 1: Beispiele für Kennzahlen auf den verschiedenen Wirkungsebenen
*) Lokalteams empfehlen wir das LocalZero—Maßnahmenmonitoring, um mit leistbarem Aufwand die Aktivitäten der Kommunen zu verfolgen.
Idealerweise werden diese Kennzahlen schon bei der Definition der Maßnahmen mit definiert und das Monitoring als eigene Maßnahme konkret geplant.
Wie machen wir das konkret?
Manche Variablen, die wir zur Bewertung unserer Maßnahmen monitoren wollen, lassen sich nicht direkt und eindeutig beobachten (z.B. die Zufriedenheit unserer Teilnehmer:innen oder die erzeugte Menge grünen Stroms in Balkonraftwerken). Wir müssen diese Variablen also noch möglichst eindeutig messerbar machen, sie „operationalisieren“.
Ein aussagekräftiges Monitoring setzt voraus, dass die verwendeten Kennzahlen bzw. ihre Operationalisierung und Messung einigen Anforderungen genügt:
- Objektivität[3]
Die Messung soll unabhängig von der Person sein, die sie durchführt - Reliabilität[4]
Die Messung soll zuverlässig sein, d.h. stabil ggü. allen möglichen zufälligen Einflussfaktoren wie Tageszeit, Wetter, etc. Bei einer wiederholten Messung innerhalb eines definierten Zeitraums oder einer Messung durch eine andere Person sollte das Ergebnis möglichst gleichbleiben. - Validität[5]
Die Kennzahl soll auch das messen, was sie zu messen vorgibt. Z.B. ist eine simple Frage nach der Bewertung des Seminars in Schulnoten keine valide Messung für das Ziel der Wissensvermittlung; eine spezifische Frage, die genau auf bestimmte zu vermittelnde Inhalte abzielt, wäre valider. Ohne Objektivität und Reliabilität ist übrigens auch keine valide Messung möglich. - Aktualität
Die Messung muss so erfolgen, dass die Kennzahlen hinreichend aktuell sind, für die Steuerung des Projekts bzw. Programms. - Angemessener Aufwand der Messung
Am Flipchart fallen einem schnell viele interessante Kennzahlen ein. Der Aufwand, diese regelmäßig zu erheben, zusammenzustellen und zu diskutieren, sollte jedoch nicht unterschätzt werden. Wir empfehlen, sich für das Monitoring auf wenige, möglichst aussagekräftige, aber auch möglichst unaufwändig zu erhebende Kennzahlen zu beschränken. - Vergleichbarkeit
Wir empfehlen, sich an bereits etablierten Kennzahlen zu orientieren, wo diese existieren. Oft kann man für das eigene Monitoring auf Sekundärdaten oder für die Erhebung auf Standardfragebögen zurückgreifen. Insbesondere, für die Wirkungsmessung (s.u.) ist es zudem notwendig, dass unsere eigene Messung mit anderen Messungen vergleichbar ist, was Operationalisierung, Einheit, Periodenbezug (pro Monat, Jahr etc.) und Bezugsgröße (pro Kopf, pro Haushalt, pro Betrieb etc.) angeht.
Die folgende Tabelle gibt ein Beispiel für die Operationalisierung (Messbarmachung) einiger KPI:
| Stufe | Mögliche Kennzahlen/KPI | Mögliche Operationalisierung/ Messung |
|---|---|---|
| Input | Geleistete Arbeitsstunden Ist vs. Plan | z.B. in Zeiterfassung auf das Projekt gebuchte Stunden |
| Aktivität | Wurde die Maßnahme durchgeführt? | z.B. Zwischen- oder Abschlussbericht liegt vor |
| Output | Wie viele Teilnehmer:innen wurden erreicht? | z.B. Anzahl Unterschriften in Teilnehmer:innen-Listen |
| Wirkung | Haben die Teilnehmer:innen die Intention entwickelt oder gestärkt, sich eine Balkonsolaranlage zuzulegen? | z.B. standardisierte (Vor- und)-Nach-Befragung der Teilnehmer:innen mit geeigneter Frage in Fragebogen |
Tabelle 2: Beispielhafte Operationalisierung von KPI für alle Wirkungsstufen
Oft ist die Qualität verfügbarer Daten nicht ausreichend, um unserer Monitoring- oder Evaluations-Bedarfe optimal zu unterstützen. Dann sollte ein Projekt zur Verbesserung der Datenqualität angestoßen werden.
Zwei wichtige Hinweise für die Wirkungsmessung
1. Additionalität – Was wäre ohne unsere Maßnahmen passiert?
Die Wirkung, die wir einer Maßnahme zuschreiben können, ist immer nur das, was nicht ohnehin passiert wäre. Das mag einleuchtend oder selbstverständlich klingen, gerät aber gerne in Vergessenheit. Mögliche Gründe dafür sind, dass es etwas mühsam sein kann, abzuschätzen, was ohne unsere Maßnahme passiert wäre, dass diese Schätzung mit Unsicherheiten behaftet ist – und dass es unsere Leistung zu schmälern scheint, wenn wir anerkennen, dass wir uns nur einen Teil der Entwicklung zugute schreiben können. Trotzdem: wir müssen auch zu uns selbst ehrlich sein, wenn wir unsere Zeit und unser Geld möglichst wirksam einsetzen wollen.
Wie können wir den Effekt anderer Entwicklungen herausrechnen?
Anhaltspunkte, was ohne unsere Maßnahme passiert wäre, ergeben sich v.a. aus dem Vergleich mit Entwicklungen auf einer höheren Aggregationsebene oder anderen (vergleichbaren) Kommunen (z.B. Entwicklung der Installationen von Balkonsolarkraftwerken in ganz Deutschland oder in der Nachbarkommune). Wenn die Zahlen in unserer Kommunen seit der Durchführung unserer Seminare stärker gestiegen sind als im Bundesdurchschnitt oder in der Nachbarkommune, können wir uns mit einer gewissen Vorsicht die Differenz der Steigerungsrate auf unser Konto schreiben (zumindest, wenn wir keine anderen ähnlich plausiblen Gründe dafür kennen).
Eine andere Möglichkeit ist der Vergleich mit den Entwicklung in der eigenen Kommune vor und nach der Durchführung der Maßnahme.
Klar ist, verschiedene Maßnahmen beeinflussen sich wechselseitig und viele Variablen kennen bzw. kontrollieren wir nicht (z.B. die politische Diskussion, die Energiepreise, das Wetter etc.).
Für eine vertiefende Analyse der Wirkung unserer Maßnahmen können wir – ggf. in Zusammenarbeit mit anderen Kommunen und externe wissenschaftlichen Institutionen – eine regelmäßige Evaluation durchführen.
Für die Steuerung im Tagesgeschäft hingegen sollte das weniger aufwändige Monitoring genügen.
2. Wie decken wir Rebound-Effekte auf?
Der zweite wichtige Punkt, den wir im Auge behalten müssen, sind die sog. „Rebound-Effekte“. Das Umweltbundesamt definiert diese so:[6]
Effizienzsteigerungen senken oft die Kosten für Produkte oder Dienstleistungen. Dies kann dazu führen, dass sich das Verhalten der Nutzerinnen und Nutzer ändert: Sie verbrauchen mehr – die ursprünglichen Einsparungen werden teilweise wieder aufgehoben. Dieser Effekt wird Rebound genannt.
In unserem Beispiel könnte die Einsparung bei den Stromkosten durch eigene Solar-Anlagen dazu führen, dass mehr Strom verbraucht wird[7]. Das UBA gibt folgende Größenordnungen für Rebound-Effekte an:[8]
- Raumwärmenutzung: 10-30%
- Verkehr: bis ca. 20 %
- Beleuchtung: bis zu 20 %
Für unser Monitoring (und erst recht für eine Evaluation) bedeutet dies, dass wir unser Kennzahlenset so anlegen müssen, dass wir Rebound-Effekte aufdecken können. Im konkreten Beispiel hieße das, dass wir nicht nur auf die erzeugten kWh Solarstrom schauen, sondern auch den Gesamtverbrauch im Auge behalten müssten.
Kennzahlen für Effektivität und Effizienz
Wir können zwei Arten von Kennzahlen unterscheiden, die beide wichtig sind und uns bei der Steuerung unserer Projekte und unseres Programms unterstützen, nämlich Kennzahlen für Effektivität und Kennzahlen für Effizienz.
Effektivität meint das Maß, in dem wir unsere Ziele erreichen bzw. die geplanten Ergebnisse erzielen, während Effizienz beschreibt, wie viel Ergebnis wir für die eingesetzten Mittel erreichen.[9]
Bei der Effektivität geht es also um unsere Outputs und Outcomes und damit um Wirkungskennzahlen. Diese werden typischerweise in absoluten Zahlen ausgedrückt (z.B. Anzahl Seminar-Teilnehmer:innen oder erzeugte kWh.)
Effizienz bemisst sich immer in Effekt pro eingesetzter Ressourcenmenge, also als Quotient, z.B.
- Anzahl Seminarteilnehmer:innen/Stunde Arbeitseinsatz
- Oder: kWh/€
Während Effektivitätskennzahlen uns also darüber Auskunft geben, inwieweit wir unsere Ziele erreichen, sagen uns die Effizienzkennzahlen z.B. im Vergleich verschiedener Maßnahmen, welche die beste ist, oder wo wir unsere Maßnahmen noch verbessern müssen, um nicht an einem Mittelengpass zu scheitern.
Endnoten
[1] Key Performance Indicators=Kennzahlen zur Messung von Input, Prozessqualität, Output, Ergebnis und Wirkung.
[2] „Programm“ wird hier im Sinne des Projektmanagements verwendet und bezeichnet eine Anzahl von Projekten mit gemeinsamem Ziel, in diesem Fall dem Ziel der Klimaneutralität, s. z.B. projektmagazin.de
[3] S. z.B. wirtschaftslexikon.gabler.de
[4] S. z.B. wirtschaftslexikon.gabler.de
[5] S. z.B. wirtschaftslexikon.gabler.de
[7] Es ist auch möglich, dass die Einsparungen für andere, aber ebenfalls klimaschädliche, Dinge verwendet werden. Solche indirekten Rebound-Effekte können mit dem Monitoring kaum aufgedeckt werden und sollten daher Gegenstand einer Evaluation sein.
[9] S. z.B. https://www.olev.de/e/effekt.htm