Von Jürgen Fritz, Titelbild:Pixabay, CC0 Creative Commons

Umfrageinstitute genießen keinen sehr guten Ruf. Zu Recht oder zu Unrecht? Wahl-O-Matrix, Deutschlands führendes Meta-Analyse-Tool, gegründet von Jürgen Fritz, hat untersucht, wie sehr stark die einzelnen Umfragen dieses Mal vom Wahlergebnis abwichen. Wer bietet die beste Orientierung und wessen Umfragen sind eher mit Vorsicht zu genießen?

Umfrage nicht gleich Prognose, aber die Abweichung sollte nicht zu groß sein

Bei der Trump-Wahl und auch bei der Brexit-Abstimmung lagen die Demoskopen deutlich daneben, hört man immer wieder. Auf die Umfragen sei überhaupt kein Verlass. Diese seien sehr stark von politischen Interessen geprägt. Wer eine Umfrage in Auftrag gebe und bezahle, der möchte auch entsprechende Ergebnisse sehen.

Die Meinungen über die Meinungsforschungsinstitute sind nicht die besten. Teilweise zu Recht, teilweise aber auch zu Unrecht. Das von mir gegründete Meta-Analyse-Tool Wahl-O-Matrix untersucht regelmäßig, wie glaubwürdig und treffsicher Umfragen sind.

Wichtige Unterscheidung hierbei: eine Umfrage ist keine Prognose. Letztere ist eine Vermutung über die Zukunft während ein Umfrageergebnis einen Ist-Zustand zum Zeitpunkt der Befragung festhält. Gleichwohl sollte natürlich ein Zusammenhang erkennbar sein zwischen einer Befragung zum Zeitpunkt X und dem entsprechenden Wahlergebnis wenige Tage später. Klaffen diese zwei Dinge mehrfach sehr weit auseinander, so stellt sich die Frage nach der Zuverlässigkeit der Erhebung. Daher ist es sinnvoll die Abweichung zwischen der jeweils letzten Umfrage der verschiedenen Institute mit dem Wahlergebnis abzugleichen und die Differenzen zu berechnen.

Wahl-O-Matrix nimmt die Umfrageergebnisse unter die Lupe

Genau das hat Wahl-O-Matrix getan, sodann alle Abweichungen aufsummiert und dann durch sieben geteilt, weil es sieben relevante Werte waren, nämlich die Stimmanteile von: 1. CDU/CSU, 2. SPD, 3. AfD, 4. FDP, 5. LINKE, 6. GRÜNE und 7. sonstige Parteien. Auf diese Weise erhält man die mittlere absolute Abweichung, die im Idealfall unter ein Prozent liegt, auf jeden Fall aber unter zwei Prozent liegen sollte. Wer also sieben Mal um nur einen Prozentpunkt daneben liegt, hat eine mittlere Abweichung von 1,0.

Unter ein Prozent schaffte dieses Mal niemand, aber es lag auch niemand über zwei Prozent Abweichung mit einer Ausnahme: das Spezialmodell von YouGov. Zweimal konnte die 1,1 % unterschritten werden, was ein sehr gutes Ergebnis darstellt, nämlich von INSA, dem Meinungsforschungsinstitut, welches hauptsächlich für die BILD tätig ist, und von Wahl-Matrix, welches wie schon bei NRW-Wahl eine sehr gute Wahlprognose abgab.

Recht gut waren erneut die Wahlbörsen PESM und Prognosys-Master-Vote mit mittleren Abweichungen von 1,1 bis 1,2. Gute Werte sehen wir auch bei den beiden Umfrageinstituten von Forschungsgruppe Wahlen (ZDF) und Infratest dimap (ARD), die ebenfalls noch unter 1,2 % liegen.

Emnid (Bild am Sonntag) lag mit 1,24 % noch besser als der Durchschnitt aller Umfragen mit 1,35 %. Alle anderen Institute waren schlechter, wobei Forsa zumindest noch unter 1,5 % mittlere Abweichung lag. Die restlichen Institute erzielten keine sonderlich guten Ergebnisse mehr. Regelmäßig wurde die CDU/CSU deutlich höher angegeben als es dann bei der Wahl der Fall war, während die AfD bei allen außer bei INSA in den Umfragen und Prognosen niedrigere Werte aufwies als sie dann de facto erhielt.

Etwas aus der Reihe fällt Science files mit seiner Wahlprognose, welches die AfD als einzige viel zu hoch ansetzte mit 15,5 statt 12,6 Prozent, die SPD und die Grünen aber deutlich zu niedrig. Die Linkspartei dann aber wieder um einiges zu hoch, so dass das Gesamtergebnis mit 1,63 % das zweitschlechteste war. Nur YouGov war mit seinem „normalen“ Modell über 1,8 % noch schlechter und mit seinem „Spezialmodell“ nochmals deutlich ungenauer. Hier das Ganze im Überblick:

Mittlere absolute Abweichung

1. INSA (BILD): 1,05 %
2. Wahl-O-Matrix (Jürgen Fritz Blog): 1,09 %
3. PESM-Wahlbörse: 1,12 %
4. Prognosys-Master-Vote-Wahlbörse: 1,15 %
5. Forschungsgruppe Wahlen (ZDF): 1,16 %
6. Infratest dimap (ARD): 1,17 %
7. Emnid (Bild am Sonntag): 1,24 %
8. Dawum-Durchschnittsbildung von zehn Umfragen: 1,35 %
9. Forsa (RTL/stern): 1,38 %
10. Trend Research Hamburg: 1,52 %
11. Allensbach (FAZ): 1,52 %
12. Civey (Spiegel-Online, TAZ): 1,52 %
13. pollytix-Wahltrend (Durchschnittsbildung von über 20 Umfragen) : 1,53 %
14. GMS: 1,59 %
15. Science Files-Prognose: 1,63 %
16. YouGov: 1,81 %
17. YouGov-Spezial: 2,38 %

Fazit

Zum Einen lässt sich feststellen: Die Umfrageinstitute sind besser als ihr Ruf. Abgesehen von dem neuen YouGov-Modell mit seinen katastrophalen Ergebnis von fast 2,4 % Abweichung im Schnitt pro Partei, hatte niemand mehr als zwei Prozent mittlere Abweichung.

Zum Anderen kann konstatiert werden, dass Wahl-O-Matrix erneut ein sehr gutes Ergebnis erzielte, erneut alle anderen Prognosen, die beiden Wettbörsen und alle Umfrageinstitute schlug bis auf eines: INSA. Der INSA-Meinungstrend wird daher auch zukünftig mit voller Gewichtung in Wahl-O-Matrix eingehen, ebenso wie Forschungsgruppe Wahlen und Infratest dimap, während insbesondere Trend Research Hamburg, Allensbach, Civey, GMS und YouGov weiterhin nur mit 0,5 gewichtet werden. YouGov-Spezial bleibt weiterhin völlig außen vor.

*

Aktive Unterstützung: Jürgen Fritz Blog ist vollkommen unabhängig, werbe- und kostenfrei (keine Bezahlschranke). Es kostet allerdings Geld, Zeit und viel Arbeit, Artikel auf diesem Niveau regelmäßig und dauerhaft anbieten zu können. Wenn Sie meine Arbeit entsprechend würdigen wollen, so können Sie dies tun per klassischer Überweisung auf:

Jürgen Fritz, IBAN: DE44 5001 0060 0170 9226 04, BIC: PBNKDEFF, Verwendungszweck: Jürgen Fritz Blog. Oder über PayPal – 5 EUR – 10 EUR – 20 EUR – 30 EUR – 50 EUR – 100 EUR