Können diese Zahlen lügen?

 

„Aktuelle Umfrage: In Deutschland schwindet die Unterstützung für die Ukraine“

So betitelte der „Tagesspiegel“ am 8. Februar einen Online-Text, versehen mit dem roten Label „Exklusiv“. Wer den Artikel hinter der Paywall genau las, erfuhr allerdings, dass diese „aktuelle Umfrage“ schon einige Monate alt war. Der Gastbeitrag eines Forschers der Münchener Sicherheitskonferenz präsentierte zwar die „jüngsten Umfrageergebnisse des Munich Security Index 2024“, die stammten allerdings aus einer Befragung im Oktober und November 2023.

Neue Meldung aus alter Umfrage

Trotzdem machte die Nachrichtenagentur AFP aus dem „Tagesspiegel“-Text eine aktuelle Meldung und am nächsten Tag berichteten unter anderem t-online („Immer weniger Deutsche wollen Ukraine unterstützen“) und die „Welt“ („Bereitschaft der Deutschen zur Unterstützung der Ukraine sinkt“) darüber. Auch wenn in den Artikeln der Zeitpunkt der Umfrage erwähnt wurde, suggerierten die Überschriften aktuelle Zahlen – eines von vielen Beispielen, wie Redaktionen aus Umfragen Nachrichten stricken, ohne die Ergebnisse akkurat einzuordnen.

Die geneigte Leserin, die die „schwindende Unterstützung für die Ukraine“ zur Kenntnis genommen hatte, erfuhr gute zwei Wochen später ebenfalls im „Tagesspiegel“ allerdings:

„Mehrheit fordert mehr Waffen für Ukraine“

Quelle war diesmal eine Umfrage der Forschungsgruppe Wahlen. Auch „Zeit online“ berichtete am 23. Februar über diese Zahlen und titelte:

„Zustimmung zu Waffenlieferungen an Ukraine gestiegen“

Wieder zwei Wochen später, Anfang März, schrieb selbige „Zeit online“ mit Bezug auf den ARD-Deutschlandtrend dann allerdings:

„Mehrheit der Deutschen lehnt Taurus-Lieferung an die Ukraine ab“

Und noch einmal fünf Wochen später berichtete die „Frankfurter Rundschau“ wiederum über Zahlen des ZDF-Politbarometers:

„Neue Umfrage zeigt deutliche Veränderung: Immer mehr Deutsche wollen stärkere Ukraine-Unterstützung“

Na, was denn nun?

Umfragen sind wie Fast Food

Gut möglich, dass diese Überschriften weniger zur Meinungsbildung als zur allgemeinen Verwirrung beitrugen. Artikel über aktuelle Umfrage-Trends sind das Fast Food der Berichterstattung: Sie sind schnell geschrieben, schnell gelesen und werden oft nicht weiter hinterfragt. Weder von der Leserschaft, bei der oft nur die Überschrift hängen bleibt, noch von den Redaktionen, die für einen klickträchtigen Text schnell ein paar Zahlen aneinanderreihen.

Es ist scheinbar objektiv und unstrittig, über Umfragen zu berichten: Zahlen gelten als Fakten-Felsen im Ozean der Interpretationen, Zweideutigkeiten und Meinungsgräben. Und wenn daneben noch eine schöne Infografik steht, mit Balken oder Tortenstücken oder gar Kurven auf einem Zeitstrahl, dann wirken die Ergebnisse erst recht wie die absolute Wahrheit, an der es nichts zu rütteln gibt.

Hauptsache, repräsentativ?

Journalistinnen und Journalisten lernen früh, was eine gute von einer schlechten Umfrage unterscheidet: „Repräsentativ“ heißt das Zauberwort, auf das zu achten ist. An repräsentativen Befragungen nehmen genug Menschen teil, um aus ihren Antworten allgemeine Schlüsse ziehen zu können. Außerdem decken die Teilnehmenden alle Gruppen der Bevölkerung ab. Natürlich ist es fast unmöglich, dass unter 1.000 Befragten exakt so viele SPD-Anhängerinnen, Senioren und Westdeutsche sind, wie in der gesamtdeutschen Bevölkerung. In der Regel „gewichten“ Umfrageinstitute ihre Ergebnisse deswegen: Wenn zu wenige Frauen mitgemacht haben, zählen die Antworten der einzelnen Frauen eben mehr. So entstehen Umfragen, die als „repräsentativ“ gelten.

Längst versprechen auch die Anbieter von Online-Umfragen, dass sie diesen Standard erfüllen (eine „Richtlinie für Online-Befragungen“ wurde von Branchenverbänden schon im Jahr 2000 beschlossen). Für Redaktionen ist es dadurch sehr viel leichter geworden, an exklusive Schlagzeilen über „die Deutschen“ zu kommen. Während klassische Umfragen per Telefon schnell über 20.000 Euro kosten, ist eine Online-Umfrage schon für unter 2.000 Euro zu haben. Meinungsumfragen in Auftrag zu geben und aus den Ergebnissen Schlagzeilen zu konstruieren, sei inzwischen ein eigener journalistischer Zweig geworden, schrieb Sabine Rennefanz kürzlich beim „Spiegel“: „Man schafft selbst News, ganz exklusiv, ganz ohne großen Aufwand.“

Hinzu kommen die vielen Umfragen, die von Denkfabriken, Stiftungen, Interessensverbänden und Parteien auf den Markt geworfen werden. Um die Spreu vom Weizen zu trennen, enthält der Pressekodex einen eigenen Absatz zum Thema:

„Bei der Veröffentlichung von Umfrageergebnissen teilt die Presse die Zahl der Befragten, den Zeitpunkt der Befragung, den Auftraggeber sowie die Fragestellung mit. Zugleich muss mitgeteilt werden, ob die Ergebnisse repräsentativ sind.“

Auch hier taucht er wieder auf: der Begriff „repräsentativ“, der als Qualitätsmerkmal gilt. Um eine gute von einer schlechten Umfrage zu unterscheiden, reicht er allerdings nicht aus. Dass eine Umfrage repräsentativ sei, könne jeder behaupten, weil der Begriff weder definiert noch geschützt sei, kritisierte der Sozialforscher Rainer Schnell im August in einem „Zeit“-Interview.

Sechs Anbieter im Praxistest

Wo das Problem liegt, zeigte im Januar exemplarisch die Wahlforschungsabteilung der Konrad-Adenauer-Stiftung (KAS). Sie beauftragte sechs Meinungsforschungsinstitute damit, die gleiche Umfrage bei jeweils 1.000 Befragten durchzuführen. Ein Anbieter befragte per Telefon, zwei Anbieter per Online-Panel, drei weitere kombinierten Telefon- und Online-Umfragen miteinander. Die Ergebnisse sollten die Einstellungen der deutschen wahlberechtigten Bevölkerung abbilden. Aber: Bei allen sechs Umfragen kamen unterschiedliche Zahlen heraus. Besonders die reinen Online-Befragungen seien „nicht belastbar“, schlussfolgerte das Team der KAS.

Auf den ersten Blick könnte man meinen, das habe vor allem mit der Art der Befragung zu tun – also damit, dass Menschen in Online-Fragebögen andere Dinge angeben als in Telefoninterviews. Dahinter steckt aber ein anderer Streit, der die Meinungsforschung seit Jahren umtreibt. Um eine aussagekräftige Umfrage zu bekommen, ist es nämlich nicht nur wichtig, dass sich die Befragten so auf verschiedene Gruppen der Bevölkerung verteilen, dass keine Gruppe in den Ergebnissen überrepräsentiert ist. Wichtig ist aus Sicht der Statistik auch, dass die Befragten nicht irgendwie, sondern per Zufall ausgewählt werden, mit einer so genannten „Zufallsstichprobe“. Das heißt: Will man eine Aussage über die deutsche Bevölkerung treffen, muss jeder Deutsche die theoretische Chance haben, in der Umfrage zu Wort zu kommen.

Die Online-Affinen antworteten anders

Bei Online-Panels werden die Menschen meist nicht zufällig ausgewählt. Es melden sich diejenigen, die Lust darauf haben – und damit womöglich einige Bevölkerungsgruppen eher als andere. Der KAS-Test zeigte, dass Menschen, die von sich aus an Online-Befragungen teilnehmen, seltener politische Inhalte im Netz lesen, diese Inhalte aber dafür öfter verbreiten und teilen. Im KAS-Paper fielen die Unterschiede vor allem bei der Anhängerschaft der AfD auf: Online-affine, umfragebereite AfD-Wähler antworteten anders als zufällig ausgewählte AfD-Wähler – die Online-Affinen bewerteten ihre eigene Partei als kompetenter (die Testfrage lautete, welche Partei besonders viel Kompetenz im Bereich Tierschutz hat). Auch in der Wählerschaft von CDU/CSU und Grünen gab es Abweichungen.

Außerdem seien zehn Prozent der Wahlberechtigten online gar nicht zu erreichen, schreibt das Forscherteam der KAS, und das betreffe vor allem ältere Menschen. Ein Fünftel der Gesamtbevölkerung ist dem Forschungsteam zufolge laut Mikrozensus über 70 Jahre alt, es handelt sich also um eine relevante Gruppe. Wenn nun aber bei einer Online-Umfrage proportional viel weniger Über-70-Jährige teilnehmen und deren Antworten entsprechend hoch gewichtet werden, schleicht sich ein Fehler ein: Denn die älteren Menschen, die online sind und bei Umfragen mitmachen, haben womöglich systematisch andere Einstellungen als Offline-Senioren. Das verzerrt das Ergebnis.

Das besondere Modell von Civey

Aus Sicht der Forschenden gibt es deswegen einen Goldstandard bei Umfragen: Um eine echte Zufallsstichprobe zu bekommen, müssten zufällig generierte Festnetz- und Handynummern kontaktiert werden – die klassische Telefonbefragung. Die Kritik der KAS-Forscher richtet sich deswegen vor allem gegen die Institute, die reine Online-Umfragen anbieten. Zu den Bekannteren gehören zum Beispiel YouGov, Insa und Ipsos.

Im Zentrum der Debatte steht aber meist ein Anbieter: das Berliner Unternehmen Civey. Es trat 2015 als Start-up an und machte Meinungsforschung ohne Zufallsstichprobe zum Geschäftsmodell. Civey arbeitet mit Medienpartnern, die auf ihren Nachrichtenseiten aktuelle Umfragen einbetten und zur Teilnahme einladen. Civey gewinnt so Teilnehmende für sein Umfragepanel, die Medien profitieren im Gegenzug von Umfragedaten in Echtzeit – ein Vorgehen, das für viel Kritik sorgte, auch wenn Civey stets versicherte, dass die Umfragen gegen Missbrauch abgesichert seien. Eine spontane Antwort, die jemand beim Lesen eines Textes zum gleichen Thema anklicke, fließe gar nicht in das Umfrage-Ergebnis ein.

Heute sind Civey-Umfragen in der Berichterstattung angekommen. Zu den Medienpartnern gehören t-online, die „Wirtschaftswoche“ und ProSiebenSat.1, bis Anfang des Jahres kooperierte auch der „Spiegel“ mit Civey.  Auf die Kritik an seinen Methoden angesprochen verweist das Unternehmen darauf, dass es für seine Umfragen auf mehr als eine Million verifizierte und monatlich aktive Teilnehmende zugreifen könne. Bei Wahlen habe Civey die Ergebnisse in den vergangenen Jahren oft treffend vorhergesagt. Generell seien in Europa Online-Umfragen inzwischen die vorherrschende Methode.

„Alle stichprobenbasierenden Erhebungsverfahren haben ihre eigenen Schwächen“, betont Civey-Mitgründer Oliver Serfling, Ökonomieprofessor an der Hochschule Rhein-Waal und „Chief Scientific Advisor“ des Unternehmens. Die idealtypische Zufallsstichprobe existiere nur in Statistiklehrbüchern.

Aus seiner Sicht haben auch die Telefonbefragungen, die das KAS-Team als beste Lösung ansieht, große Nachteile: Nur 85 Prozent der deutschen Haushalte hätten ein Festnetztelefon, aber 95 Prozent Internet. Außerdem würden Telefoninterviews, egal ob per Festnetz oder Mobiltelefon, oft verweigert oder vorzeitig abgebrochen und die Interaktion zwischen Interviewenden und Befragten könnte das Ergebnis verzerren.

34 Millionen Deutsche bei Demos?

Online-Umfragen werfen allerdings immer wieder Fragen auf. „Mehrheit der Deutschen hat Verständnis für Bauernproteste“, war im Januar zum Beispiel beim „Spiegel“ über eine Civey-Umfrage zu lesen. Im Artikel hieß es: „40 Prozent der Deutschen haben der Civey-Umfrage zufolge vor, in den nächsten Wochen an einer Demonstration gegen die aktuelle Politik der Bundesregierung teilzunehmen.“ Das Ergebnis scheint wenig plausibel: Wenn mit „den Deutschen“ die deutsche Bevölkerung gemeint ist, hätten knapp 34 Millionen Menschen vorgehabt, gegen die „Ampel“ protestieren zu gehen.

Civey-Geschäftsführerin Janina Mütze verweist auf Anfrage auf ähnliche Ergebnisse bei anderen Umfragen und in der Forschung, zum Beispiel auf eine Insa-Studie für die „Bild“-Zeitung vom Januar, derzufolge 45 Prozent der Deutschen sich vorstellen können, gegen die Ampel-Regierung auf die Straße zu gehen. Auch einer Studie des Wissenschaftszentrum Berlin für Sozialforschung (WZB) zufolge habe sich 2022 jeder Vierte vorstellen können, an einer Demonstration gegen gestiegene Energie- und Lebenshaltungskosten teilzunehmen. Sich etwas vorstellen können und eine Demo-Teilnahme zu planen, sind allerdings zwei unterschiedliche Dinge.

Das weist auf ein weiteres Problem hin, nämlich dem, was Redaktionen aus Umfragen machen. Mütze verweist darauf, dass laut der Civey-Umfrage 13 Prozent auf die Frage, ob sie sich an einer Demonstration beteiligen wollten, mit „eher ja“ geantwortet hätten – gezählt wurden in sie der „Spiegel“-Berichterstattung zu den 40 Prozent Protestwilligen. Civey betreue Redaktionen auch in der Frage, „was man aus den Daten herauslesen kann und was nicht“, heißt es von der Civey-Chefin.

Forschungsgruppe Wahlen verschickt Umfrage-SMS

Die kritische Berichterstattung hat Civey viel Aufmerksamkeit verschafft, bis hin zu einer Beschwerde beim Presserat von konkurrierenden Meinungsforschungsinstituten (die keinen Erfolg hatte). Vor allem von der „Frankfurter Allgemeinen Zeitung“ sieht sich Civey so unfair behandelt, dass es deren Berichterstattung auf einer eigenen Seite mit dem Titel „What the FAZ?“ kritisch kommentiert. Zuletzt wurde über das Unternehmen auch berichtet, weil es seine Eigentümerstrukturen neu aufstellt (auch das sah die FAZ sehr kritisch*, die „Wirtschaftswoche“ – die mit Civey kooperiert – hingegen positiver).

Das KAS-Paper kommt durchaus zu dem Schluss, dass in Zukunft aussagekräftige Online-Befragungen möglich sein werden, und zwar dann, wenn die gesamte Bevölkerung das Internet nutze. Aber auch dann müssten die Umfrageteilnehmenden nicht über Werbefenster auf Nachrichtenseiten rekrutiert, sondern zufällig ausgewählt werden, fordern die Autoren. So ähnlich macht es schon jetzt die Forschungsgruppe Wahlen, die die politischen Umfragen für das ZDF erstellt: Sie befragt zwar weiterhin zufällig ausgewählte Menschen per Telefon. Parallel verschickt sie aber auch Links zu Online-Fragebögen per SMS an zufällig generierte Handynummern – und hofft so, alle zu erreichen.

CNN-Team arbeitet mit Melderegister

In einer idealen Welt würden repräsentative Umfragen in den Medien genauso hohen Standards genügen wie repräsentative Studien in der Wissenschaft: Das Leibniz-Institut für Sozialwissenschaften beispielsweise betreibt ein Umfrage-Panel, bei dem die Teilnehmenden zufällig aus dem Einwohnermelderegister ausgewählt wurden und die Fragen wahlweise online oder offline beantworten können.

Ganz ähnlich macht es der US-Nachrichtensender CNN. Dort arbeitet ein spezialisiertes Team, das eigene Umfragen durchführt und die Teilnehmenden dafür ebenfalls per Melderegister rekrutiert. In Deutschland haben die wenigsten Medienhäuser vergleichbare Ressourcen. „Die Medien und das Publikum wollen schnelle und billige Daten“, sagte der Sozialforscher Schnell in dem „Zeit“-Interview. „Meine Kollegen und ich sagen seit Jahrzehnten, dass es die seriös nicht in dieser Geschwindigkeit und zu diesen Preisen gibt.“

Meinungsbildung ja, Nonsens-Überschriften nein

Stattdessen werden aus Umfragedaten weiter Nonsens-Überschriften gestrickt. „Deutsche fürchten mehr Drogen-Opfer“, titelte „Bild“ Ende März. Der Text basiert auf einer Insa-Umfrage, derzufolge 55,5 Prozent der Befragten durch „das neue Kiffer-Gesetz“ mittelfristig mit einem Anstieg der Drogenabhängigen rechnen, 33,6 Prozent hingegen nicht. Die Berichterstattung ist somit doppelt problematisch: Zum einen suggeriert die Nachkommastelle eine Genauigkeit, die Umfragen gar nicht leisten können, zum anderen ist fraglich, ob eine Zustimmung von 55 Prozent wirklich für „die Deutschen“ steht.

Umfragen und die Berichterstattung darüber sind an sich nichts Schlechtes, gerade in einer Demokratie.  Im besten Fall messen Medien der Bevölkerung den Puls zu aktuellen Themen, tragen so zur Meinungsbildung bei und liefern eine Grundlage für politische Entscheidungen. Umso wichtiger ist, dass die Berichterstattung genau ist. Dafür kommen auch Journalisten, die gerne damit kokettieren, nie gut in Mathe gewesen zu sein, um statistisches Grundwissen nicht herum.

Andererseits kennen auch wir Mediennutzenden den Impuls, mit einer schnell ergoogelten Umfrage die eigene Position zu untermauern. Wie schön wäre am Ende dieses Textes eine Umfrage, dass „die Deutschen“ Umfragen oft missverstehen. Ließ sich auf die Schnelle nicht finden, könnten wir jetzt beauftragen. Naja, besser nicht.

* Korrekturhinweis: Ursprünglich hatten wir geschrieben, dass die FAZ mit dem Civey-Konkurrenten Forsa zusammenarbeitet. Das ist nicht richtig. Wir haben den entsprechenden Halbsatz aus dem Text entfernt.