Der Autor
Stefan Niggemeier ist Gründer von Übermedien und „BILDblog“. Seit vielen Jahren Autor, Blogger und freier Medienkritiker, früher unter anderem bei der FAS und beim „Spiegel“.
Umfrage unter „Bild“-TV-Teilnehmern belegt: Keiner versteht was von Umfragen
Mein Tiktok-Algorithmus ist ganz gut trainiert darauf, mir zuverlässig niedliche oder lustige Videos anzuzeigen. Neulich aber spülte er mir stattdessen Nena Brockhaus, geborene Schink, in die Timeline: Es war ein Ausschnitt aus der „Bild-TV“-Sendung „Viertel nach acht“, die sie moderiert. Sie zeigte sich darin fassungslos über die Ergebnisse des aktuellen ZDF-„Politbarometers“: Außenministerin Annalena Baerbock ist demnach gerade die beliebteste Politikerin, gefolgt von Robert Habeck, Olaf Scholz und Karl Lauterbach.
„Also, wenn es nach der ZDF-Umfrage geht, dann leben wir alle im grün-roten Freudenrausch“, staunte sie – „für mich unglaublich“! Sahra Wagenknecht, Friedrich Merz, Markus Söder, Christian Lindner und noch weitere seien dagegen alle negativ bewertet worden!
Der Mensch, der den Ausschnitt auf Tiktok gepostet hat, schrieb über das Video: „ich schmeiß mich weg“ mit einem Tränenlachsmiley, und darunter: „da sieht man, das die Öffentlich-rechtlichen von der Regierung gelenkt wird“.
Da sieht man, wie „Bild“ wirkt.
Das Segment aus der „Viertel nach acht“-Sendung ist ein ganz gutes Beispiel dafür, wie man Leute aktiv verdummen und agitieren kann. Die Show wirbt für sich mit dem Slogan „Fünf Köpfe, fünf Meinungen“, aber wie so oft waren sich alle am Tisch einig: Diese Umfrage ist ja wohl Quatsch.
Der NZZ-Journalist Alexander Kissler wusste zu berichten, dass die Forschungsgruppe Wahlen, die die Umfragen für das ZDF macht, ohnehin einen schlechten „Track Record“ habe und sich „für die Grünen ins Zeug legt“: „Die haben vor der letzten Bundestagswahl die Grünen am allerallerbesten eingeschätzt mit über 16 Prozent.“ Tatsächlich kamen die Grünen auf 14,8 Prozent. Allerdings hatte die Konkurrenz von Forsa sie noch allerallerbesserer eingeschätzt: mit 17 Prozent.
Einig war sich die Runde aus Experten auch, dass schon die Methodik der Umfrage völlig abwegig sei, weil man aus dem, was rund 1000 Leute gesagt haben, ja nicht darauf schließen könne, was 60 Millionen Wahlberechtigte denken.
Brockhaus: „Die haben 1310 Leute befragt. Das ist ja sehr wenig, weil, daraus entstanden die Headlines: ‚Umfrage: Baerbock! Erstmals beliebteste Politikerin‘, und die waren dann überall. (…) Ist das denn richtig, aufgrund einer Befragung von 1310 Leuten eigentlich den Bürgern in den Artikeln zu suggerieren: Das ist die beliebteste Politikerin des Landes?
Kissler: „Wie sind die ausgewählt worden?“
Brockhaus: „Zufällig!“
Kissler: „Okay, dann sind sie erstmal nicht repräsentativ. Dann würd ich das schon mal denen ankreiden.“
Waaaaa! In einem kleinen Dialog einfach mal alle Grundlagen der Meinungsforschung vom Tisch wischen und die eigene Ahnungslosigkeit den anderen als Fehler vorwerfen!
Okay, ich versuche es, ganz einfach zu erklären: Das Prinzip solcher Umfragen ist, dass man herausfinden möchte, wie eine große Gruppe denkt. (Hier: die wahlberechtigten Bürger.) Weil man die nicht alle fragen kann, nimmt man eine Stichprobe. Wenn diese Stichprobe groß genug ist und wenn sie wirklich zufällig ist, also nicht systematisch zugunsten bestimmter Untergruppen verzerrt, kann man davon ausgehen, dass die Antworten der Stichprobe mit einer gewissen Wahrscheinlichkeit so ähnlich ausfallen wie die der Gesamtgruppe. Sie ist dann repräsentativ.
Man kann berechnen, wie groß eine Stichprobe je nach Größe der Gesamtgruppe sein muss, wenn man mit einer bestimmten Wahrscheinlichkeit nur eine bestimmte Fehlerabweichung in Kauf nehmen will. Hier gibt es einen praktischen Rechner.
Bei einer Fehlerspanne von drei Prozent und 60 Millionen Wahlberechtigten ergibt sich eine nötige Stichprobengröße von gut 1000, was deshalb auch regelmäßig die Zahl der Befragten bei solchen Wahlumfragen ist.
(Hier beschreibt die Forschungsgruppe selbst ihr Vorgehen.)
Es ist erstaunlich angesichts der Allgegenwart von Meinungsumfragen in Medien, dass dieses Verfahren niemandem am „Bild TV“-Tisch vertraut war. Bernd Siggelkow, Gründer der „Arche“, sagte: „Ich glaube nicht, dass diese Umfrage repräsentativ ist, vor allem nicht weil es 1000 Menschen sind bei 82 Millionen Bürgern.“
Bernd Raffelhüschen, ein Wirtschaftswissenschaftler und Hochschullehrer, sagte: „Wenn Sie eine nicht-repräsentative Umfrage machen mit 1000 Leuten und daraus die beliebtesten Politiker machen, würde ich sagen: ‚Statistik 1‘-Klausur würden Sie mit ner 5 rausgehen.“
(Raffelhüschen bereicherte das Gespräch aber auch mit einer interessanten Definition, was ein „fähiger Politiker“ sei: „Fähig ist ein Politiker dann, wenn er einen vernünftigen Abschluss hat, wenn er sein Studium zuende gebracht hat, wenn er vernünftig was gelernt hat.“)
Auslöser der ganzen Diskussion war, wie gesagt, dass Nena Brockhaus sich einfach nicht vorstellen kann, dass Baerbock und andere Politiker von SPD und Grünen beliebter sein sollen als andere Politiker – sogar beliebter als Sahra Wagenknecht, obwohl die doch dauernd bei „Viertel nach acht“ im „Bild“-Fernsehen rumsitzt!
Dass sie aus den Ergebnissen abliest, dass sich das Land in einem „rot-grünen Freudenrausch“ befinde, ist aber auch wieder nur ihr eigener Fehler: Die Werte der beliebtesten Politiker sind außerordentlich niedrig. Auch Baerbock liegt zwar zum ersten Mal auf dem ersten Platz, hatte aber noch vor einem halben Jahr einen fast doppelt so guten Wert. Angela Merkel kam in den Jahren 2020 und 2021 über viele Monate auf der Skala von plus 5 bis minus 5 auf Werte um 2,5 – Olaf Scholz liegt heute als drittbeliebtester Politiker nur bei 0,5.
Die relative Beliebtheit von Baerbock ist kein Spezialergebnis des ZDF-„Politbarometers“. Laut ARD-„Deutschlandtrend“ von Infratest Dimap hat sie die höchsten Zufriedenheitswerte bei den Wählern (46 Prozent), vor Habeck, Lauterbach und Scholz. Und in der Forsa-Umfrage, bei welchem Politiker das Land „in guten Händen“ sei, landete Baerbock im September zusammen mit den CDU-Ministerpräsidenten Daniel Günther und Hendrik Wüst auf dem ersten Platz.
Nur im Politiker-Ranking, das Insa im Auftrag von „Bild“ erstellt, liegen Markus Söder und Sahra Wagenknecht aktuell an der Spitze.
Man kann über den Sinn und die Methodik all dieser Umfragen streiten. Aber viel billiger und wirkungsvoller ist es natürlich, Leute einfach in ihrem Eindruck zu bestätigen, dass das ZDF irgendwelche hanebüchenen Zahlen veröffentlicht, die im Sinne der Bundesregierung sind und niemand nachvollziehen kann.
Jedenfalls niemand in der Blase von Nena Brockhaus.
Dieser Text ist zuerst im Übermedien-Newsletter erschienen. Wenn Sie uns abonnieren, bekommen Sie den Newsletter jeden Samstag ins Postfach.
In meiner Email an Euch war ich nicht ganz präzise, als ich sagte, die Populationsgröße spiele keine Rolle. Trotzdem gilt, dass es in der Praxis sogar völlig schnuppe ist, ob wir 2 Millionen oder 80 Millionen befragen.
Etwas genauer:
Die Formel bei SurveyMonkey enthält sie. Aber schon bei verhältnismäßig kleinen Werten von N verschwindet der Term unten zu nahe 0 und damit alles unter dem Bruchstrich zu sehr nahe 1, so dass er keine Rolle mehr spielt.
Man kann zur Veranschaulichung mit dem Rechner bei SurveyMonkey etwas rumspielen und sieht dass bei Stichprobengröße 1000 und Konfidenzniveau 95% es praktisch keinen Unterschied mehr macht, ob mann 20.000, 200.000, 2 Millionen, 2 Milliarden oder was auch immer angibt.
Nur bei vergleichsweise kleinen Populationen wie z.B. 2000 Mitarbeitern komme ich mit halt mit weniger Befragten aus. Aber selbst da brauche ich immer noch 700(!) um das gleiche Niveau zu erreichen, wie mit 1000 bei 2 Milliarden.
An alle: Was ich damit ausdrücken wollte, ist nochmal zu unterstreichen, wie völlig unsinnig die Argumentation über die Größe der Population ist, denn ab einer gewissen (in Bezug auf Umfragen vergleichsweise geringen) Größe exisitiert der Zusammenhang von Populationsgröße und notwendiger Stichprobe nicht einmal mehr auf relevante Art und Weise, sondern verschwindet in der x-ten Nachkommastelle.
(Was viel eher die notwendige Stichprobengröße treiben könnte, ist die Varianz des gemessenen Merkmals. So bräuchte man weniger Leute zu befragen, wenn man wüsste, dass sich alle Deutschen recht einig sind in Bezug auf ihre Meinung über eine Politikerin und etwas mehr, wenn eine Person polarisiert und somit die Antworten stark streuen. Die 1000 beinhalten auch schon die Annahme einer recht starken Streuung.)
Zeitgleich in Frankfurt: Michael Spehr findet endlich auch den einen Artikel aus der Schweiz, der behauptet, dass Radfahren viel CO2-schädlicher sei, als Autofahren, und entblödet sich, daraus einen eigenen, äh, „Artikel“ zu schreiben.
Meanwhile in San Francisco, ein Self-made-Milliardär zerstört aus Versehen das Unternehmen, dass er gerade für 44 Milliarden gekauft hat, mit Geld, dass ihm die Saudis „geliehen“ haben, auf dem die Unterdrückten der Welt Aufmerksamkeit für Ihre Sache bekommen, während er alle Hasser und Verleumder wieder freischaltet, aber der Oberbösewicht will gar nicht zurück.
Ich klinge schon fast, wie ein Verschwörungserzähler, aber das kann kein Zufall sein! Ist es auch nicht, der Confirmation Bias ist eine so starke Kraft, dass bei Bild TV sich keiner vorstellen will, dass Annalena Baerbock tatsächlich eine sehr beliebte Politikerin ist, Michael Spehr nicht merken will, dass er hanebüchenen Unsinn verbreitet und ich, dass Elon Musk vielleicht einfach nur ein reicher Trottel ohne Benehmen ist.
Die Bestätigungsvoreingenommenheit macht mir tatsächlich Sorge, weil er die bösmeinenden und die wohlmeinenden im gleichen Maße von den Fakten wegführt.
P.S.: das Bild TV bei den Einschaltquoten überhaupt noch sendet, liegt wahrscheinlich eh nur daran, dass sich dort keiner vorstellen kann, nicht gesehen zu werden und die Zahlen alle für Nonsens halten – siehe oben.
Bild gibt übrigens ebenfalls regelmäßig Umfragen mit ähnlichem Design in Auftrag, denen offenbar die eigenen Mitarbeiter nicht trauen.
Alles für’s Narrativ.
Aus der postfaktischen Zeit in die Zeit der Faktenbeliebigkeit. Such dir dein Narrativ, pushe es, irgendwas bleibt schon in der Zielgruppe hängen. Hinweise auf Widersprüche einfach wegwhatabouten.
Mittlerweile findest du für jede Realitätsbeschreibung, egal wie abwegig, deine Follower. Menschen wollen hören, was sei eh schon wissen.
Nun, in meinem bayerischen Abitur war Stochastik Pflicht, also die Mathematik hinter Statistiken. Im Grund-Studium dann noch mal Statistik in vielen Fächern Pflicht.
Warum die führenden Politiker der Parteien, die bei der letzten Bundestagswahl recht gut abschnitten, unbeliebt sein sollten, erschließt sich mir ungeachtet etwaiger Stichprobenfehler nicht.
So zu tun, als wüsste man nicht, wie Umfragen funktionieren, ist Zielgruppenansprache / Reichweite.
Ich finde es erschreckend, dass man auf „unserer (halb-)linken Seite“ immer noch glaubt, Springer und Co. würden mit fairen Mitteln arbeiten. Absichtliches Missverstehen ist Teil des Waffenarsenals. Und die Zielgruppe jauchzt, ist man doch nicht an Lösungen, sondern an Gegenschlägen interessiert. Gibt es Umfragen, die einem nicht passen, sind die Umfragen halt falsch – müssen gar falsch sein, weil sie nicht der eigenen Meinung entsprechen. Umkehr-Fehlschluss, Intelligenztest. Nur, dass es keine Konsequenzen hat, wenn man ihn nicht besteht.
Zu glauben, die bräuchten Belege, damit deren Publikum den Köder frisst, ist naiv. „Wir“ fordern journalistische Integrität, nicht deren Kunden. Die wollen hören, was sie eh schon wissen. Und das weiß man auch bei Springer, weshalb deren Job auch so einfach ist.
Die Frage ist ja nur, ob man diesen unfairen, undemokratischen Mitteln mit gleicher Integritätslosigkeit begegnet, oder es eben bewusst besser macht. Ich bin für letzteres, da stelle ich jedoch immer wieder fest, dass die allermeisten Menschen keine Ahnung von Stilmitteln haben. Da ist m. E. in den kommenden Jahren Aufklärungsarbeit nötig und zwar mit brutaler Ehrlichkeit, welche Stilmittel man selbst einsetzt.
#8
Soll heißen, die Protagonisten bei BildTV waren voll im Bilde, dass Umfragen mit 1300 Beteiligten sinnvoll sind und tun nur so, als ob sie glauben, dass das gar nicht ginge?
Dann müsste man allerdings schon den Hut ziehen, wie überzeugend sie diese Schauspielerei hingekriegt haben…
Ganz ehrlich, vielleicht unterschätze ich die Leute ja, aber ich finde, dass passt schon ganz gut ins BILD (soviel Kalauer muss sein), dass die da derart im Irrtum sind und falsche Argumente bemühen ohne zu wissen, dass sie falsch sind.
@ #9: Das sind doch Journalisten, die ausgebildet wurden. Da muss man doch eine gewisse Berufskompetenz unterstellen, oder? Ich bin kein Journalist und war schlecht in Mathe und weiß dennoch, dass ab ca. 1000 Leuten ein Umfrage repräsentativ sein kann (je nach demografischer Zusammensetzung). Das habe ich, glaube ich, in der achten Klasse gelernt.
Ist es so abwegig davon auszugehen, dass Bildzeitungsjournalisten das nicht auch wissen?
Ich verstehe nicht, wie man immer noch davon ausgehen kann, dass die dumm sind und nicht einfach lügen für mehr Zielgruppenreichweite. Analog Trump. Du wirst nicht aus Versehen Präsident der USA …
Oder vielleicht etwas nachvollziehbarer: Einer in der Redaktion pitcht die Aufreger-Story in vollem Bewusstsein, dass man auf wesentliche Bestandteile seriöser Statistik verzichtet. Das fällt den Kollegen auf, die sagen aber nichts, weil sie ebenso wie der Initiator wissen, dass sich die Story ohne den Zusammenhang seriöser Statistik besser verkauft. Also wird einfach von vornherein nicht über die journalistische Unsauberkeit geredet, weil man weiß, dass man sich selbst ins (Reichweiten-)Fleisch damit schneidet. Immerhin will die Friede ja ihre jährliche Umsatzsteigerung.
„Nichts hat uns ganz nachweislich wirtschaftlich in der Reichweite so sehr geschadet wie unsere klare, menschliche, empathische Haltung in der Flüchtlingskrise“
Und das kann man m. E. auf Alles extrapolieren: Je differenzierter die Berichterstattung, desto weniger Reichweite in der Bildzeitungszielgruppe. „Flüchtlinge böse“, das weiß der Bildzeitungsleser und will seine Meinung bestätigt haben (bias confirmation). Und mehr steckt da auch nicht hinter.
Wie kann man davon ausgehen, dass die größte deutsche Tageszeitung keine bewussten Entscheidungen trifft? Ich glaube, da wird „unsere“ gefühlte intellektuelle Überlegenheit gegen uns verwendet: Wer doof ist, kann nciht durchtrieben hinterfotzig sein. Also ist es vorteilhaft, wenn Menschen glauben, dass man „nur“ dumm ist.
Aber wäre es dann nicht klüger, die Umfrage irgendwie als manipuliert darzustellen ohne so offensichtlich und klar nachweisbar falsche Argumente wie „1310 sind zu wenig“ zu verwenden?
Die BILD spricht Leute an, die das mit den 1310 Leuten nicht wissen.
@ #12: Um Gottes willen, du kannst der Zielgruppe doch nicht die einzig mögliche Schlussfolgerung rauben.
Der Kunde weiß, dass die Zahlen nicht stimmen können. (bias)
Hier wird irgendwas hingefurzt, das den Anschein von Argumenten oder Belegen hat. Diese zeigen, dass da was nicht stimmt mit den Zahlen. (pseudo-proof)
Ergo: Die Zahlen stimmen nicht (bias confirmation) –> „Anhand der Dinge, die Bildzeitung nennt, kann ich ganz eindeutig sehen, dass ich recht hatte! Steht doch hier, schwarz auf weiß!“
K.l.u.k.
Das aufgesetzte Nichtverstehen der Böhmermann-Satire ist da ein weiteres Beispiel für. Anstatt sich mit dem Inhalt der Kritik auseinander zu setzen wird ein Bogen zu „Terrorlisten“ geschlagen, Ende der Diskussion. Im Gegensatz zur „letzten Generation“ nimmt man die Opferrolle hier dankend an, weil man sich so besser inszenieren kann. Im Gegensatz zu FDP haben die Klimaaktivisten nämlich Themen, die ihnen wichtig sind und nicht nur opportunistische „Handlungsoptionen“ im Parlament. Die müssen auch nicht um die Gunst von Friedrich Merz buhlen; m. E. ein weiteres Argument dafür, diese Leute ernst zu nehmen.