Das Schlechteste an Wahlprognosen: Wie wir mit ihnen umgehen
Wenn Sie vor der Wahl lesen, dass Hillary Clinton angeblich eine Wahrscheinlichkeit von 83 Prozent hat, Präsidentin der Vereinigten Staaten zu werden, könnten Sie dann ruhig schlafen, weil Sie wissen, dass Donald Trump keine Chance hat?
Andere Frage: Wenn Ihnen jemand einen Revolver in die Hand drückt, würden Sie Russisch Roulette spielen? Oder wäre Ihnen das Risiko zu groß, die eine Kammer mit der Kugel zu erwischen? Wir alle wissen, wie gefährlich das Spiel wäre: Die Chance, es zu gewinnen, liegt nur bei 83 Prozent.
Es geht nicht darum, Donald Trumps Präsidentschaft mit einem Selbstmord gleichzusetzen. Es geht darum, wie miserabel wir darin sind, mit Prozentzahlen umzugehen. Bei einem Revolver mit sechs Kammern und einer Kugel hilft uns noch unsere Intuition. Die Zahl 83 Prozent bei einer Wahlprognose runden wir der Einfachheit halber auf 100 auf.
Die Meinungsforscher stehen gerade massiv in der Kritik, weil sie angeblich bei dieser Wahl katastrophal versagt haben. Als Beweis dafür, wie sehr sie daneben lagen, werden gerne die Wahrscheinlichkeiten für einen Wahlsieg Clintons herangezogen, die sie vor der Wahl ausgegeben haben. Manche lagen tatsächlich bei unseriösen 99 Prozent. Aber auch die Prognose der „New York Times“ ist in die Kritik geraten.
Sie begann den Wahlabend mit knapp über 80 Prozent für Hillary. Der Argumentationskurzschluss geht dann so: Die „New York Times“ hat die Chancen Clintons mit 80 Prozent angegeben. Clinton hat nicht gewonnen. Die „New York Times“ hatte Unrecht. (Deshalb ist ihr ist auch in Zukunft nicht mehr zu trauen, Lügenpresse, etc.)
Eine Zeitung, die vorhersagt, dass ein Ereignis mit einer Wahrscheinlichkeit von 83 Prozent eintritt, sagt damit voraus, dass es eine erhebliche, keineswegs minimale, Chance gibt, dass es nicht eintritt. Aber so sind die Prognosen bei der Präsidentschaftswahl von vielen Lesern nicht interpretiert worden – und von Journalisten und Kommentatoren auch nicht. Die zu 100 fehlenden Prozent wurden als rein rechnerische, theoretische, zu vernachlässigende Restgröße abgetan.
Das mag bei vielen Kommentatoren auch die Folge einer falschen Grundannahme gewesen sein: Sie konnten sich einfach nicht vorstellen, dass Donald Trump gewählt würde, egal, was genau die Demoskopen nun sagten. Es hat aber sicher auch mit unserer Unfähigkeit zu tun, Wahrscheinlichkeiten richtig zu interpretieren.
Das aber wirft die Frage auf, ob es so eine gute Idee ist, diesen Wahrscheinlichkeiten in der Berichterstattung über eine Wahl ein solches Gewicht zu geben.
Mehrere Medien haben, wie die „New York Times“, kontinuierlich die angebliche Wahrscheinlichkeit eines Clinton- oder Trump-Sieges berechnet. Spezialisiert auf solche Prognosen hat sich Nate Silvers Seite „FiveThirtyEight“. Hier konnte man sich Tag für Tag sogar auf eine Nachkommastelle genau und basierend auf drei verschieden justierten Modellen die Wahrscheinlichkeiten anzeigen lassen.
Das war faszinierend, konnte sogar süchtig machen (ich weiß, wovon ich rede), und war gleichzeitig von größter Sinnlosigkeit, denn die Zahlen riefen beim Betrachter – Nachkommastelle hin oder her – nicht mehr als drei verschiedene Gefühle hervor:
a) Läuft.
b) Wird knapp.
c) WAAAAA!
Interpretation a) ist bei den Prozentwerten, von denen wir reden, eine Illusion, wie viele schmerzhaft am Morgen des vergangenen Mittwochs erleben mussten. Aber anstatt den Fehler bei sich zu suchen, beschuldigten sie die Demoskopen.
Viele sahen sich auch von Nate Silver enttäuscht, der vor ein paar Jahren als Wunderkind der Wahlprognose gefeiert wurde und nun als entzaubert gilt. Dabei hatte dessen Modell als letzte Prognose vor der Wahl sogar eine Wahrscheinlichkeit von immerhin 28,6 Prozent für Trump ausgegeben, mehr als die meisten Konkurrenten. Silver schrieb vor der Wahl auch, dass drei Szenarien ungefähr gleich wahrscheinlich seien: Ein unspektakulärer Sieg Clintons; ein gewaltiger Sieg Clintons; ein sehr knapper Wahlausgang mit Vorteilen für Trump.
3) Basically, these 3 cases are equally likely
a—Solid Clinton win
b—Epic Clinton blowout
c—Close call, Trump *probably* wins Elect. Coll. pic.twitter.com/9uhM1KxUkv— Nate Silver (@NateSilver538) 8. November 2016
Der letzte dieser drei Fälle ist tatsächlich eingetreten. Trumps Vorsprung in mehreren entscheidenden Bundesstaaten ist hauchdünn, aber im Wahlmännergremium reicht das für eine klare Mehrheit. Dabei liegt Clinton nach abgegebenen Stimmen vor Trump – die Wahrscheinlichkeit dafür („Clinton wins popular vote but loses Electoral College“) hatte Silver vorher mit knapp über zehn Prozent angegeben.
Tja, zehn Prozent. Bedeutet das, dass Silvers Berechnungen Unsinn waren, weil ein Ereignis eingetreten ist, das mit einer Wahrscheinlichkeit von knapp unter 90 Prozent nicht eintreten sollte? Auch das wäre schon wieder eine falsche Schlussfolgerung. Es zeigt nur, wie schwer wir uns damit tun, aus Wahrscheinlichkeiten konkrete Schlussfolgerungen zu ziehen.
Der Wetterbericht im Radio informiert uns am Morgen über eine Regenwahrscheinlichkeit von 30 Prozent. Ist die richtige Konsequenz daraus, einen Schirm mitzunehmen? Oder ihn zuhause zu lassen? Und wenn wir ihn zuhause lassen und es regnet, schimpfen wir dann über den chronisch unzulässigen Wetterbericht mit seiner irreführenden 30-Prozent-Angabe?
Bei den Diskussionen über die Umfrageergebnisse vor der Wahl spielt natürlich noch etwas anderes eine Rolle als die (Fehl-)Interpretation der Werte: Die wichtige Frage, ob sie die Unterstützung für Trump systematisch und grundlegend falsch eingeschätzt haben. Auch das stimmt nur teilweise: Die landesweiten Umfragen waren relativ treffsicher. Sie sagten voraus, dass Clinton etwa drei bis vier Prozentpunkte Vorsprung vor Trump bei den Wählerstimmen bekommt. Am Ende werden es – mehrere Millionen Stimmen sind noch nicht ausgezählt – vermutlich ein bis zwei Prozentpunkte Vorsprung sein. Eine solche Abweichung ist kein spektakulärer Fehler, sondern im normalen Rahmen.
(Bei der Wahl 2012 lagen die Umfragen weiter vom richtigen Ergebnis entfernt: Sie hatten vorausgesagt, dass Barack Obama 0,7 Prozentpunkte vor Mitt Romney liegen würde. Es waren am Ende 3,9 Prozentpunkte.)
Tatsächlich gravierend daneben lagen die Prognosen in den Staaten des Mittleren Westens, die am Ende den Ausschlag für Trumps Sieg gaben. Die Demoskopen sahen zwar, dass Trump bei den weißen Arbeitern hier viel Zuspruch erhält, aber sie unterschätzten das Ausmaß dieser Welle von eigentlich klassischen Wählern der Demokraten.
Trotzdem ist es irrwitzig, in welchem Maße sich die Meinungsforscher und Umfrageexperten sich in diesen Tagen vorwerfen lassen müssen – auch natürlich sofort reflexartig von Journalisten, die ihre Zahlen falsch interpretierten – einen Wahlsieg von Trump ausgeschlossen zu haben. Nate Cohn, der Zahlenmensch der „New York Times“, verfasste kurz vor der Wahl einen Artikel mit der Überschrift: „Why the Election is Close“, der mit dem Satz begann:
Donald J. Trump is in striking distance of winning the election with two days to go, and there’s really just one reason for that: He’s leading white voters without a college degree by a huge margin.
(Für Donald J. Trump liegt zwei Tage vor der Wahl ein Sieg in unmittelbarer Reichweite, und es gibt dafür eigentlich nur einen Grund: Er führt bei weißen Wählern ohne Uniabschluss mit riesigem Vorsprung.)
Später im Text schreibt Cohn noch einmal ausdrücklich, dass Trump eine „echte Chance auf einen Sieg“ hat: Er könnte genug Wahlmännerstimmen bekommen, ohne die Mehrheit aller Wählerstimmen zu erreichen, indem er ganz knapp in Staaten des mittleren Westens wie Wisconsin gewinnt. Seine Stärke bei weißen Arbeitern könnte sogar groß genug sein, um Florida zu gewinnen. All das ist passiert.
Dass sich nun ausrechnet Analytiker wie Cohn und Nate Silver für ihre Vorhersagen rechtfertigen müssen, ist absurd. Völlig bizarr ist ein Artikel, der im „Datenblog“ des Schweizer „Tagesanzeigers“ erschien und die Umfrage von USC Dornsife und der „Los Angeles Times“ feierte, weil die das Ergebnis der Wahl „korrekt antizipierte“. Die Umfrage hatte auf der Grundlage einer ungewöhnlichen Methode über viele Monate deutlich mehr Zuspruch für Trump gezeigt als andere Umfragen. Am Ende sagte sie voraus, dass Trump mit fast drei Prozentpunkten vor Clinton liegen würde.
Damit lag sie noch weiter vom Ergebnis (vermutlich etwa ein bis zwei Prozentpunkte Vorsprung für Clinton) als die meisten anderen Umfragen. Der Autor des „Tagesanzeigers“, erstaunlicherweise ein Datenjournalist, meint aber, sie hätte ja den Sieger richtig vorausgesagt. Das ist eine erstaunlich irrationale Interpretation dessen, was die Umfrage tatsächlich zu prognostizieren versuchte und womit sie deutlich scheiterte: den Anteil an Wählerstimmen („popular vote“).
Viele Experten und vermeintliche Experten in den Medien haben vor der Wahl kategorisch ausgeschlossen, dass Trump gewinnen könnte. Das war falsch. Seriöse Analysten und Dateninterpreten wie Nate Cohn und Nate Silver aber haben beschrieben, dass Trump eine echte Chance hat, und analysiert, worin genau sie besteht.
Aber vielleicht ist der fahrlässige Umgang mit ihren Wahrscheinlichkeitsrechnungen eine gute Warnung. Eines von vielen Problemen der Wahlberichterstattung war genau die Fixierung auf solche Zahlen – die berüchtigte Horse-Race-Berichterstattung, die sich nicht mit Inhalten befasst, sondern fast nur mit der Frage, wer im Rennen gerade vorne liegt.
Und vielleicht würde es auch helfen, sich daran zu erinnern, dass das Vorhersagen der Zukunft gar nicht die Aufgabe des Journalismus ist. Mit der Beschreibung der Gegenwart ist er eigentlich schon genug überfordert.
Habe die ersten paar Absätze gelesen. Schon jetzt muss ich posten: Danke, danke, danke.
Geht es eigentlich nur mir so, oder ist dieser verhältnismäßig ehrliche und transparente Umgang mit der Unsicherheit von Umfragen/Prognosen ein in Deutschland noch weitgehend unbekanntes Phänomen?
Ich kann mich jedenfalls nicht erinnern hier jemals etwas gehört zu haben wie „Wenn am nächsten Sonntag Wahl wäre, würde die CDU zu 95% zwischen 36% und 40% der Stimmen bekommen“ (rein fiktive Zahlen). Stattdessen heißt es hier doch immer: „Wenn am nächsten Sonntag Wahl wäre, käme die CDU auf 38,4% (+0,3%)“
Entweder sind Umfragen bei uns also viel präziser als in den USA – oder aber unsere Journalisten/Meinungsforscher nicht so ehrlich. Bzw. sie halten ihre Zuhörer/-schauer/Leser für nicht intelligent genug komplizierte Dinge wie Unsicherheit zu verstehen (und darin werden sie die hier beschriebenen Reaktionen auf die US-Wahl, fürchte ich, nur bestätigen… :-/)
Was Sie über die Statistik der Umfragen sagen, ist schon richtig, Herr Niggemeier. Würden deren Aussagen aber sachlich richtig interpretiert werden, würde ihre Bedeutung für die Berichterstattung im Wahlkampf sofort um eine Größenordnung abstürzen. Jeder Leser würde sie unter „Umfragen sind Schall und Rauch, die Wahrheit liegt nur in der Urne“ ablegen und stärker ignorieren.
Das ist aber dem Bestreben im Weg, mit Umfrageergebnissen den Leser (und Wähler) zu unterhalten und zu beeinflussen. Deshalb geht der Vorwurf zunächst weniger an die Ersteller als an die Verbreiter der Umfragen, also die Journalisten. Nun ist es aber so, dass Umfragen nur dann gemacht werden, wenn die Verbreiter sie bezahlen. Deshalb tun auch die Ersteller der Umfragen alles, um den Eindruck zu erwecken, ihre Umfragen würden mehr leisten, als sie tatsächlich tun (selbst wenn sie nach bestem Wissen gemacht sind). So schließt sich der Kreis der Verantwortung für eine schlechte Praxis.
Den Schlüssel hat der Leser in der Hand: nur er könnte die Bedeutung der Umfragen auf das richtige Maß herunterbringen, in dem er sie einfach ignoriert. Das wird aber nicht passieren, weil sie doch auch wunderbarer Gesprächsstoff sind – bis sie sich am Wahltag wieder als überschätzt herausstellen. Darüber kann man sich dann wieder herrlich aufregen.
@1 Sie verwechseln (repräsentative) Umfragen mit der aus vielen verschiedenen Quellen zusammengewürfelten einen Zahl, wie sie hier im US-Wahlkampf zum Zuge kam. Da gibt es schon einen Unterschied finde ich – repräsentative Umfragen sind noch mal zuverlässiger, da sie von weniger Faktoren abhängt.
Großes Kompliment für diesen Artikel.
Aufgrund falscher Interpretationen der Wahlprognosen und der Wahlbeteiligung (es wird noch eine Weile weiter ausgezählt; Millionen Stimmen fehlen) ist so viel Schwachsinn geschrieben worden, dass man es kaum glauben kann.
Folge waren nicht nur faktisch falsche Artikel, sondern es wurde natürlich auch noch komplette Wahlanalysen darum gestrickt.
Beispielhaft sei der Arikel von SpOn genannt:
http://www.spiegel.de/politik/ausland/ergebnis-us-wahl-2016-hillary-clinton-konnte-waehler-nicht-mobilisieren-a-1120670.html
In der Wahlnacht habe ich schon recht früh gedacht, dass sich hier tatsächlich ein Szenario andeutete, das Nate Silver genauso für den Fall beschrieben hat, dass die nationalen Umfragen Clintons Vorsprung um ca zwei Prozentpunkte überschätzen. Absolut möglich und auch keinesfalls eine Blamage für die Umfrageinstitute (schon eher für regionale Umfragen in Staaten wie Michigan, Wisconsin und Pennsylvania, in denen Clinton nie hinten lag; hier ging es weit über die normale Fehlertoleranz hinaus), aber fatal für Clinton.
Weiter geht es derzeit mit allen möglichen Interpretationen der sogenannten „exit polls“, die, wie wir aus der Vergangenheit wissen, extrem unzuverlässig sind.
538 ist mir auch schon seit Jahren sehr recht, ich hab‘ denen vor der Wahl vertraut und tu’s auch jetzt noch. Ich glaube, ein zusätzliches Problem ist auch dieses: Bei der Wahl selber wird dann ja berichtet, wie viele Prozent der Stimmen/Wahlmänner ein Kandidat gerade hat.
Die Erfolgschance wird in Prozenten angegeben.
Ich glaube, sehr viele Leute verbinden einfach instinktiv diese beiden Aspekte und nehmen an „Clinton hat 83%? Na da hab ich ja von knapperen Ergebnissen in der DDR gehört!“
auf DLF sagte der Kommentator am deutschen Morgen des 9. Novembers: „Viele Frauen haben bei den Vor-Wahl-Umfragen sich nicht getraut, dass sie trotz der Vorwürfe gegen Donald Trump, trotzdem Trump wählen würden.“
Das kann ich gut nachvollziehen und es ist immer so. Vorher hat man sich vielleicht etwas vorgenommen, aber in der Wahlkabine gibt es sicherlich nicht wenige, die sich doch noch schnell umentscheiden.
Umfragen vor den Wahlen können höchstens eine Tendenz wiedergeben, aber nicht das Ergebnis vorhersagen.
Im Gegenteil: Sagt man am Abend vor der Wahl, Clinon liegt eindeutig vorne, dann werden die Clinton-Gegner mobilisiert, um diese Vorhersage zu verhindern.
Es wäre intelligent, sich erst nach der Wahl mit dem Ergebnis auseinanderzusetzen
@2: meines Wissens ist in Deutschland die wahlberechtigte Bevölkerung deutlich besser registriert, weswegen sich leichter repräsentative Umfragen erstellen lassen. So bekommt man einen deutlich kleinen statistischen Fehler. Außerdem spielt das US-Wahlsystem in die Ungenauigkeit mit hinein, weil dort jeder Staat entweder rot oder blau auswirft. Selbst wenn man in jedem Staat jeweils auf die +/- 0,3% Genauigkeit kommt, vergrößert sich der Fehler des prognostizierten Endergebnisses durch jeden Staat, in dem die Prognose knapp ausfällt.
Und rein inhaltlich ergibt eine Wahrscheinlichkeitsaussage bei der US-Wahl mehr Sinn, weil es dort um die Frage „Wer von beiden“ geht und weniger darum, wie viele Wahlmänner beide genau bekommen. Das hätte man auch prognostizieren können (mit recht großem statistischen Fehler, der wahrscheinlich größer ausgefallen wäre als der vorhergesagte Vorsprung), die Aussagekraft wäre aber ziemlich gering gewesen.
@MAX MUSTERMANN #4
Mit Verlaub, aber das ist ja nun auch Unfug. Selbstverständlich sind die einzelnen Umfragen, die etwa in das 538-Modell von Nate Silver einfließen, auch alle dem Anspruch nach repräsentativ. Wenn auch von unterschiedlicher methodischer Qualität. Die Einbeziehung von nicht-repräsentativen Umfragen würde auch schlichtweg keinen Sinn machen.
Der offensichtliche Unterschied zwischen den USA und Deutschland ist zum einen die Größe und zum anderen das Wahlsystem.
So kann man zwar mit einem landesweit repräsentativen Panel die Stimmung im ganzen Land recht gut abbilden, für eine Wahlprognose in den USA braucht man ja aber eigentlich repräsentative Umfragen in allen 50 Staaten. Das kann/will sich aber niemand leisten.
Daher gibt es schlicht nicht für alle Staaten Umfragen, die nach den gleichen einheitlichen Maßstäben in regelmäßig-kurzen Intervallen durchgeführt werden, sondern gewissermaßen immer nur einzelne Umfrageflicken, die dann anschließend erst wieder durch Modelle (wie die von 538) zu einem einigermaßen einheitlichen Teppich verwoben werden müssen.
(Erschwerend kommt hinzu, dass in den USA anders als in Deutschland die Grundgesamtheit der Wähler nicht a priori feststeht, weil man sich erst explizit als Wähler registrieren muss. In eine ähnliche Kerbe schlagen auch nochmal die jeweiligen Wahlgesetze, die nicht nur von Staat zu Staat variieren, sondern insbesondere nach dem Supreme-Court-Urteil zum ‚Voting Rights Act‘ in einigen Staaten im Vergleich zu 2012 verändert wurden, was die Abschätzung der Wahlbeteiligung auch noch einmal erschwert.)
@8: Interessanter Punkt. Trotzdem bezweifle ich, dass diese Effekte die Genauigkeit so stark erhöhen, dass die Unsicherheit völlig irrelevant wird.
Die Forschungsgruppe Wahlen spricht zum Beispiel von einer Fehlertoleranz von +/-2 Prozentpunkten bei den üblichen Umfragen[1]. (ich nehme mal an, damit ist die Breite eines passenden Konfidenzintervalls gemeint – vllt. 95%?). Das scheint mir ja schon noch ein Wert zu sein, den man etwas prominenter erwähnen dürfte – insbesondere dann, wenn über Veränderungen in den Umfragen diskutiert wird (welche Aussagekraft hat bspw. ein Plus von einem Prozentpunkt, wenn die Fehlertoleranz +/-2 Prozentpunkte beträgt?).
Oder eben, wenn es um die Frage geht, wie wahrscheinlich es ist, dass orange/lila bei der nächsten Wahl eine Mehrheit bekommt – das wäre ja wieder eine zum Gewinn der Präsidentschaftswahl vergleichbare ja/nein-Frage (und evtl. haben Sie da in der Tat recht, dass unser anderes Wahlsystem hier eine viel höhere Genauigkeit ermöglicht – genau um soetwas einschätzen zu können, fände ich es aber eben schön, wenn die deutschen Meinungsforscher/Journalisten in puncto Transparenz hier etwas von ihren amerikanischen Kollegen lernen würden).
[1] http://www.forschungsgruppe.de/FAQ/haeufig_gestellte_Fragen/#genau
Mein Problem mit den Wahrscheinlichkeitsprognosen ist, dass ich sie nicht überprüfen kann: Ein Tranquilizer, den ich schlucke oder halt nicht. Die nach Wahrscheinlichkeit berechneten Wahlmänner sind auch so eine Sache. Nach Silver sollte McMullin z.B. 0,8 Wahlmänner bekommen, weil er eine gewisse Siegeswahrscheinlichkeit in Utah hatte. Dort gibt es aber entweder 6 Wahlmänner oder halt 0. Wenn ich mir die zusammengefassten Umfragen für die einzelnen Staaten z.B. bei RealClearPolitics anschaue (Solid, Leans, Likely, Toss Up), kann ich mir wenigstens selber ein Bild machen und das zusammenrechnen. Wenn es anders läuft, ist es halt so. Insofern finde ich die Kritik an den Umfragen auch müßig, die in vielen Medien gezogene Schlussfolgerung „Er/Sie liegt in den Umfragen vorn“ war irreführend, da sie sich aufs Electoral College bezog.
Zu Silvers oben zitiertem Tweet: Mir ist nicht klar, welchen Wahlmännerzahlen „Solid Clinton“, „Epic Blowout Clinton“, „Close Call“ entsprechen. Für mich sind von den drei Möglichkeiten mit einer gefühlten Wahrscheinlichkeit von 80 % Null eingetreten: Wenn die noch nicht endgültig ausgezählten Staaten die bisherige Tendenz bestätigen, hat Trump über 300 Wahlmänner auf seiner Seite. Damit hätte Clinton sogar Florida gewinnen können, es hätte für sie nicht gereicht. Für mich ist das schon „Solid Trump“. Warum hat Nate Silver recht, wenn er Close Call sagt und dann Electoral Vote „Probably“ Trump? Zählt das probably nicht, weil es in Anführungszeichen steht?
Zu den im Artikel zweimal auftauchenden „vermutlich 1-2 Prozentpunkte mehr Stimmen für Clinton“: Woher kommt diese Zahl?
Noch eine Runde lustiger wird es, wenn eine Meinungsumfrage als Prognose gewertet wird:
https://twitter.com/HartesGeld/status/796262247744098304
500 Retweets und 700 Favoriten können nicht falsch liegen… :D
@11
Na ja, das Foto spricht für sich. Der Kasper auf dem Foto hat die wirkliche, subtile Bedeutung der Zahlen sicherlich nicht dazugesagt. Das war der traurige Höhepunkt einer Kampagne, die voll an die Wand gefahren ist.
Und die deutschen Medien moralisieren und indoktrinieren ja munter weiter, statt über das zu informieren, was der Fall ist:
http://www.nachdenkseiten.de/?p=35765
Man glaubt es nicht. Am tiefsten der Absturz der ZEIT: es lohnt sich kaum noch hineinzuschauen, wenn es sich nicht um einen Gastbeitrag von Streeck, Zizek o.ä. handelt. Die Redaktion scheint abgehoben zu haben – zum letzten Flug?
Sorry, @12 war gemeint.
Deswegen ist man in diesen Talkshows auch immer nur zu 99,98% der Vater.
Ich glaube, dass es tatsächlich ein denkbar ungeeignetes Instrument ist, die Wahrscheinlichkeit in Prozent völlig unkommentiert auszudrücken. Mein Bauchgefühl (und nichts anderes hat mich schon in der Schule durch den Mathe-Unterricht gelotst) hat mir gesagt, dass 83% gar nichts über den Wahlausgang aussagt. Zumindest weniger als „Von den Befragten wollen 83% Clinton wählen.“
(Die Prozentzahlen in den Wetterberichten sind wieder was anderes: Wenn ich das richtig verstanden habe – der Herr Kachelmann mag das bitte korrigieren – bedeuten die Prozentzahlen, dass es an 30% Prozent der Tage mit vergleichbarer Wetterlage geregnet hat.)
Nate Silvers Arbeit finde ich beeindruckend und nach wie vor beispielhaft ins Sachen Wahlprognose. Aber in den Wahrscheinlichkeiten, die angegeben werden liegt ein entscheidendes Problem: Sie lassen sich nicht empirisch prüfen. Bei Wetterprognosen geht das: ich hab im Jahr 365 mal die Regenwahrscheinlichkeit des Folgetages, das kann ich dann mit dem tatsächlichen Wetter abgleichen und am Ende des Jahres weiß ich, wie häufig ich richtig lag und ob sich das mit den angegebenen Wahrscheinlichkeiten deckt.
Für die US-Wahl brauche ich 40 Jahre, um alleine an elf Vergleichsfälle zu kommen. Und in der Zeit hat sich die Welt so sehr gewandelt, dass sich das Modell sowieso schon geändert hat. Fällt das Ergebnis in die 28% Chance, die das Modell Trump eingeräumt hat oder war das Modell falsch? Lässt sich nicht sagen.
Somit hab ich eine Prognose, die mir weder Ja noch Nein prognostiziert (respektive Clinton noch Trump) und sich auch nicht korrekt empirisch prüfen lässt. Dass sich das den Leuten schwierig erklären lässt (von denen viele Probleme haben dürften zu verstehen, was diese Prozente überhaupt bedeuten) leuchtet mir – als studierter Statistiker – ein.
@Arko #11:
Soweit ich mich erinnere hatte Silver diese Szenarien auf seiner Website genau definiert.
@Andreas Müller: „Der Kasper auf dem Foto hat die wirkliche, subtile Bedeutung der Zahlen sicherlich nicht dazugesagt“?
Jörg Schönenborn hat zu der Grafik folgendes gesagt:
Inwiefern es Ausdruck einer Kampagne sein soll, die Sie hinter allem vermuten, dass deutsche Medien, die jeden Unsinn mit einer Meinungsumfrage begleiten, auch diese Frage stellen, ist Ihr Geheimnis.
Aber weil Sie hier regelmäßig so für eine scheinbar rationale, ideologiefreie Auseinandersetzung plädieren – vielleicht überprüfen Sie gelegentlich Ihren eigenen Knick in der Optik. Könnte sein, dass Sie der Kasper sind.
Ich sehe zwei Probleme:
1.) Die „Echtzeit“-Prognose
Der Screenshot ganz oben stammt aus der Wahlnacht. Im Gegensatz zu den vorherigen Prognosen hat 538, als die ersten Stimmen vorlagen, angefangen, in einem „Tachomter“ zu zeigen, in welche Richtung die Nadel ausschlägt – basierend auf der Kombination der ersten Echtzeitdaten und langfristig gesammelten Prognosen. Beim normalen, unreflektierten Nutzer konnte aber genau durch diese Form der Darstellung ganz leicht der Eindruck entstehen, dass diese Echtzeit-Prognose tatsächlich mehr als eine Interpolation alter bzw. weniger aktueller Daten ist. Das wurde übrigens noch befeuert durch das künstliche erzeugte Wackeln der Nadeln im Auszählungstacho (siehe https://twitter.com/atoker/status/796176641600974851). Ich frage mich, ob ich die Unwissenheit des Publikums als Datenjournalist nicht mit einpreisen und entsprechend (zum Beispiel grafisch) darauf reagieren muss. Und was genau wäre eigentlich schlimm daran, bis zu dem Moment zu warten, in dem man tatsächlich eine sichere Aussage treffen kann, wer wo wie viele Stimmen erhält? Ich nehme mir ja in anderen datenjournalistischen Kontexten auch keinen unvollständigen Datensatz, visualisiere den erstmal und verfeinere die Daten dann in aller Öffentlichkeit in Echtzeit so lange, bis sie stimmen.
2.) Sinn und Zweck des Prognosen-Business generell
Jeder, der die Medienbranche kennt, weiß, dass diese Umfragen hauptsächlich generiert werden, um möglichst häufig von anderen Medien zitiert zu werden bzw. Reichweite für die eigene Website zu erhaschen. Man frage mal bei Forsa nach. ;) Ich persönlich finde, dass diese Form der datenjournalistischen Aufbereitung keinerlei sachliche Daseinsbegründung hat. Sie ist vielmehr ein Spiegelbild der schlechtesten Eigenschaften des Echtzeitnetzes. Eye Candy geht über Erkenntnisgewinn – dann ganz ehrlich, wie sinnvoll sind all diese Prognosen, wenn man sich auf das Datenmaterial, auf dem sie beruhen, so wenig verlassen kann?
Unterm Strich kann ich die Kritik an den Prognosen zur US-Wahl absolut nachvollziehen und halte sie für berechtigt. Die Schuld auf das „unwissende“ Publikum abzuwälzen, halte ich für nicht in Ordnung, weil es die Aufgabe eines (Daten-)Journalisten ist, seine Inhalte so aufzubereiten, dass sie verständlich sind. Und im Fall dieser Wahlprognosen ist das ganz offensichtlich nicht gelungen.
@Matthias: Naja, nee, die Wahrscheinlichkeiten in den Wetterberichten sind schon ähnlich. Die Prognosen bei FiveThirtyEight beruhen (sehr laienhaft formuliert) darauf, 10.000 leicht variierte Abstimmungen zu simulieren. Aus der Häufigkeit der bestimmten Ergebnisse ergibt sich deren Wahrscheinlichkeit.
@Arko:
Naja, das ist aber das alte statistische Phänomen, dass Frauen im Schnitt 2,4 Kinder bekommen oder sowas.
Bei FiveThirtyEight sind sowohl die einzelnen Umfragen dokumentiert, als auch Wahrscheinlichkeiten für jeden Staat.
Das bezieht sich nicht auf Wahlmännerzahlen, sondern Stimmenvorsprünge. Die Wahl ist, auch wenn es sich nicht so anfühlt, extrem knapp ausgegangen. Mehrere entscheidende Staaten hat Trump nur mit wenigen Zehntausend Stimmen Vorsprung gewonnen.
Das war doch seine Prognose: Bei einem sehr knappen Ergebnis hat Trump Vorteile im Electoral College.
Zum Beispiel aus dem verlinkten „Atlantic“-Artikel. Darin sind auch weiterführende Links zu Quellen.
Herr Niggemeier, das Problem mit Fivethirtyeight und den anderen amerikanischen Wahlprognosen in der Art von „Kandidat X wird mit Wahrscheinlichkeit Y% Präsident“ ist, dass sie mit einer sehr zweifelhaften Methodik arbeiten. Es gibt sehr viele Unsicherheitsfaktoren bei der Erhebung der Daten, mit denen die Modelle gefüttert werden. Dadurch ist es meiner Meinung nach extrem unseriös, den Eindruck zu erwecken, dass man die Siegeswahrscheinlichkeit der Kandidaten bis auf die Nachkommastelle genau ausrechnen kann, um dann tägliche Updates wie in einer Fiberkurve in bunten Grafiken abzubilden. Sie glauben, besonders informiert zu sein, aber tatsächlich sehen Sie nur statistisches Rauschen und fantasieren sich dann Erklärgeschichten darüber zusammen, warum die Chancen von Kandidat X laut dem Supermodell nun 5% niedriger sind als letzte Woche. (Liegt es an dem neuen Berater? Oder war die Rede auf dem Parteitag vielleicht doch viel weniger überzeugend als gedacht?) Ehrlich wäre es gewesen, wenn die Medien gesagt hätten, dass die beiden Kandidaten der großen Parteien (also Clinton und Trump) jeweils eine 50% Siegchance haben – und alle anderen Kandidaten chancenlose Außenseiter sind. Das konnte man seriös aus den vorliegenden Umfrageergebnissen ableiten. Für alle weitergehenden Aussagen war das Rennen viel zu knapp.
Lesen Sie nochmal den Artikel hier bei Übermedien über unseriöse Wettervorhersagen in deutschen Medien vom März 2016. Die Vorhersage von amerikanischen Präsidentschaftswahlergebnissen ist viel ähnlicher zum Versuch, im Frühjahr schon das Wetter vom Sommer vorhersagen zu wollen, als Sie es sich in dem Artikel eingestehen wollen. https://uebermedien.de/3465/und-nachts-ist-es-kaelter-als-draussen/
@Martin: Naja, ich wälze die Verantwortung nicht nur auf die Leser ab, sondern schon auch auf die Experten und Journalisten.
(Die Tachonadel und die Grafik oben sind nicht von 538, sondern von der „New York Times“.)
@Richard Ott: Wir sind, glaube ich, gar nicht so weit auseinander in unserer Bewertung, aber in Ihrem Kommentar ist ein größerer Denkfehler. Sie sagen, es sei unseriös, Wahrscheinlichkeiten anzugeben, dafür seien die Unsicherheitsfaktoren viel zu groß. Aber die Wahrscheinlichkeiten sind genau ein Ausdruck dieser Unsicherheiten. Weil man nicht genau weiß, wie viele Leute zur Wahl gehen, ob die Umfragen richtig sind, wie die Ergebnisse in einem Staat mit den Ergebnissen in einem anderen Staat zusammenhängen etc., geht man verschiedene Szenarien mit unterschiedlichen Parametern durch – und berechnet danach, wie wahrscheinlich welches Ergebnis ist.
Also: Die Angabe einer Wahrscheinlichkeit ist gerade deshalb sinnvoll (und nötig), weil so viele Dinge unsicher sind.
Trotzdem gebe ich Ihnen recht, dass zum Beispiel die Angabe von Nachkommastellen eine Verlässlichkeit suggeriert, die grob irreführend und keineswegs praktikabel ist. (Habe ich ja auch geschrieben.)
@Stefan Niggemeier: Arrgh, stimmt natürlich. (Wieso kann man hier eigentlich seine Kommentare nicht editieren?)
@ 20 Stefan Niggemeier
Ich glaube, Matthias Schumacher wollte darauf hinweisen, dass die Regenwahrscheinlichkeit eben nicht, wie Du im Text suggerierst, die Wahrscheinlichkeit angibt, nass zu werden, wenn man mal nach draußen geht, sondern tatsächlich nur die statistisch ermittelte Wahrscheilichkeit dafür, dass es in einem Zeitraum irgendwann einmal regnet. Wikipedia kann das besser erklären als ich:
„Die Angabe ist formal unabhängig von Menge und Dauer des Niederschlags, die meist gesondert mitgeteilt werden. Meldet ein Lokalsender, für morgen sei mit Schauern zu rechnen und die Niederschlagswahrscheinlichkeit für den Zeitraum von 6 bis 12 Uhr betrage 50 % Prozent, dann besteht eine gute Chance, während eines kurzen Aufenthalts im Freien trocken zu bleiben, denn Schauer sind weit kürzer als sechs Stunden.“
Das passt erfahrungsgemäß zwar in der Regel trotzdem ganz gut mit der „Nasswerdewahrscheinlichkeit“ zusammen, basiert aber auf anderen Daten. Hat mich sehr überrascht, als ich das seinerzeit nachgelesen habe.
Damit aber genug Korinthen gekackt.
@MATTHIAS SCHUMACHR
Ich gebe zu, ich habe ein wenig verkürzt. Aber das wäre ein schöner Satz fürs Mathebuch. Oder eine Lukas-Podolski-Zitatesammlung.
Aber etwas ernster: unkommentiert gelassen haben sie bei 538 ihre Zahlen ja nun auch nicht gerade. Als in ihrem Modell Clinton zwischenzeitlich eine Siegchance von knapp 85% eingeräumt wurde, hatten sie auch genau die Russisch-Roulette-Analogie bemüht, um die Frage zu beantworten, ob das Rennen damit nun gelaufen wäre.
Und was den Vergleich mit den Regenwahrscheinlichkeiten angeht — das ist sogar buchstäblich genau das, was 538 machen: sie simulieren die Wahl einige tausend mal und zählen dann nach, in wie vielen Szenarien ein bestimmtes Ereignis eingetreten ist. Wer gewinnt die Wahl? Wer gewinnt einen bestimmten Staat? Gewinnt ein Kandidat die Mehrheit der Wählerstimmen, aber verliert im ‚Electoral College‘?
Insofern sind die Prozentzahlen auch nicht irgendwie aus dem Bauch heraus ausgedacht, sondern spiegeln ganz konkrete Szenarien wider — wenn auch nur simulierte, virtuelle. Dass es insofern nicht sinnvoll ist, etwa einer Verschiebung von einigen Zehntel Prozentpunkten eine reale Bedeutung zuzumessen, liegt dabei auf der Hand.
Der Mehrwert eines 538-Modells beispielsweise gegenüber der einfachen RCP-No-Tossup-Karte besteht jedoch darin, dass es nicht nur eine Momentaufnahme der aktuellen Wasserstandsmeldungen liefert, sondern darüber hinaus eine Aussage treffen kann über die „Stabilität“ des Ergebnisses gegenüber „Störungen“ (um mal zwei nicht-stochastische Vokabeln zu verwenden). Vor vier Jahren etwa lag Obama in den landesweiten Umfragen nur um Haaresbreite in Führung. Das 538-Modell sah ihn damals aber dennoch als klaren 9:1-Favoriten gegenüber Romney — eben weil seine Position im ‚Electoral College‘ sehr robust war.
Nein, Herr Niggemeier. Wenn Sie vorhersagen wollen, ob entweder Kandidat X oder Kandidat Y gewinnt und es viele große Unsicherheitsfaktoren gibt, dann können Sie seriöserweise nur sagen, dass die Wahrscheinlichkeiten, mit der Unsicherheit mit der wir sie beziffern können, etwa 50-50 sind. Das ist übrigens keine neue Idee von mir – mit dem Thema hat sich der Mathematiker und Statistiker Laplace schon vor über 200 Jahren befasst. Wenn Sie mutig sind, dann trauen Sie sich vielleicht noch die Aussage, dass Sie einen der Kandiaten mit leichten Vorteilen sehen, also vielleicht 51-49 oder 55-45. Genaueres können Sie nicht sagen, weil es nicht genug oder keine hinreichend genauen Umfragedaten gibt, oder weil einfach niemand vorhersagen kann, welche Gruppen am Wahltag zur Wahl gehen und wer zu Hause bleibt. (Diese Annahmen stecken auch alle in den Vorhersagemodellen, sind aber in der Gewichtung der Umfragen und den Umfragedaten selbst „versteckt“.) Siegeswahrscheinlichkeiten von 80% oder 90% für einen der Kandidaten anzugeben, war völlig unseriös.
Vielleicht haben wir auch einfach ein großes Missverständnis. Was Sie „Wahrscheinlichkeiten“ nennen, sind tatsächlich gar keine Wahrscheinlichkeiten im statistischen Sinn, sondern eher so eine Art diffuser Stimmungsindikator. Schauen Sie sich nochmal die Fivethirtyeight-Daten an, nehmen wir meinetwegen das mittlere Modell („Polls-Only“). Glauben Sie wirklich, dass die Wahrscheinlichkeit für einen Trump-Sieg am 31. Juli 49,0% war und am 09. August nur noch 12,3% – und das wir die Veränderung dieser Wahrscheinlichkeit so genau messen konnten?
Ich weiß, es ist schwierig zu verstehen, weil es möglicherweise Ihrer Intuition und ihrer umgangssprachlichen Verwendung des Wortes „Wahrscheinlichkeit“ widerstrebt. Hier noch ein anderer Erklärungsversuch: Rufen Sie doch heute (14. November) Herrn Kachelmann an und fragen sie ihn, ob es an Heiligabend in Ihrem Heimartort Schnee geben wird. Wenn Herr Kachelmann keine Antwort geben will, oder erwidert, er hätte keine Ahnung, und alle Wettervorhersagen über mehr als 5 Tage in die Zukunft seien unseriös, dann sagen Sie ihm: „Wenn Sie sich unsicher sind, dann geben Sie doch eine Wahrscheinlichkeit an. Die Wahrscheinlichkeiten sind genau ein Ausdruck dieser Unsicherheiten.“ Wissen Sie, welche Wahrscheinlichkeit er Ihnen für Schnee geben wird? Genau die durchschnittliche Schneewahrscheinlichkeit für den 24. Dezember aus den historischen Daten; andere brauchbare Informationen oder Modelldaten hat er nämlich (noch) keine. Analog ist die Wahrscheinlichkeit, dass einer von 2 ungefähr gleich starken Präsidentschaftskandidaten in den USA Präsident wird 1/2, also 50%. Für genauere Prognosen wissen wir nicht genug über die Realität. Verstehen Sie, was ich meine?
@Richard Ott: Ich verstehe, was Sie meinen, und fürchte, Sie haben Unrecht, vgl. den Kommentar von CF (#27). Mehr zur 538-Methode hier.
Weitere Quellen für die bis 2 Prozentpunkte (!) Vorsprung im Public Vote. Möglicher Weise lagen also die Umfragen, die sich ja häufig auf diesen „Public Vote“ bezogen noch viel richtiger, als bisher bekannt:
http://www.nytimes.com/2016/11/11/opinion/clintons-substantial-popular-vote-win.html?rref=collection%2Fbyline%2Fdavid-leonhardt&action=click&contentCollection=undefined®ion=stream&module=stream_unit&version=latest&contentPlacement=1&pgtype=collection&_r=0
https://twitter.com/JimPethokoukis/status/797482682519351297
http://www.wsws.org/de/articles/2016/11/14/elec-n14.html
http://www.huffingtonpost.com/entry/hillary-clinton-popular-vote-victory_us_5827a2c5e4b02d21bbc91bbc
@RICHARD OTT
Fragen Sie mal Philipp Lahm, wie er die Chancen des FC Bayern gegen Borussia Dortmund einschätzt:
(Zitat natürlich nur ausgedacht und Herrn Lahm mutwillig untergeschoben.)
Und dann schauen Sie mal bei einem Anbieter von Sportwetten vorbei. Ich wette zwar selber nicht, aber ich könnte mir sehr gut vorstellen, dass man die Sache dort etwas differenzierter betrachten möchte. Aller Vorhersageunmöglichkeit zum Trotz.
Eine ganze Branche verdient ihr Geld damit, dass sie bessere Abschätzungen haben als ein 50:50 aus dem Bauch heraus. Das heißt natürlich nicht, dass sie im Einzelfall nicht auch mal auf dem völlig falschen Fuß erwischt werden können (Leicester City!), aber in der Summe scheint es ganz gut hinzuhauen.
Wer ist WIR? Ich kann nicht gemeint sein.
https://udostiehl.wordpress.com/2016/11/12/ein-gefaehrliches-wirus-breitet-sich-aus/
@CF
Wenn mir ein Wettbüro für das nächste Spiel Bayern-Dortmund Wettquoten anbietet, die einer erwarteten 90-Prozent-Siegwahrscheinlichkeit für Bayern entsprechen, dann würde ich sofort einen großen Geldbetrag auf Dortmund setzen. Leider sind die Wettbüros nicht so blöd, sonst wären sie ja schon längst pleite und müssten ins Prognosegeschäft bei Präsidentschaftswahlen einsteigen…
@Richard Ott: Sie wissen schon, dass die Wettquoten in den USA bei der Präsidentschaftswahl ähnlich lagen wie die Prognosen?
@Stefan Niggemeier: Ja natürlich. Die meiste Zeit war die Wahrscheinlichkeit für einen Clinton-Sieg laut der Wettquoten bei so ungefähr 80%. Was glauben sie wohl, auf wen ich tatsächlich gewettet habe?
Interessiert niemanden.
Sorry, aber einer musste es mal sagen.
Es ist kontraintuitiv und irreführend, dass sowohl Stimmenanteile als auch Siegwahrscheinlichkeiten in Prozent dargestellt werden, auch wenn man beides mathematisch auseinanderhalten kann.
Besser wären Aussagen wie: den neuesten Prognosen zufolge wird Kandidat x 47(+-5)% aller Stimmen erhalten und Kandidat y 45(+-5)%.
Da 47-5=42 weniger ist als 45, hat Kandidat eine Chance auf den Sieg. Wie groß die in Prozentpunkten ist, kann man nur ausrechnen, wenn man weiß, wie groß die Wahrscheinlichkeit einer Abweichung in Abhängigkeit von der Größe der Abweichung ist (Gauß’sche Glockenkurve?), wenn man weiß, ob die Abweichungen der beiden korrespondieren (-3% bei x = +3 bei y) oder nicht, und inwieweit die Abweichung die Unsicherheit der Wähler darstellt oder die Ungenauigkeit der Datenerhebung.
Dazu kommen noch die Ungenauigkeiten des US-Wahlsystems.
Meinetwegen könnte man auf Siegwahrscheinlichkeiten ganz verzichten, es reichte mir, wenn man einfach das Format x% wollen Trump wählen, y% Clinton, z% andere/sind unentschlossen, verwendete.
Toller Artikel. Danke. Zumal der letzte Satz: Die Vorhersage der Zukunft ist nicht die Aufgabe.
@Mycroft: Es geht ja gerade nicht darum, den Stimmenanteil vorherzusagen, sondern die Wahrscheinlichkeit, zu gewinnen. Der Kandidat mit dem höheren Stimmenanteil muss nicht der sein, der auch die meisten Wahlmänner und damit die Wahl gewinnt.
Oder was 538 angeht: dort haben Sie alles davon bekommen. Siegwahrscheinlichkeiten genauso wie vorhersagen für Stimmanteile und Wahlmännerzahlen inklusive Schwankungsintervallen. Sie haben das alles dort lesen und darüber auch sehen können, woher die Prozentzahlen denn kommen.
Problem: Das lässt sich in seiner Komplexität nur 1% der Leute erklären. Der Rest sieht (und bekommt) nur die Prozentzahlen und übersetzt sich die selber in die Prognose „Clinton ist hohe Favoritin“ (was streng genommen stimmt) und „Die Prognose lag daneben“ (was nach dem vorherigen Schritt natürlich auch stimmt).
Nun ist es ja auch wahrlich nicht immer so, dass diese Wahrscheinlichkeiten dermaßen seriös zustande kommen, wenn ich an Ereignisse wie die Fußball-WM oder den ESC denke, wo diverse Medien sich Prozentwerte einfach aus den Fingern saugen. Da waren Prognosen wie „Deutschland: 50% Titelchance, Frankreich 40%, Spanien 30%“* nicht selten. Das weiß auch der Leser. Da fällt es dann sicherlich auch schwerer zu differenzieren.
* ja, die Summe passt absichtlich nicht
Wozu überhaupt Wahlumfragen…ALLE Kandidaten sollten vorher gleichbehandelt werden, nicht nur Clinton und Trump! Das wäre seriöser.
https://m.youtube.com/#/watch?v=vqYJRc0TJkQ
Ich hätte jetzt und an dieser Stelle auch einen Hinweis erwartet auf den aktuellen Spiegel (Print-Ausgabe, S. 146) der ebenfalls die Prognose der University of Southern California lobt, weil diese als angeblich einzige Institution Trumps Wahlsieg vorhergesagt habe.
Dabei ist nicht nur bemerkenswert, dass – wie hier in diesem Artikel bereits bemerkt – die Prognose eine größere Fehlerabweichung hatte, als diejenigen, die Clinton vorhergesagt haben, sondern es zudem auch andere Prognosen gab, die Trump knapp in Führung sahen:
http://pollyvote.com/en/components/econometric-models/time-for-change-model/
Was mich ja wundert: Die jetzigen Erklärmuster zum Trump-Sieg folgen im Grunde der Theorie der Schweigespirale. Die schweigende Minderheit traut sich nicht ihre Meinung öffentlich zu sagen, wenn sie der Meinung in den dominanten, linken Massenmedien widerspricht. Aufgestellt hat die Theorie ausgerechnet eine der bekanntesten Demoskopinnen, Elisabeth Noelle-Neumann. Ihr Ziel war es eigentlich, die Meinung der schweigenden Mehrheit gerade durch Meinungsumfragen zu erkennen. Noelle-Neumann war also überzeugt, dass sie Trumps-Sieg hätte vorhersagen können. Belegt oder widerlegt das jetzt die Theorie der Schweigespriale (für die ein empirischer Beweis aussteht)?
(https://de.wikipedia.org/wiki/Schweigespirale)
Tut mir leid, aber der Artikel beschönigt einfach nur die völlig falschen Prognosen. Von den 18 Staaten in der Tabelle ist einzig New Mexiko für Clinton besser ausgegangen als prognostiziert (+8,3 statt „nur“ +5,8); alle anderen sind zumindest schlechter und ganze 10 Staaten fallen (zum Teil deutlich) aus dem 3%-Fenster heraus. Während das meist egal war (ob man in Alaska mit -10 oder -15 verliert, ist egal), ging es in den Arbeiter-Staaten Wisconsin, Michigan und Pennsylvania voll daneben. Für diese wurde selbst für den absoluten worst-case noch ein klarer Sieg prognostiziert; die Umfrage lag um volle 5% daneben.
#41 Jessica
Oh, Link funzt nicht. Dann so:
https://www.youtube.com/watch?v=vqYJRc0TJkQ
So ein Unsinniger Artikel!
Wenn es in einigen Bundesstaaten knapp hergeht, besteht die Chance alle Wahlmaenner zu bekommen fuer beide bei 50% +/- 1 bis 2%.
Und das ist jetzt in mehreren Bundesstaaten so, dann kann ich niemals auf eine Wahrscheinlichkeit von 83% kommen, sondern bleibe bei knapp 50% fuer beide Kanidaten.
Wuerde Amerika mit dem Popular Vote die Praesidenten bestimmen, dann waeren die 83 % Wahrscheinlichkeit fuer Hillary in Ordnung gewesen.
Warum wandelt Ihr Euch vom Medienkritiker zum Medienlobhudler?
@Stefan Niggemeier 21: Danke für die Erklärung, ich habe versehentlich „Electoral College“ als „Popular Vote“ verstanden und hielt die Schlussfolgerung dementsprechend für falsch.
Von der Akkuratesse der Umfragen abgesehen: Es wird oft behauptet, dass Clinton die wahre Siegerin sei, da sie mehr Stimmen bekam. Bei einem modernen Wahlsystem hätte sie also gewonnen etc. Es kann aber m.E. sein, dass ein Republikaner-Fan in Kalifornien oder New York, ein Demokrat in Wyoming oder Missouri gar nicht zur Wahl geht, weil er weiß, dass seine Partei dort eh keine Aussichten hat. Die Wahlkampagnen laufen intensiv nur in Swing States. Das Bewusstsein des Wählers vom Wahlmännersystem beeinflusst die Wahlbeteiligung also (erklärt für mich auch teilweise die recht geringe Wahlbeteiligung, dazu kommt diese seltsame Wählerregistrierung usw.). Popular Vote finde ich nur aussagekräftig, wenn die Wähler von vornherein wissen, dass das Popular Vote entscheidet.
@Arko: Ja, zu formulieren, dass Clinton die wahre Siegerin sei, ist aus den genannten Gründen sicher falsch. Aber umgekehrt ist es auch falsch, wenn Leute sagen, Trump hätte die meisten Stimmen geholt.
@Mader Reiner #46: Sie haben anscheinend ähnliche Probleme mit Wahrscheinlichkeiten wie im Text beschrieben. Ich erkenne in ihrem Kommentar zwei populäre Irrtümer.
1. Wenn es in einem Staat knapp hergeht dann wird einer der Kandidaten (höchstwahrscheinlich) ein wenig mehr als 50% der Stimmen bekommen, der andere Kandidat etwas weniger als 50%. Die in einer Umfrage ermittelte Wahrscheinlichkeit mit der Kandidat A gewinnt kann aber trotzdem weit über 50% sein. Wenn man theoretisch eine „perfekte Umfrage“ durchführen könnte, kann sogar die Wahrscheinlichkeit 100% betragen, dass Kandidat A 51% der Stimmen bekommt. Die Wahrscheinlichkeit, mit der ein Kandidat gewinnt, hat eben nicht nur mit dem knappen Meinungsbild sondern zuallererst mit der Qualität der Daten zu tun.
2. Stellen Sie sich vor in allen Staaten bis auf drei Staaten steht das Ergebnis schon fest, in den drei Swing-States ist die Wahrscheinlichkeit 50/50. Jetzt ist es so, dass Kandidat A alle Swing-States gewinnen muss um (gemeinsam mit dem Stimmen aus den sicheren Staaten) die Wahl zu gewinnen. Wie groß ist die resultierende Wahrscheinlichkeit? 12,5% für Kandidat A.
Wenn wir jetzt die Anzahl der Swing-States in dem Beispiel auf 6 erhöhen, dann verringert sich die Wahrscheinlichkeit auf 1,6%. Die Tatsache, dass es in mehreren Staaten knapp ist, schließt also keinesfalls eine hohe Siegeswahrscheinlichkeit für einen der Kandidaten aus. Wesentlich ist die Verteilung der Staaten in denen es nicht knapp wird.
Grade bei Wahrscheinlichkeiten empfiehlt es sich, sich nicht auf sein Gefühl zu verlassen, sondern vorsichtshalber nachzurechnen. Rätsel wie das „Monty-Hall-Problem“ illustrieren die Schwierigkeiten, die Menschen beim intuitiven Einschätzen von Wahrscheinlichkeiten haben, eindrucksvoll. Sie sind aber gerne eingeladen aufgrund der bekannten Daten auf mathematischem Wege zu zeigen warum die 83% ein (absichtlicher oder unabsichtlicher) Rechenfehler war, wie sie andeuten.
@Niggemeier, #39:
Wenn es nur um die Wahlmänner geht, sind solche Prognosen doch doppelt irreführend.
Man müsste für jeden Staat einzeln per Umfrage das Wahlergebnis prognostizieren. Wenn der Unterschied zwischen den Hauptkandidaten kleiner oder nur knapp über der Unschärfe der Umfrage liegt, läuft das in einem Staat praktisch auf 50:50 hinaus. Wenn ein Kandidat in einer Umfrage einen Vorsprung hat, der sagen wir doppelt so hoch ist wie die Ungenauigkeit der Umfrage, müssten sich beide Ungenauigkeiten bei der Wahlquasi maximal aufaddieren, damit der vermutete Sieger doch noch verliert, der Sieg ist also „ziemlich“ sicher. Insbesondere, weil die Messung das Ergebnis beeinflusst, bei sehr knappen Ergebnissen sind die Anhänger der unterlegenen Partei ja durchaus motiviert, das Blatt noch wenden zu wollen. Und ich kann mich an verschiedene Umfragen mit knappen Vorsprüngen erinnern. Nicht annähernd was die 83% suggerieren.
Und dann wäre es mMn für alle Beteiligten am besten zu sagen, wie viele Wahlmänner jeder Kandidat „so gut wie“ sicher hat. Wenn Trump z.B. 6 sicher hätte und Clinton 30, und die anderen 503 sind in der 50:50 Kategorie, dann hätte Clinton per Extrapolation eine 30/36= 83%ige Chance auf einen Sieg, aber das ist dann eben irreführen.
Bei 60 und 300 „so gut wie“ sicheren Wahlmännern wären das auch 83%, aber da wäre die Extrapolation nicht so halsbrecherisch mutig, weil die 300 ja schon die Mehrheit sind.
@Mycroft: Nochmal, FiveThirtyEight hat das nicht pi-mal-Daumen geschätzt, sondern im Detail simuliert. Die haben für jeden Staat einzeln berechnet, wie die Chancen stehen. Und daraus errechnet, wie die Chancen stehen, dass ein Kandidat genügend Staaten gewinnt, um die Mehrheit der Wahlmänner zu haben. Mit eingegangen in die Berechnung ist zum Beispiel auch die Annahme, dass es womöglich systematische Fehler in den Umfragen geben könnte. Und dass wenn die Zustimmung zu Trump in einem Staat unterschätzt wird, dass sie wahrscheinlich auch in anderen, ähnlichen, umliegenden Staaten unterschätzt wird.
Im Detail u.a. nachzulesen hier.
@Mycroft: Ich habe zwar nicht verstanden was sie mit beiden unsicherheiten meinen, die sich maximal aufaddieren, aber ich bin ziemlich sicher, dass zumindestens die Grundlagen von Statistik und Wahrscheinlichkeitsrechung bei den Demoskopen bekannt sind. Bei ihren genannten Zahlen (6 für Trump, 30 für Clinton) käme selbstredent eine Wahrscheinlichkeit von ziemlich genau 50% raus. Der Platz hier reicht sicherlich nicht für einen Crashkurs in Mathematik aber eine grobe Erklärung kann ich schon liefern: In dem von Ihnen geschilderten Fall muss man für jede mögliche Kombination von gewonnenen Staaten die Wahrscheinlichkeit berechnen (ja das sind enorm viele Kombinationen, aber es gibt „Abkürzungen“). Dann schaut man für jede dieser Kombinationen, welcher Kandidat gewinnen würde und addiert dann alle Wahrscheinlichkeiten von allen Szenarien in denen Kandidat X gewinnt.
Der Artikel kritisiert doch grade dem Umgang mit Wahlerprognosen. Sie glauben, dass die 83% im Widerspruch zu den vielen knappen Umfrageergebnissen liegen (ich nehme an, sie meinen knappe Umfrageergebnisse in einzelnen Staaten). Diese „Suggestion“ ist falsch, was ich in #49 dargelegt habe.
Dass Ihre interpretation der 83% nonsense ist, hätte ihnen übrigens auch ohne mathematischen background auffallen können. Ihr zweites Beispiel (300 sichere Stimmen für Clinton bei 539 Stimmen insgesamt) klingt für mich eher nach 100% Chance für Clinton. Da kommt es natürlich darauf an was „so gut wie sicher“ heißt, aber das sind alles Dinge bei denen sich echte Demoskopen nicht auf ihr Bauchgefühl verlassen, sondern belastbare Daten heranziehen und diese in geeignete Formeln einfließen lassen.
Ok, anders formuliert (Die 6+30 waren ein extremes Beispiel):
Die 83% reduzieren viele verschiedene Faktoren auf eine Prozentzahl. Das ist vom mathematischen Ansatz her sicher seriös, aber sehr unanschaulich.
Ein Punkt, den ich kritisieren möchte, ist der, dass es z.B. in der Wettervorhersage viel mehr Fälle gibt, wo man Theorien und Modelle an der Beobachtung abgleichen kann, als bei US-Präsidentenwahlprognose; diese Wahl kam mir außerdem (das mag sehr „gefühlt“ sein) sehr viel aggressiver vor als andere. Insofern kann man vorhandene Modelle vllt. nicht beliebig übertragen.
Ein anderer ist, dass das Wissen um eine Prognose das Wählerverhalten ändert, und es mehr als eine Prognose gibt.
Eine Aussage, wie viele Wahlmänner „unsicher“ sind, wäre da deutlich hilfreicher, jedenfalls was mich betrifft.
Ich glaube auch dass bei diesen Vorhersagen und Wahrscheinlichkeiten die Intuition versagt und deshalb die meisten Menschen das für unseriös halten (was es aber nicht ist).
Ein ähnliches Phänomen findet man übrigens auch in vielen anderen Themenfeldern, z.B. bei den Klimamodellen zur Erderwärmung. Auch dort wird seriös mit vielen verschiedenen Wahrscheinlichkeiten und Störungen gerechnet um ein Ergebnis zu bekommen — bei den meisten Menschen stößt das aber auf Unverständnis. Und die Vereinfachung der Journalisten (CO2 führt zu 2°C Erderwärmung) tut ihr übriges dazu bei, weil alle anderen Faktoren in diesen Modellen journalistisch ignoriert werden.
Das tragische ist, dass diese Modelle und ihre Wahrscheinlichkeit immer nur dann in die Medien kommen, wenn sie versagen. Dadurch wird natürlich die Ansicht „ist doch alles Hokuspokus“ verstärkt. Das in vielen wissenschaftlichen Bereichen erfolgreich so gerechnet wird, kommt in den Massenmedien einfach nicht vor.
Wie man da aber mehr Verständnis erzeugen könnte, ist mir auch nicht klar. Denn — und da sind wir wieder am Anfang — Wahrscheinlichkeiten sind einfach intuitiv nicht begreifbar. Selbst ausgewiesene Statistiker liegen bei „Bauchentscheidungen“ zu Wahrscheinlichkeiten oft daneben. Man muss da — wie Jakob B. schon schrieb — einfach immer nachrechnen um sich nicht zu verschätzen.