Eine Zahl dominiert die Titelseite des „Handelsblatts“ vom 26. Januar 2021. Schon optisch mutet die fett gedruckte Acht wie die tragende Säule der Überschrift „Rückschlag beim Impfstoff“ an. Das Corona-Vakzin des Herstellers Astra-Zeneca wirke bei Senioren nur zu acht Prozent, lässt die Unterzeile wissen.
Wobei von „wissen“ keine Rede sein kann – nicht im Mindesten. Zwar empfahl zwei Tage später die Ständige Impfkommission (Stiko) den Impfstoff nur für Menschen unter 65 Jahren. Doch nicht wegen fehlender Wirksamkeit, sondern wegen noch fehlender Daten in dieser Altersgruppe.
Christian J. Meier arbeitet als freier Wissenschaftsjournalist, Sachbuch- und Thrillerautor für verschiedene Medien. Seine Lieblingsthemen sind Naturwissenschaften, Digitalisierung und künstliche Intelligenz, worüber er bei Riffreporter schreibt. Er twittert unter @sciencewatch.
Journalisten lernen, sorgfältig mit Sprache umzugehen. Aber mit Zahlen? Da wäre noch mehr Vorsicht angebracht, erst recht in der aktuellen Coronakrise. Denn Zahlen sind die Sprache der Pandemie. Sie unterrichten die Menschen über den Stand der Dinge: Breitet sich das Virus aus, wenn ja, wie schnell? Wie groß ist das Risiko, schwer zu erkranken oder zu sterben oder eben: Wie gut wirkt der Impfstoff X in meiner Altersgruppe?
Zahlen beeinflussen das Verhalten der Menschen, ähnlich einer Tachonadel, die den rechtzeitigen Tritt auf Bremse veranlasst. Sie senden eine klare Botschaft. Schnell steigende Neuinfektionen bedeuten Alarm. Ein Impfstoff mit acht Prozent Wirksamkeit: wertlos.
Weil sie Exaktheit und Wissenschaftlichkeit suggerieren, untermauern Zahlen das Gesagte. Deshalb sind sie auch ein beliebtes Instrument der Desinformation. Radikale Gegner der Coronapolitik streuen sie, um zu verunsichern.
Ein paar Beispiele: Angeblich seien in den USA nur sechs Prozent der „offiziellen“ Coronatoten tatsächlich an Covid-19 gestorben (was Faktenchecker widerlegten). Oder: Jeder fünfte Proband einer frühen Impfstoffstudie des Herstellers Moderna sei ernsthaft erkrankt (ebenfalls von Faktencheckern zurechtgerückt). Auf dem bildlichen Tacho tauchen neben der „offiziellen“ Tempoanzeige viele andere Zahlen auf, größere wie kleinere. Soll der Fahrer jetzt bremsen, soll er Gas geben?
Wer zersetzen will, bedient sich völlig frei am kursierenden Zahlenmaterial und interpretiert es nach Belieben. Wer hingegen den Anspruch hat, die Öffentlichkeit aufzuklären, hat es nicht so leicht. Statt eine Zahl achtlos in die Arena zu werfen, muss er sie auf Herz und Nieren prüfen. Erst recht, wenn die zitierte Zahl nicht einer wissenschaftlichen, von Fachkollegen bereits begutachteten Quelle entstammt, sondern „Koalitionsskreisen der Bundesregierung“, wie das „Handelsblatt“ seine Leser wissen ließ.
Wissenschaftler lernen, eine Hypothese zu prüfen, indem sie versuchen, sie zu widerlegen: Alles ist nur so lange gültig, wie neue Daten nicht dagegen sprechen. Die genannten acht Prozent halten einer solchen Prüfung keine fünf Minuten stand. Schon ein flüchtiger Blick in eine Studie von Forschern der University of Oxford, die die Immunantwort auf den Astra-Zeneca-Impfstoff in verschiedenen Altersgruppen untersuchte, lässt die acht Prozent wackeln. Die Forscher führten die Studie eigens durch, um die Immunantwort zu untersuchen, die der Impfstoff bei Älteren auslöst.
Fast die Hälfte der 560 Probanden war über 70 Jahre alt. Das Fazit: Das Vakzin löse über alle Altersgruppen hinweg eine ähnlich starke Immunantwort aus. Zwar ist das eine frühere Studie, noch nicht die so genannte Phase-III-Studie, die Wirksamkeit und Unbedenklichkeit eines neuen Impfstoffs oder Medikaments an einem großen Patientenkollektiv und damit mit statistischer Signifikanz prüft. Das Gesamtbild kann sich noch verändern. Doch das Ergebnis der Studie passt nun mal nicht zu der Aussage, der Impfstoff sei bei Senioren wirkungslos. Es passt auch nicht zur Anwendungspraxis des Vakzins, der in Großbritannien auch an Senioren verimpft wird.
Fakt ist, dass die Wirksamkeit des Impfstoff bei über 65-Jährigen noch unklar ist. In den laufenden Phase-III-Studien sind die Senioren unter den bislang knapp 12.000 Probanden mit 660 stark unterrepräsentiert. Das bedeutet, man kann zwar einen Schätzwert für die Wirksamkeit angeben, doch dieser ist extrem unsicher, kann also nach unten oder oben stark abweichen.
Zwei Tage nach der „Handelsblatt“-Story wurde die Berechnung publik, auf die die „Handelsblatt“-Autoren oder ihre Quellen sich stützten. Sie zeigt, dass in der Altersgruppe über 65 nur zwei Infektionen auftraten, jeweils eine unter den geimpften Probanden und in der Kontrollgruppe, die ein Placebo erhalten haben. Rechnerisch ergibt sich ein Schätzwert von einigen Prozent, die wohl den zitierten acht Prozent zu Grunde liegen. Doch wegen der extrem geringen Zahl an Infektionen bleibt eine riesige statistische Unschärfe, die Wirksamkeit könnte auch viel größer sein. Das Ergebnis ist also nichtssagend, und keine Grundlage für eine Schlagzeile.
Die Kritik am Astra-Zeneca-Impfstoff kann also allenfalls darauf abzielen, dass seine Wirksamkeit bei Älteren noch unklar ist. Dieses Unwissen kann Anlass sein, ihn nicht bei Älteren einzusetzen. Dass es für verschiedene Altersgruppen verschiedene Impfstoffe geben könnte, ist jedoch seit Monaten klar und hat mit einem „Rückschlag“ nichts zu tun. Höchstens wirkt es sich auf die geplante Impfreihenfolge aus.
Zurecht holt sich ein Mitautor des „Handelsblatt“-Artikels, Gregor Waschinski, auf Twitter vernichtende Kritik ein: „Very badly done“ – „Sehr schlecht gemacht“, wettert der spanische Europaparlamentarier Luis Garicano.
Achtloser bis inkompetenter Umgang mit Zahlen begegnet dem Publikum indessen täglich. So marschieren starke Ausschläge bei den Neuinfektionen oder Todesfällen scheinbar widerstandslos in die Überschriften. Von wo sie mitunter widersinnige Botschaften senden. Während seit Tagen die Zahlen spürbar sinken, heißt es mittwochs plötzlich, die Fallzahlen stiegen deutlich. Seit Monaten wissen die Redaktionen um die wochentäglichen Schwankungen, die mit dem Meldeverzug vom Wochenende viel mehr zu tun haben als mit der Dynamik der Pandemie. Dass mittwochs mal doppelt so viele Neuinfektionen anfallen wie dienstags, sollte sie nicht wundern. Trotzdem suggerieren sie, die Ansteckungen seien in den letzten 24 Stunden erfolgt.
Warum nicht jeweils das Sieben-Tage-Mittel oder die Sieben-Tage-Inzidenz melden und damit einen ruhigeren Blick auf das Geschehen werfen?
Nach einem Jahr Pandemie sollte jede Redaktion begriffen haben: Ohne eine ausreichende Zahl qualifizierter und sorgfältig arbeitender Wissenschaftsjournalisten in den Reihen ihrer Redakteure und freien Mitarbeiter steht man immer im Risiko, gewaltig danebenzuliegen. Und sich so zu blamieren wie das „Handelsblatt“. So wie Sportjournalisten jeden Move eines Fußballspielers einschätzen lernen und Politikjournalisten im Nebensatz der Kanzlerin eine breaking news entdecken, können Wissenschaftsjournalisten in Studien auch das Kleingedruckte interpretieren – und redaktionsintern Kollegen vor Kurzschlussfolgerungen warnen.
Guter Wissenschaftsjournalismus ist kostspielig, ja. Aber daran zu sparen ist noch viel teuer.
Übermedien arbeitet zum Thema Corona mit WissenschaftsjournalistInnen von RiffReporter zusammen. Wir veröffentlichen gemeinsam Artikel, die sich mit der Berichterstattung über Corona beschäftigen.
Bei RiffReporter berichten rund 100 freie JournalistInnen gemeinsam zu Wissenschaft, Umwelt, Technologie, Gesellschaft und Internationales. Ein Schwerpunkt ist auch die Berichterstattung über das Corona-Virus.
Während ich der Grundaussage natürlich zustimme, frage ich mich doch wirklich, ob es für die hier aufgeführten Beispiele extra ausgebildete Wissenschaftsjournalist*innen braucht.
Man kann es ja gar nicht oft genug betonen: Das Handelsblatt (bzw. der Kontakt aus dem Ministerium) fußt diese Behauptung darauf, dass 1/341 weniger ist als 1/319, aber eben nur im einstelligen Prozentbereich nach der gängigen Wirksamkeitsberechnung. Das sollte doch intuitiv klar sein, dass darüber schlicht keine sinnvolle Aussage zu treffen ist, oder erwarte ich da zu viel?
Die Schlagzeilen zu den Mittwochszahlen sind noch unverständlicher – zwar ist es natürlich kritikwürdig, dass nach fast einem Jahr in den Gesundheitsämtern kein über die Woche gleichmäßiger Arbeitsfluss aufgebaut wurde, man kann das aber selbst als durschnittiche Bürger*in, geschweige denn als Journalist*in eigentlich nicht nicht mitbekommen haben.
Man soll ja keine Absicht unterstellen, wenn Inkompetenz als Erklärung ausreicht, aber können die wirklich so inkompetent sein? Letzteres ist wohl die Frage der Pandemie und deshalb kommen jetzt Monate des Verzeihens auf uns zu…
Vielleicht ein bissl OT, aber sorry, es brennt mir auf der Seele:
In diesem Zusammenhang wird jetzt ja auch viel darüber diskutiert, dass es eine Zwei-Klassen-Medizin wäre, wenn Jüngere nur den Impfstoff von AZ bekämen.
Aber: 70% Wirksamkeit ist einmal schon so ziemlich gut. Und dann darf man halt nicht den ganzgesellschaftlichen Effekt ausblenden. Selbst wenn wir alle nur AZ bekämen: Durch Herdenimmunität wären dann nahezu zu 100% geschützt, weil das Virus innerhalb kürzester Zeit austrocknen würde.
Zum Thema:
Es ist eine Mischung aus Inkompetenz und Ignoranz. Nach dem Motto: „Die lästige Statistik… trocken und mühsam, lass mal gut sein.“ In den Lehrplänen von Schulen und Unis wird Statistik und insbesondere der Umgang mit Statistiken ja schon nur sehr stiefmütterlich behandelt. Und allerorten wird das Mantra meiner Statistikprofessorin mißachtet, wonach %-Angaben nur sinnvoll sind, wenn mindestens 100 Fälle vorhanden sind.
Und dass über den Daumen jedwede Statistik nur sinnvoll ist, wenn wenigstens 15 Fälle aufgetreten sind, könnte man sich aber leicht merken und das ist durchaus intuitiv, aber wohl auch zu viel verlangt.
Eins wäre wohl gut gewesen: Die Leute, die die 8% formuliert haben, weil sie halt da hin musste, hätten halt „keine Angabe möglich“ schreiben müssen, denn sie wussten ja, wie wertlos die Zahl ist. Die Frage ist, ob der Fehler bei denen lag, oder bei den (gutgemeinten) Vorschriften, die sie dazu zwangen.
Nachtrag:
Ich glaube, dass die Diskussion um die Zwei-Klassen-Medizin ohne diesen Handelsblatt-Fauxpaus nicht solchen Schwung bekommen hätte, von daher wars auch nicht ganz OT :-p
@Peter Sievert Jup, das ist ja exakt das, was etwa Lauterbach jetzt befürchtet. Dass es einen „guten“ und einen „schlechten“ Impfstoff gibt und alle versuchen, den guten zu kriegen und dafür im Zweifel lieber warten – was schlecht für uns alle ist.
Was ich aber an der ganzen ganzen Geschichte immer noch nicht verstehen – und ich würde Geld dafür zahlen, wenn es mir jemand erklärt – wo das Handelsblatt die 8 % herhaben will? Hat ihnen das jemand gesagt? Steht das irgendw? Im Artikel hier steht dazu : „Rechnerisch ergibt sich ein Schätzwert von einigen Prozent, die wohl den zitierten acht Prozent zu Grunde liegen.“, aber das sind ja dann trotzdem Sechkommairgendwas Prozent. Ich weiß wirklich nicht, wie man auf die 8 kommt?!
@Daniel
Das ist jetzt Statistik, die schon ziemlich über den Schulstoff hinaus geht. Parameterschätzung der Differenz zweier Normalverteilungen.
Letztlich ist es daraus berechnet, dass wenn 1 von 349 Geimpften sich infiziert hat 0,2865% und aber auch 1 von 319 Geimpften, was 0,3135% entspricht, dann kann man daraus errechnen, dass bei 6% der Impstoff immerhin gewirkt haben muss, weil sonst ja auch 0,3135% der Geimpften, nämlich 1,09 Personen sich hätten anstecken müssen. Hätten sich bei den 319 Nichtgeimpften 2 Personen angesteckt, dann wäre stattdessen eine Wirksamkeit von weit über 50% als Schätzung heraus gekommen und hätte sich die 1 Person der Geimpften nicht infiziert, wären 100% als Schätzung heraus gekommen.
Diese Rechnung zeigt natürlich auch wie absurd das Ganze ist. Das 95%-Intervall ist quasi unendlich groß.
Im Text ist der Tweet von Oliver Moody verlinkt („wurde die Berechnung publik“, da siehst Du die originale Quelle, die sowohl Parameter-Schätzung, wie auch das Konfidenzintervall angibt.
Aaaaahhh, sorry, Daniel, jetzt merke ich erst, was Du meinst. Es geht um den Unterschied von 6% zu 8%, da muss ich nachlegen.
Ich vermute folgendes: 0,2865% von 0,3135% sind etwa 91,4%. Eine ganz naive Parameterschätzung (ohne Berücksichtigung unbekannter Grundgesamtheit etc.) wäre also eine Wirksamkeit von 8,6%, denn es gab relativ betrachtet 8,6% weniger Infizierte bei den Geimpften als bei den Ungeimpften. Aber das ist nur eine Vermutung.
Ein Hinweis findet sich auf T-Online 26.01.2021, Das sollten Sie über das Impfstoff-Chaos wissen):
das Gesundheitsministerium … liefert eine mögliche Erklärung: „Auf den ersten Blick scheint es so, dass in den Berichten zwei Dinge verwechselt wurden: Rund acht Prozent der Probanden der Astrazeneca Wirksamkeitsstudie waren zwischen 56 und 69 Jahren, nur 3 bis 4 Prozent über 70 Jahre. Daraus lässt sich aber nicht eine Wirksamkeit von nur acht Prozent bei Älteren ableiten.“
Also, aus dem relativ sinnvollem Kritikpunkt, dass ausgerechnet die Hauptrisikogruppe in den Testreihen unterrepräsentiert ist, wurde eine Phantasiezahl, deren rechnerische Ermittlung niemand mehr nachvollziehen kann?
Für den wenig sachkundigen Umgang mit Zahlen gibt es noch dramatischere Beispiele: Vor einiger Zeit beanstandete der rechtsgerichtete österreichische Fernsehsender „servus tv“ die Angabe der Zahl der Infizierten eines Verwaltungsbezirks pro 100.000 Einwohner mit der Begründung, dort würden nur weniger als 50.000 Menschen leben. Eine Korrektur dieser bizarren Meldung ist m.W. bis heute nicht erfolgt.
Ebenfalls ein Fall, um gegen die Tischkante zu donnern: In Querdenker- und Schwurbelkreisen wurde jüngst festgestellt, dass der BionTech-Impfstoff nur wenig besser wirke, als gar keine Impfung. Wie kam man darauf? Man hat mit Blick auf die Phase-III-Studie die Zahl der Infizierten in der Placebo-Gruppe (unterer dreistelliger Bereich) und die Zahl der Infizierten in der geimpften Gruppe (einstellig) jeweils in Relation zur Zahl der Probanden (> 40 k) gesetzt und dann den prozentualen Unterschied ermittelt.
Beide Formen von QuatschMathe fanden weite Verbreitung.
@Th. Koch
Es bleibt in den Fällen die Fragen offen, ob dabei anstatt weniger Sachkunde eine manipulative Absicht am Werke war.
Am meisten habe ich gestaunt, als die bei servus TV rausgelassen haben, die Fa. Berlin Chemie würde eine Impfstoff-Produktion aufbauen.
Das ist absurd, das kann kein Irrtum sein. Da ist manipulative Absicht am Werke.
Was bei der medialen Berichterstattung helfen könnte, wäre, endlich mal konsequent über Unsicherheite zu berichten. Es ist schon richtig, dass Zahlen Sicherheit vermitteln – nicht umsonst gibt es deswegen in der Statistik das Konzept der Konfidenzintervalle. Wenn man diese Intervalle konsequent mitnehmen und kommentieren würde, dann wäre auch die Berichterstattung transparenter und man würde auch sofort sehen, wenn eine Aussage schlicht zu schwach ist: Wenn das Konfidenzintervall so dermaßen absurd groß ist, wie es bei der Altersgruppe der Menschen Ü65 ist, dann kann man daraus halt nur nüchtern schließen: „Joa, im Feldversuch hatten wir noch nicht genug Daten, um einen Effekt zu sehen“.
Was bei der ganzen Impfstoffdebatte auch noch wichtig wäre, wäre es sauber zu definieren, was man nun mit „Impferfolg“ meint. Gemeinhin heißt das eigentlich, dass man die Krankheit nicht festgestellt hat – also mal naiv interpretiert, dass die Krankheit zu X Prozent seltener bei Geimpften ausbricht, als bei Nicht-Geimpften. Das ist aber nur ein Merkmal: Wichtig ist auch, ob und wie eine Impfung einen Krankheitsverlauf beeinflusst. Wenn eine Impfung zwar nur zu 60% eine Erkrankung verhindert, aber insgesamt zu 98% einen schweren Verlauf und relevante Folgeschäden, dann steht der Impfstoff viel besser dar, als es die kleine Impfeffektivität vom numerischen Wert her vermuten lässt.
Noch ein weiterer Aspekt: Es kommt auch beim Grippeimpfstoff vor, dass der bei Älteren schwächer wirkt. Im Umkehrschluss kann das aber auch heißen, dass der Impfstoff bei jüngeren (also bspw. U40) noch stärker wirkt, als die Zahlen, die aktuell für AstraZeneca im Umlauf sind.
Um einen Impfstoff also vollumfänglich zu bewerten braucht es mehrere Größen und einen genauen Blick. Da reicht es nicht, einfach mal mit irgendwelchen Prozentzahlen um sich zu werfen.
Da habe ich was verdreht, sorry.
Gelogen hat nicht servus TV, sondern die Berliner Gesundheitssenatorin Dilek Kalayci. Damit will ich nicht andeuten, SPD und Frau sei eine toxische Mischung, nur damit das klar ist.
https://taz.de/Angebliche-Impfstoffproduktion-in-Berlin/!5748078/