Am Ende schaut noch ein Mensch drauf – aber wie?

„Human in the loop“. Irgendwo im Workflow sitzt noch ein Mensch, der kontrolliert und verantwortet. Das Prinzip aus der Automatisierungstechnik ist innerhalb kurzer Zeit zu einer Beruhigungspille der Medienbranche geworden. Es steht in KITechnologie, die Maschinen oder Software befähigt, Aufgaben auszuführen, die normalerweise menschliche Intelligenz...-Richtlinien der großen öffentlich-rechtlichen Sender, der Nachrichtenagenturen, der großen Verlage.

Für journalistische Betriebe ist das Prinzip ein beruhigender Gedanke: Egal, was die Maschine anstellt, es geht nichts raus, was nicht auch ein Mensch gesehen hat. Damit wird der Einsatz von KI verantwortbar – was grundsätzlich sinnvoll ist, schließlich lässt sich die Technologie nicht mehr wegdiskutieren. 

Was in den Richtlinien steht

ARD, ZDF, Deutschlandradio und Deutsche Welle haben sich im Januar auf einen gemeinsamen KI-Kodex verständigt: sechs Punkte auf zwei Seiten. Zu redaktioneller Kontrolle und Transparenz heißt es:

Die redaktionelle Kontrolle und die Einhaltung der journalistischen Sorgfaltsgrundsätze stellen wir auch dann sicher, wenn uns generative KI bei der Erstellung journalistischer Inhalte unterstützt. Die publizistische Verantwortung liegt beim Menschen, nicht bei dem System.

Der „Tagesspiegel“ verlangt in seinen redaktionellen KI-Richtlinien für „originär journalistische Formate“ eine „finale Abnahme in der Redaktion“:

Wir prüfen Ergebnisse, die mithilfe von KI erzielt wurden, ebenso wie Quellen und Methoden.

Wer wann was und auf welchen Grundlagen genau prüft, steht aber weder im öffentlich-rechtlichen KI-Kodex noch in den Richtlinien der „Tagesspiegels“. Ähnlich sieht es in den KI-Guidelines der Deutschen Presse-Agentur (dpa) aus, deren Meldungen in praktisch jeder deutschen Zeitung landen. Dort gilt:

Die letzte Entscheidung über den Einsatz von KI-basierten Produkten trifft ein Mensch.

Mit einer eigenen „Dienstanweisung KI“ geht die dpa dann aber weiter als viele andere Medienhäuser. Sie verweist darin auf einen internen „Praxisleitfaden“, der Übermedien vorliegt und tatsächlich genauer fasst, was anderswo fehlt: Welche Tools sind bei der dpa im Einsatz und wofür dürfen sie benutzt werden? Wer muss eine KI-Fassung prüfen? (Dieselbe Person, die schon den Originaltext verantwortet hat.) Und, an einem Beispiel durchdekliniert: In welchen Schritten hat das abzulaufen?

Öffentlich einsehbar bleibt in allen Fällen das Bekenntnis, dass am Ende ein Mensch entscheidet. Legt man die offiziellen KI-Richtlinien deutscher Medienhäuser nebeneinander, auch über die eben genannten hinaus, klingen sie alle fast identisch – und hören an genau derselben Stelle auf. Genau dort, wo sich die wirklich wichtigen Fragen stellen.

Wie genau verhält sich der Mensch im Loop?

Seit Jahrzehnten ist der sogenannte „automation bias“ gut erforscht: Wer ein System überwacht, das zuverlässig arbeitet, übernimmt dessen Ergebnisse immer öfter ungeprüft und übersieht Fehler, die er ohne das System bemerkt hätte. Der Effekt wird stärker, je zuverlässiger das System normalerweise arbeitet.

Das kennt jeder, der beim Autofahren seinem Navi schon mal in einen Feldweg gefolgt ist, obwohl der Blick durch die Windschutzscheibe zeigt, dass da etwas nicht stimmt.

Ein schlechtes Sprachmodell, das jeden dritten Satz vergeigt, dürfte also sehr gründlich kontrolliert werden. Ein sehr gutes, das nur alle zwei Wochen einen Namen verwechselt, dagegen kaum noch. Gute KI-Systeme erzeugen die schlechteste Aufsicht. Zumal sich das reine Aufpassen nach dem Stand der Forschung auch nicht ewig durchhalten lässt. Schritt für Schritt schwindet die Konzentration für die dringend nötige Kontrolle.

Wer den „human in the loop“ einsetzt, muss also auch klären, wie die Prüfung von KI-generierten Texten genau aussehen soll. Wie viel Zeit er dafür im redaktionellen Alltag zur Verfügung stellt. Wie er dafür Sorge trägt, dass die Prüfung mit der Zeit nicht zur Formalie, sondern weiter ernsthaft betrieben wird.

Was bedeutet der „human in the loop“ für das Vieraugenprinzip?

In Redaktionen gilt eine Regel, die älter ist als das Internet: Kein Text geht raus, den nur eine Person gesehen hat. Wer schreibt, gibt nicht frei. Das Vieraugenprinzip sichert, dass journalistische Standards eingehalten werden.

Diese Kontrolle kann in ein Verhör ausarten: Woher kommt diese Information? Hat die Gegenseite geantwortet, und wenn nein, seit wann liegt ihr eine Anfrage vor? Warum steht der Vorwurf in der Überschrift und die Erwiderung in Zeile 42? Das Vieraugenprinzip nervt, JournalistPerson, die Informationen recherchiert, prüft und anschließend der Öffentlichkeit zur Verfügung stellt,...:innen empfinden den Kontrollschritt immer wieder auch als Angriff auf ihre Kunst. Gleichzeitig ist er für das journalistische Arbeiten elementar.

Natürlich ist das Vieraugenprinzip auch unter zwei Menschen nicht immer so robust, wie es klingt. Schon 2010 beschrieb das „medium magazin“: Wer Kolleg:innen Fehler nachweist, gilt schnell als Korinthenkacker. Entsprechend weich fällt das Gegenlesen oft aus. 

Genau dieser Schritt läuft in der Arbeit mit KI erst recht Gefahr, unter die Räder zu kommen. Natürlich kann ein:e Journalist:in einem Sprachmodell dieselben Kontrollfragen stellen wie einem Menschen – und bekommt dann auch sofort und höflich Antworten. Nur sind auch das generierte Texte und keine Erinnerung an eine Recherche.

Worin das münden kann, sieht man bei Axel Springers KI-Portal „Upday“, das ungehemmt und ohne Quellenangaben von anderen Medien abschreibt, Details verfälscht und Zitate aus dem Kontext reißt, immer mit dem für Sprachmodelle typischen Selbstbewusstsein – und trotz der 30 Mitarbeiter:innen „aus allen Redaktionen von Axel Springer“, die „Upday“ laut dem Verlag angeblich betreuen.

„Human in the loop“ klingt nach einer zusätzlichen Sicherung, nach dem zweiten Paar von vier Augen. Tatsächlich ersetzt es aber oft nicht das zweite Augenpaar, sondern das erste. Der Standard, den sich die Branche mit dem Vieraugenprinzip selbst gegeben hat, wird damit nicht ergänzt, sondern unterschritten.

An welcher Stelle im Loop wird der Mensch tätig?

In vielen Fällen prüft der „human in the loop“ die KI-generierten Inhalte kurz vor der Veröffentlichung – also dann, wenn das Ergebnis schon steht.

Zu diesem Zeitpunkt sind die wesentlichen Dinge aber längst entschieden. Welche Quellen berücksichtigt werden und welche nicht. Welche Fakten als relevant gelten. Welchen Dreh das Ergebnis nimmt, was in den ersten Satz kommt und was nach unten rutscht.

Was bleibt, ist eine Prüfung auf Richtigkeit: Stimmen die Namen? Stimmen die Zahlen? Ist nichts erfunden? Der Mensch verifiziert ein Ergebnis, dessen Zustandekommen er nicht kennt. Das ist nicht nichts, aber es ist auch nur ein Ausschnitt dessen, was den journalistischen Prozess ausmacht. Journalist:innen werden damit auf den Faktencheck reduziert – obwohl die redaktionelle Verantwortung weit mehr umfasst.

Für das Publikum hat das eine Konsequenz: Wenn unter einem Text ein Name steht, geht es selbstverständlich davon aus, dass diese Person entschieden hat, was drinsteht. Bei einem Text, der maschinell entworfen und anschließend gegengelesen wurde, stimmt das so nicht mehr.

Was passiert, wenn der Mensch nein sagt?

Der Wert des „human in the loop“ besteht darin, den Loop aufhalten zu können – sonst wäre er nach den Regeln der Automatisierungstechnik „on the loop“ (und kann zumindest eingreifen) oder „out of the loop“ (und ist gar nicht mehr da, weil alles von selbst läuft).

Fragt man Markus Knall, den Chefredakteur von Ippen Media, ist das die Richtung, in die es für ihn geht: Der Journalist der Zukunft werde ein „KI-Komponist“ sein, hat Knall im Juni der „taz“ prophezeit. Längst lässt das Medienhaus ganze Texte automatisch erstellen. Deutschland habe 11.000 Gemeinden, kein Mensch könne für jede einzelne in der Wahlnacht einen Text schreiben, die KI dagegen schon.

Wie dabei der „human in the loop“ gewährleistet bleiben soll, der eins der fünf „KI-Prinzipien“ von Ippen Digital ist, bleibt offen. Der Verlag hat gerade Anfang des Jahres vorgeführt, wie wenig Sicherheit das Prinzip an sich bietet: Im Januar musste er nach einer Anfrage von Übermedien einen Text löschen, den eine KI zu großen Teilen wortwörtlich aus dem britischen „Guardian“ übersetzt hatte. „Dies hätte durch unser ‚human in the loop‘-Prinzip auffallen und korrigiert werden müssen. Leider ist dies jedoch unterblieben“, schrieb der verantwortliche Redakteur auf Anfrage.

Mehr über KI

1. KI-Nachrichten: Springers „Upday“ löscht alle KI-Bilder
2. Deepfakes: Was bringt die neue KI-Kennzeichnungspflicht der EU?
3. „Upday“: Springers KI-Schleuder klaut bei der „Tagesschau“

Eine Prüfung von KI-Ergebnissen kann auch negativ ausfallen. Es braucht einen Plan für diesen Moment. Es braucht Zeit für angemessene Korrekturschleifen. Und es braucht die Möglichkeit zur Eskalation – einmal für den Inhalt, um den es geht, aber auch, um dafür zu sorgen, dass das System dieselben Fehler nicht immer wieder neu macht.

Wenn nicht geklärt ist, was passiert, wenn der Mensch nein sagt, dann ist der Loop zwar formal vorhanden, aber praktisch wertlos. Bis auf die Rolle, die die Anthropologin Madeleine Clare Elish mal als „moralische Knautschzone“ bezeichnet hat: Wenn etwas schiefgeht, hat die Maschine bestimmungsgemäß funktioniert. Aber nicht die Person, die auf „Veröffentlichen“ geklickt hat.

Was richtet das mit dem journalistischen Selbstverständnis an?

Das alles macht etwas mit den Menschen – erst recht in einer idealismusgetriebenen Branche wie im Journalismus.

Die Psychologin Lisanne Bainbridge hat schon 1983 einen Aufsatz über die „Ironien der Automatisierung“ geschrieben, damals ging es um Kraftwerke und Cockpits. Ihr Befund: Es wird alles automatisiert, was man automatisieren kann, und dem Menschen überlässt man die Aufsicht.

Dazu gibt es in Industrie und Wirtschaft seit Bainbridge Jahrzehnte an Literatur und Fallstudien. In die Medienbranche ist davon noch wenig durchgesickert: Für die Aufsicht braucht der Mensch Übung – und die verliert er, wenn er die dafür nötige Arbeit nicht mehr selbst macht.

Das hat natürlich Auswirkungen auf den Nachwuchs: Wenn Sprachmodelle klassische Einstiegsaufgaben erledigen, übt niemand mehr das, was er später bräuchte, um die Ergebnisse von Sprachmodellen beurteilen zu können.

Das hat aber genauso Auswirkungen auf die erfahreneren Journalist:innen: Was passiert mit dem journalistischen Selbstverständnis, wenn man nur noch abnickt? Wie sehr leiden das eigene Gespür und der eigene Stil, wenn man nicht mehr mit Texten arbeitet, die eine ganz eigene Handschrift haben – sondern nur noch mit glatten Ergebnissen von Sprachmodellen, die der statistischen Mitte dessen entsprechen, was schon einmal geschrieben wurde?

Wie selbstverständlich das mitunter hingenommen wird, zeigt eine Debatte, die der Literaturwissenschaftler Erik Schilling losgetreten hat. Er hatte in der FAZ dafür plädiert, nicht die menschliche Autorenschaft zum höchsten Gut zu erklären, sondern Autorisierung und Qualität. Benjamin Piel, Chefredakteur des „Weser-Kuriers“, nennt das auf LinkedIn „vielleicht das Schlauste, was bisher überhaupt zu diesem Thema zu lesen war“.

Man kann das nachvollziehen. Wenn der Mensch weniger schreibt, sondern mehr kontrolliert und verantwortet, verändern sich auch die Maßstäbe und „die Einstellung zum Texten“, die Piel für überdenkenswert hält. Nur setzt all das eben voraus, dass derjenige, der prüft, auch weiter beurteilen kann, was er da eigentlich prüft.

Wie teuer ist die Kontrolle der KI-Ergebnisse?

Prüfung gibt es nicht umsonst, im Gegenteil: Damit die journalistischen Standards gewahrt bleiben, muss der „human in the loop“ jeden KI-generierten Text darauf abklopfen, ob darin auch wirklich alles stimmt.

Das geht bei einem Transkript oder bei Übersetzungen vielleicht noch recht schnell – vor allem deshalb, weil es ein Original zum Abgleich gibt. Bei einem maschinell erzeugten Text zum Beispiel zum Protokoll der vergangenen Stadtratssitzung sieht das schon anders aus: Um ihn ernsthaft zu prüfen, müsste man das Protokoll lesen. Und wer das tut, kann die Meldung oft gleich selbst schreiben.

Dieses Problem bleibt selbst dann bestehen, wenn die Technologie sich weiterentwickelt: Bessere Sprachmodelle senken vielleicht die Fehlerquote, nicht aber die Prüfpflicht.

„Human in the loop“ an sich bedeutet nichts

Redaktionen müssen gar nicht die Finger von KI lassen, ihre Journalist:innen nutzen sie ohnehin. Redaktionen müssten aber die Folgefragen klären, wenn sie das Prinzip des „human in the loop“ in ihre KI-Richtlinien schreiben.

Vorschläge dazu gibt es schon länger. Nach der Enquete-Kommission zu Künstlicher Intelligenz haben Mitarbeiter:innen im Bundestag 2021 eine Analyse veröffentlicht, die ganz unterschiedliche Möglichkeiten zeigt, wie der Mensch im Loop wirksam werden könnte – indem die Maschine ihn zum Beispiel schon vorher einbindet, ihm Optionen vorschlägt, ihn Prämissen setzen und Folgen abschätzen lässt, das Ergebnis im Gespräch mit ihm entwickelt.

Der „human in the loop“ ist keine Garantie, dass alles korrekt läuft. Er funktioniert nur, wenn er gut organisiert, in Workflows übersetzt und angemessen trainiert und bezahlt ist. Solange das nicht passiert, steht in den KI-Richtlinien der deutschen Medienhäuser vor allem eines: dass jemand da ist, dem man es hinterher vorwerfen kann.

Der Autor

Dennis Horn arbeitet seit mehr als 25 Jahren an der Schnittstelle von Medien, Technologie und Gesellschaft. Er war stellvertretender Programmchef des Radiosenders 1LIVE und hat den WDR Innovation Hub mit aufgebaut. Heute berät er Medienhäuser in Europa, lehrt Journalismus und berichtet in der ARD über den digitalen Wandel.