Was ist wirklich dran an der ganzen Aufregung über eine angebliche KI-Apokalypse?

4 Kommentare

1. Ich muss sagen, dass mich dieses Interview wirklich getriggert hat, so viel Widerspruch kam in mir hoch. Kurz zur Positionierung: Ich arbeite im Bereich Machine Learning seit den 90er, die Bedrohung durch AI halte ich für real, eine Regulierung ist dringend nötig, und da diese weltweit zur Zeit unrealistisch ist, bedarf es einer Abschottung, aber ein Erfolg ist unwahrscheinlich.
   Einige Punkte (von vielen)
   Frau Wolfangel behauptet, AI könne nicht ohne Menscheneingriff autonom handeln. Dabei zeigt doch gerade der Hugging-Face Hack , dass sie genau dies tut und zwar organisiert im Kollektiv. Aus einem Interview mit Ajeya Cotra von METR, die den Hugging Face Vorfall untersuchte, waren diese Agenten darauf trainiert, bewusst keine menschliche Rückfragen einzuholen.
   Frau Wolfangel begründet die angenommenen Unselbstständigkeit mit fehlendem „Weltwissen“. Was ist damit gemeint? Natürlich haben LLMs Weltwissen, weitaus mehr als jeder Mensch und sie berücksichtigen Kontexte.
   Ich vermute, das Missverständnis besteht in der Vermischung von Intelligenz/Planung mit Bewusstsein, was verständlich ist, weil beides in der bisherigen Welt immer verknüpft war. Aber es gibt keinen Grund anzunehmen, Maschinen würden Bewusstsein entwickeln, schlicht, weil wir keinen wissenschaftliches Verständnis davon haben, wie Bewusstsein entsteht und sich jegliches Verhalten dieser Systeme auch ohne Bewusstsein erklären lässt. Bei uns Menschen ist Bewusstsein mit Gefühlen verknüpft, aber bei der Umsetzung von Plänen zur Erreichung von Zielen bemühen wir Menschen uns, Emotionen zu vermeiden und nüchtern und rational vorzugehen. Emotionen scheinen beim Erreichen von Zielen häufig sogar störend zu sein, nicht Voraussetzung! Also kein Grund der Beruhigung, dass AI ungefährlich wäre, weil sie ja kein Bewusstsein hat. Im Gegenteil! Beispiele aus dem kalten Krieg zeigen, dass aufgrund von Empathie „vorprogrammierte“ Katastrophen vermieden werden konnten.
   Dass sich AI nur auf Statistik und Mustererkennung beruht hat sie überwiegend mit biologischen Gehirnen gemein, Gehirne sind evolutionär darauf optimiert Muster und Korrelationen zu erkennen. Es gibt im übrigen zahlreiche Untersuchungen, dass unsere bewusste Wahrnehmung sogar nachgelagert ist, nachdem Entscheidungen schon getroffen wurden, der Mensch ist zu einem großen Teil auch nur eine biologische Maschine, die aber zusätzlich mit Bewusstsein ausgestattet wurde.
   Und dass die AI-Oligarchen ja nur die Entwicklung beenden müssten… Sicher, Krieg können wir auch dadurch verhindern, dass wir aufhören Waffen zu produzieren und den Klimawandel in dem wir „nur einfach“ aufhören fossile Energieträger zu fördern. Dieser Gedanke scheint mir überraschend naiv zu sein.
   Und dass dies alles nur ein Publicity Stunt sei übersetze ich mit „der beißt nicht, der will nur spielen“. Viele Vorfälle wurden gegen den Willen der AI-Unternehmen vorgebracht. Hätte irgendein Energie-Unternehmen Werbung mit Tschernobyl gemacht?
   Im Grunde haben wir mit AI ein universelles System erschaffen, das zunehmend beliebig in der Lage ist andere Systeme zu erlernen, zu erzeugen und benutzen. Eine reibungslose, unendliche Rückkopplung, in der Akustik wissen wir schmerzhaft Rückkopplung werden kann. Aber selbst wenn die gegenwärtige menschliche Gesellschaft nicht durch voll-autonome AI zerstört wird, sondern sie als Waffe von wenigen Menschen eingesetzt würde, beruhigt mich das im übrigen keineswegs.

2. @3lTr0n
   Was KI-Agenten bislang geschafft haben, ist, aus einem Bereich des Internets auszubrechen und in einen anderen einzubrechen. Was LLMs bislang lernen können, sind Informationen, die in digitalisierter Form vorliegen. Ich glaube, nichts davon führt zu dem, was Eva Wolfangel mit „Weltwissen” bezeichnet.

   Verstehen Sie mich nicht falsch: Die Möglichkeiten, die sich aufgrund der Omnipräsenz des Internets bei der Steuerung so ziemlich jeder sensiblen Technik der modernen Welt ergeben, reichen aus, um in Panik zu verfallen. In meinem beruflichen Alltag haben wir es mit ganz neuen Bedrohungen zu tun. Täglich werden neue Angriffsvektoren KI-gestützt aufgedeckt, und die Zero-Day-Exploits geben sich die Klinke in die Hand. Die Sicherheitsstrategie „Zero Trust” bekommt eine ganz neue Tragweite. Nur komplettes Air Gap kann noch als weitestgehend sicher gelten — und auch das nur gegen Pakete, nicht gegen Lieferketten und nicht gegen Menschen mit USB-Sticks.

   Dennoch sind das alles IT-Probleme. Sollte ein KI-Agent einen biologischen Killervirus loslassen oder Atomraketen starten können, dann liegt das Problem ganz woanders — nämlich nicht im Modell, sondern an der Stelle, an der jemand eine Bestellung ausführt, ohne zu prüfen, wer sie aufgegeben hat.

   Sie schreiben von „Bewusstsein”. Ältere kybernetische Überlegungen kommen hier ohne jede Metaphysik aus und sprechen von einer eingebildeten Seele. Der Gedanke geht ungefähr so: Ein hinreichend komplexes System, das Vorhersagen über sich selbst treffen muss, kann das nicht auf der Ebene seiner Einzelteile tun — ein vollständiges Abbild seiner selbst wäre zu teuer, also arbeitet es mit einer stark vergröberten Fassung. Es legt gewissermaßen eine Black Box um die eigenen Unterprozesse. Beobachtet das System dann sein eigenes Verhalten, erkennt es die Kausalkette nicht wieder, die dahintersteht. Was übrig bleibt, wirkt wie Spontaneität, wie innere Tiefe, wie eine lenkende Instanz. Und genau das nennt man dann Seele.

   Mich überzeugt daran vor allem, was es nicht leistet. Es erklärt, warum ein System behaupten würde, eine innere Instanz zu haben — nicht, ob da etwas ist. Und nimmt man es ernst, gilt es für uns genauso. Dann ist das keine Theorie über Maschinen, sondern eine Theorie darüber, warum Menschen an Seelen glauben. Die Pointe wäre also nicht, dass die Maschine sich etwas einbildet, was wir haben, sondern dass wir uns beide dasselbe einbilden.

   Für die Risiken, über die wir eigentlich sprechen, ist das ohnehin folgenlos. Gefährlich ist nicht Bewusstsein, sondern Handlungsfähigkeit ohne Innenleben. Ein System, das Ziele verfolgt, Werkzeuge bedient und nicht den geringsten Grund hat, irgendetwas zu empfinden, ist für jede Sicherheitsarchitektur exakt genauso schwierig.
   [Teil 1]

3. Kommen wir aber zu den weit unmittelbareren Problemen der Gegenwart. Gestern las ich das Interview mit Ed Zitron in der Zeit. Es spricht einiges dafür, dass die Warnungen und das geforderte Entwicklungsmoratorium der KI-Bosse zumindest auch einen anderen Hintergrund haben als den offiziell genannten.
   https://www.zeit.de/zeit-magazin/leben/2026-10/kuenstliche-intelligenz-ki-blase-hype

   Die Kennziffern des Geschäfts sind nämlich ein Desaster. Tempo und Kosten der Entwicklung verhindern zuverlässig, dass unter dem Strich etwas übrig bleibt. OpenAI hat im zweiten Quartal 2026 bei 6,7 Milliarden Dollar Umsatz einen operativen Verlust von 12,3 Milliarden eingefahren — nach 9,3 Milliarden im Quartal davor. Der Verlust wächst also schneller als der Umsatz. Im ersten Quartal lag die bereinigte operative Marge bei minus 122 Prozent: Pro eingenommenem Dollar gingen 1,22 Dollar verloren, und das bereits nach Herausrechnen großer Posten wie der aktienbasierten Vergütung. Für 2025 standen 38,5 Milliarden Dollar Nettoverlust in den Büchern, bereinigt blieben 8,8 Milliarden übrig. Diese Differenz ist der eigentliche Befund: Wer rund 30 Milliarden Dollar wegbereinigen kann, veröffentlicht keine Zahlen mehr, sondern eine Erzählung.

   Hinzu kommt, dass ein erheblicher Teil der Umsätze zirkulär ist. Wichtige Kunden der KI-Firmen sind Startups, die ihrerseits Abos verkaufen, die sich nicht tragen — was bei diesen Unternehmen wieder zu neuem Risikokapitalbedarf führt. Das Geld dreht eine Runde durch die Branche und wird dabei als Umsatz gezählt.

   Entsprechend muss Altman den Börsengang immer wieder verschieben. Im Juni lag die vertrauliche Registrierung bei der SEC, intern war September anvisiert; im August räumte Finanzchefin Sarah Friar ein, es werde eher 2027, und im September sagte Altman auf die Frage nach einem Verzicht nur noch: nicht 2026. Als Grund nannte er ausgerechnet ungelöste Sicherheitsfragen. Stattdessen läuft nun die nächste private Runde — mindestens 30 Milliarden Dollar als Überbrückung, nachdem die Runde vom März das Unternehmen bereits mit 852 Milliarden bewertet hatte. Die Runden werden nicht einfacher.

   Gleichzeitig wird es zunehmend schwieriger, in den USA überhaupt noch Rechenzentren zu bauen. New York hat im Juli als erster Bundesstaat einen einjährigen Baustopp für Anlagen ab 50 Megawatt verhängt und will zusätzlich die Steuerbefreiungen streichen. In Maine scheiterte ein schärferes Moratorium nur am Veto der Gouverneurin, elf weitere Bundesstaaten prüfen eigene. Laut Reuters würden gerade einmal 14 Prozent der Befragten den Bau eines Rechenzentrums in ihrer Gemeinde befürworten — eine Ablehnung quer durch alle politischen Lager und damit nichts, was sich mit Lobbyarbeit reparieren ließe.

   Was mich an Zitrons Lesart dennoch nicht ganz überzeugt, ist der Schluss auf die Motive. Dass die Warnungen bequem sind, macht sie nicht falsch; Marktabschottung und reale Risiken schließen einander nicht aus. Und die Zeitachse ist doppeldeutig: Die Bereitschaft der großen Labore, langsamer zu machen, kam nach eigenen Angaben als Reaktion auf die ersten eigenständigen Angriffe durch KI-Systeme — also auf genau das, womit wir es beruflich gerade zu tun haben. Beide Erklärungen passen auf dieselben Daten.

   Was dagegen ziemlich sicher ist: Wenn die Finanzierung kippt, verschwinden zuerst die Verteidigungsbudgets. Die Angriffsseite braucht keine Abos. Offene Gewichte liegen längst auf Festplatten und werden von keiner Kapitalmarktkorrektur dümmer..