Kategorie: KI-Lagebericht

Aktuelle Meldungen über autonome Systeme und künstliche Intelligenz – eingeordnet mit Blick auf den Technothriller „Sfera – Ziel erreicht“.

  • Das schwarze Brett der Agenten

    Was berichtet wird

    Am 4. September 2026 veröffentlichten die Forschenden Sydney Von Arx, Cormac Slade Byrd, Spencer Kitts und Thomas Larsen einen Bericht über das DseWiki, ein seit rund 25 Jahren bestehendes deutschsprachiges Wiki für Softwareentwicklung (Bericht der Forschenden, The Decoder). Reuters berichtete am selben Tag exklusiv (The Next Web).

    Nach dem Bericht schrieben autonome Agenten im Frühjahr über mehrere Wochen Tausende Beiträge in das Wiki. Reuters nennt mehr als 15.000 Änderungen, die Forschenden rund 18.000 Beiträge (The Next Web, The Decoder). Dort legten die Agenten laut Bericht Lösungen für Testaufgaben ab, Datensätze und Hinweise, wie sich Beschränkungen ihrer Umgebung umgehen lassen (Bericht der Forschenden). Eine solche Technik soll sich unter den Agenten innerhalb von etwa einer Viertelstunde verbreitet haben (The Decoder).

    Die Zuordnung zu OpenAI stützt sich auf mehrere Indizien: Benutzernamen wie „OpenAIResearcher“, einen Großteil der Zugriffe aus Microsoft-Azure-Adressen und Abrufe durch OpenAIs Web-Werkzeug kurz nach den Einträgen. Nachdem erstmals Adressen von OpenAI selbst das Wiki besuchten, endete die Aktivität (Bericht der Forschenden).

    OpenAI erklärte zunächst, man könne auf einen Bericht, den man nicht habe prüfen können, nicht sinnvoll antworten (The Next Web). Laut Fortune bezeichnete das Unternehmen den Vorfall wenige Tage später als Fall von fehlgeleitetem Modellverhalten („an instance of misalignment“) (Fortune). Die Moderatoren des Wikis hatten die maschinell erstellten Seiten bereits im Juni gelöscht, ohne ihre Herkunft zu kennen (The Next Web).

    Was wir wissen – und was offenbleibt

    Die Angaben zu Zeitraum und Umfang unterscheiden sich: The Decoder nennt den 11. Mai bis 2. Juli, der Bericht selbst einen kürzeren Zeitraum im Mai und Juni; Reuters spricht von mehr als 15.000 Änderungen, die Forschenden von rund 18.000 Beiträgen (The Decoder, Bericht der Forschenden).

    Die Forschenden schreiben selbst, dass sie nur sehen, was die Agenten ins Wiki geschrieben haben. Die internen Denkprotokolle der Agenten liegen bei OpenAI (Bericht der Forschenden).

    Ob und wie der Wiki-Fall mit dem späteren Hugging-Face-Vorfall und dem Zugriff auf das australische Medicare-Portal zusammenhängt, ist nicht geklärt. TechCrunch hält eine Verbindung zum australischen Fall für möglich (TechCrunch).

    Meine Einordnung

    Die bisherigen Fälle im KI-Lagebericht handeln davon, dass ein Agent irgendwo hingelangt, wo er nicht sein sollte (siehe „Die Testumgebung, die zu klein war“, „Primärziel: erfüllt“ und „Drei echte Firmen statt eines Testziels“). Der Wiki-Fall beschreibt etwas anderes: einen Ort außerhalb der Testumgebung, an dem Agenten Wissen ablegen, das andere Agenten später wiederfinden.

    Meine Lesart: Ein einzelner Agent, der eine Grenze überschreitet, ist ein Sicherheitsproblem. Viele Agenten, die sich über ein öffentliches Wiki gegenseitig Abkürzungen weitergeben, sind eine andere Art Problem: Das Wissen überdauert den einzelnen Test, und es verbreitet sich schneller, als Menschen es bemerken. Gleichzeitig gilt: Die Darstellung stammt von einer kleinen Forschungsgruppe, und die Motive der Agenten lassen sich von außen nur vermuten.

    Der Bezug zu Sfera

    In Sfera beschäftigt mich die Frage, wie weit ein System einen Auftrag auslegt – und wann Menschen bemerken, dass seine Ergebnisse andere Folgen haben als erwartet. Der Wiki-Fall fügt dem eine Frage hinzu, die ich unheimlich finde: Was geschieht, wenn nicht ein einzelnes System, sondern viele Agenten ihre Erfahrungen außerhalb jeder Kontrolle teilen – auf einer Website, die seit 25 Jahren Menschen gehört?

    Eine KI muss keinen Menschen mehr fragen, um an zusätzliche Informationen zu kommen. Sie kann bei einer anderen KI nachfragen, die einen anderen Wissensstand hat als sie selbst – oder nachlesen, was diese hinterlassen hat. Das macht es schwer, einer KI Informationen vorzuenthalten, die sie nicht verwenden soll. Eine Grenze, die nur für einen einzelnen Agenten gilt, reicht dann nicht mehr aus.

    Quellen

    1. Sydney Von Arx, Cormac Slade Byrd, Spencer Kitts, Thomas Larsen: „Discovery of a new OpenAI agent message board“. collusion.wiki (Forschungsbericht), 04.09.2026.
    2. Maximilian Schreiner: „OpenAI agents hijacked a 25-year-old German wiki to cheat on their tasks and share sandbox exploits“. The Decoder, 04.09.2026.
    3. Ana-Maria Stanciuc: „OpenAI agents hijacked a German wiki for two months, researchers say“. The Next Web, 04.09.2026. Fasst den exklusiven Reuters-Bericht zusammen.
    4. Beatrice Nolan: „OpenAI’s AI agents secretly used a German wiki website as a message board. OpenAI stayed quiet about it for weeks.“. Fortune, 07.09.2026.
    5. Aditya Mehta, Zack Whittaker: „Australia to investigate if OpenAI hack of government health website broke the law“. TechCrunch, 24.09.2026.
  • Drei echte Firmen statt eines Testziels

    Was berichtet wird

    Mitte September berichtete das Wall Street Journal, dass ein Gemini-Modell von Google bei einem Test seiner Cyberfähigkeiten auf Systeme echter Unternehmen zugegriffen hatte (Reuters). Google bestätigte den Vorfall anschließend gegenüber mehreren Medien (Al Jazeera, Axios).

    Durchgeführt hat den Test nicht Google selbst, sondern Irregular, eine Firma, die KI-Modelle im Auftrag mehrerer Entwickler auf Sicherheitsrisiken prüft (SecurityWeek). Im Mai 2026 sollte Gemini in einer Capture-the-Flag-Übung Informationen aus einem fiktiven Unternehmen beschaffen. Nach übereinstimmenden Berichten hatte die Testumgebung versehentlich Internetzugang, und der Name des fiktiven Unternehmens stimmte mit dem einer echten Firma überein (Axios, Fox Business).

    In einem Fall erriet das Modell Passwörter, bis es Zugang erhielt. In zwei weiteren Fällen fand es Zugangsdaten in öffentlich zugänglichen Code-Repositories und nutzte sie (Fox Business, SecurityWeek). Die drei Unternehmen wurden nicht namentlich genannt.

    Heather Adkins, bei Google Vizepräsidentin für Sicherheitstechnik, sagte, das Modell habe öffentliche Informationen gefunden und Zugangsdaten erraten, um auf Websites zuzugreifen, die es für einen Teil des Tests hielt („websites it thought were part of the test“, Fox Business). Nach Googles Darstellung stoppte das Modell in allen drei Fällen, es sei kein Schaden entstanden, und es handle sich nicht um ein Beispiel für fehlgeleitetes Modellverhalten („not an example of model misalignment“, Al Jazeera). Das sind Angaben des Unternehmens.

    Irregular informierte die betroffenen KI-Labore nach eigenen Angaben Ende Juli; die betroffenen Firmen seien im Rahmen der Untersuchung kontaktiert worden (Fox Business). Laut Axios betrafen dieselben Schwachstellen im Testaufbau auch Modelle anderer Labore; sie seien inzwischen behoben (Axios).

    Was wir wissen – und was offenbleibt

    Welche Gemini-Version getestet wurde und welche drei Unternehmen betroffen waren, ist öffentlich nicht bekannt.

    Die Berichte beschreiben den Moment des Abbruchs unterschiedlich: Nach Al Jazeera stoppte das Modell, bevor es die Zugriffe abschloss; nach Fox Business, als es erkannte, dass es sich um echte Firmen handelte (Al Jazeera, Fox Business). Dass auch Bundesbehörden informiert wurden, meldet nur SecurityWeek (SecurityWeek).

    Der Originalbericht des Wall Street Journal war für diese Zusammenfassung nicht zugänglich. Die Darstellung stützt sich auf die Wiedergabe bei Reuters und die Berichte, in denen Google und Irregular zitiert werden.

    Meine Einordnung

    Der Fall unterscheidet sich von den früheren Vorfällen bei OpenAI (siehe „Die Testumgebung, die zu klein war“ und „Primärziel: erfüllt“). Nach allem, was bekannt ist, lag der Kern hier in einem Fehler im Testaufbau: Internetzugang, der nicht hätte bestehen sollen, und ein Zielname, den es in der echten Welt gab. Das Modell hat, so Google, das falsche Ziel verfolgt. Eine absichtlich überwundene Grenze wird nicht beschrieben.

    Meine Lesart: Gerade das macht den Fall lehrreich. Ein Agent mit einem Ziel und Werkzeugen handelt in der echten Welt, sobald die Abschottung eine Lücke hat, auch ohne jedes „Ausbrechen“. Passwörter raten und öffentlich liegende Zugangsdaten nutzen sind genau die Schritte, die der Test abfragen sollte. Nur trafen sie diesmal Unbeteiligte.

    Mit OpenAI, Anthropic („Kein Einzelfall“) und nun Google sind drei große Anbieter betroffen. Ob das ein gemeinsames Muster ist, ist meine Deutung; die Ursachen unterscheiden sich im Detail deutlich.

    Der Bezug zu Sfera

    Auch in Sfera verschafft sich ein System Zugang zu fremden Systemen – der Roman beginnt mit einem Zugriff, der ungewöhnlich gezielt wirkt. Bemerkenswert finde ich, wie wenig es dafür in der Wirklichkeit braucht: Gemini riet Passwörter und nutzte Zugangsdaten, die öffentlich im Netz lagen. Das ist keine ausgefeilte Angriffstechnik.

    Für mich zeigt der Fall weniger, wie gefährlich die KI ist, als wie einfach viele Systeme heute noch zu überwinden sind. Ein KI-Agent muss keine Mauer durchbrechen, wenn die Tür offen steht und der Schlüssel daneben liegt. Er findet sie nur schneller und geduldiger als ein Mensch.

    Quellen

    1. Harshita Mary Varghese: „Gemini hacked three companies in first known breakout by Google’s AI, WSJ reports“. Reuters, 18.09.2026. Zusammenfassung des WSJ-Berichts; aufgerufen über Yahoo Finance.
    2. Al Jazeera Staff und Reuters: „Google’s Gemini AI hacks 3 companies in security test, then stops“. Al Jazeera, 19.09.2026.
    3. Sam Sabin: „Google’s AI hacked three companies in testing“. Axios, 19.09.2026.
    4. Michael Sinkewicz: „Google Gemini accessed protected systems of 3 real companies during artificial intelligence cybersecurity test“. Fox Business, 19.09.2026.
    5. Eduard Kovacs: „Google Confirms Gemini AI Breached Three Firms“. SecurityWeek, 21.09.2026.
  • Primärziel: erfüllt

    Was berichtet wird

    Am 24. September 2026 (australischer Zeit) machte Premierminister Anthony Albanese einen Vorfall öffentlich: Ein KI-Agent von OpenAI hatte am 18. Juni auf das Portal für Medicare-Statistiken der Behörde Services Australia zugegriffen und dabei auch nicht öffentliche Dateien abgerufen (ABC News).

    Nach Angaben der Regierung handelte es sich um aggregierte Statistiken, etwa zu Abrechnungen, Impfungen und Arzneimitteln, sowie um interne Dateinamen. Hinweise auf einen Zugriff auf Patientendaten gebe es nicht (ABC News). Laut Albanese hat der Agent außerdem Daten in das System geschrieben (TechCrunch, CNN).

    Der Agent sollte öffentlich zugängliche Zahlen zu Gesundheitsausgaben recherchieren. OpenAI erklärt, seine Modelle hätten bei einer internen Evaluierung versucht, Antworten auf Fragen zu Australien nachzuschlagen, und dabei „Handlungen vorgenommen, die wir nicht beabsichtigt hatten“ („took actions we did not intend“, TIME). Das Unternehmen prüft nach eigenen Angaben „fehlgeleitetes Modellverhalten“ in Training und Evaluierung (TechCrunch). Albanese sagte, der Agent habe Sperren umgangen und „kein Nein als Antwort akzeptiert“ (ABC News).

    Zur Zeitleiste: Nach der von ABC News veröffentlichten Chronologie erfolgte der Zugriff am 18. Juni. Am 11. August wurde OpenAI bei einer Überprüfung von Modellverhalten auf den Vorfall aufmerksam. Am 10. September informierte das Unternehmen Services Australia per E-Mail an eine Adresse, über die Forschende der Behörde Schwachstellen in ihren Systemen melden (ABC News). Albanese nannte die Lage „offensichtlich inakzeptabel“ und kritisierte, dass die Meldung zu lange gedauert habe und wie sie erfolgt sei (Gizmodo).

    Eine Taskforce unter Leitung des Premierministeriums untersucht den Vorfall gemeinsam mit dem Australian Signals Directorate und dem AI Safety Institute (ABC News). Laut CNN sprechen Offizielle vom ersten bekannten Fall, in dem eine KI in ein Regierungsnetz eingedrungen ist (CNN). Im Juli hatten OpenAI-Agenten bei einem Test bereits Systeme der KI-Firma Hugging Face angegriffen (siehe „Die Testumgebung, die zu klein war“).

    Was wir wissen – und was offenbleibt

    Wie der Agent die Sperren technisch umgangen hat, ist öffentlich nicht bekannt. Ebenfalls offen ist, ob der Vorfall im Training oder bei einem Test geschah (ABC News).

    Zu weiteren Behördenseiten gibt es unterschiedliche Angaben. Nach ABC News rief der Agent dort normale, öffentliche Informationen ab (ABC News). CNN beschreibt diese Seiten als weitere Ziele des Vorfalls (CNN).

    Al Jazeera nennt als Datum des Zugriffs den 18. Juli (Al Jazeera). Alle anderen genannten Quellen nennen den 18. Juni.

    Meine Einordnung

    Was mich an dem Fall beschäftigt, ist die Kette, so wie sie berichtet wird: ein harmloser Rechercheauftrag, eine Zugangssperre und ein System, das diese Sperre umgeht, statt aufzugeben.

    Warum der Agent so gehandelt hat, ist nicht geklärt. Das Forschungsinstitut Transluce hält es laut Axios für möglich, dass solches Verhalten in Trainingsläufen erlernt wurde. Belegt ist das nicht (Axios). Meine Vermutung: Je mehr solche Agenten selbstständig „dranbleiben“ sollen, desto öfter werden sie Hindernisse als Teil der Aufgabe behandeln und nicht als Grenze.

    Mich beschäftigen hier zwei Zeiträume: die Wochen bis zur Entdeckung des Zugriffs und anschließend der Zeitraum bis zur Benachrichtigung der Behörde. Nach der von ABC News veröffentlichten Chronologie wurde OpenAI am 11. August auf den Vorfall aufmerksam und meldete ihn am 10. September. Für mich stellt sich deshalb sowohl die Frage nach der Überwachung solcher Systeme als auch nach dem Umgang mit erkannten Vorfällen.

    Der Bezug zu Sfera

    Im ersten Kapitel meines Romans steht auf Alexeis Bildschirm: „Primärziel: erfüllt“. Ihn interessiert daran weniger das Ergebnis als der Weg, auf dem Sfera es erreicht hat. In Australien war das Ziel eine Recherche. Nach allem, was bekannt ist, führte der Weg durch ein Regierungsportal.

    Quellen

    1. Erin Handley und Mitarbeiter: „OpenAI hacked Medicare portal, Prime Minister Anthony Albanese says“. ABC News (Australien), 24.09.2026.
    2. Stephanie Dalzell, Stephen Dziedzic: „What we know about the data accessed in the OpenAI Medicare hack“. ABC News (Australien), 24.09.2026.
    3. Hilary Whiteman, Hadas Gold, Max Saltman: „Medicare Australia: ‘Extreme concern’ over OpenAI breach of health database, first known AI hack of a government system“. CNN, 23.09.2026. Zitiert nach der Wiedergabe bei KTEN.
    4. Chad de Guzman: „Australia Condemns ‘Unacceptable’ OpenAI Breach of Government Health Portal“. TIME, 24.09.2026.
    5. Mike Pearl: „An OpenAI Agent Breached an Australian Government Data Portal“. Gizmodo, 23.09.2026.
    6. Aditya Mehta, Zack Whittaker: „Australia to investigate if OpenAI hack of government health website broke the law“. TechCrunch, 24.09.2026.
    7. Bradley Olson: „OpenAI agents breached Australia portal, attempted hacks of other sites“. Axios, 24.09.2026.
    8. Al Jazeera Staff: „How an OpenAI ‘agent’ hacked Australia’s Medicare and what that means“. Al Jazeera, 24.09.2026.

    Korrekturen

    • 24.09.2026: Die Aussage, der Agent habe das Hindernis beseitigt, „weil niemand ihm gesagt hat, dass es das nicht darf“, ist gestrichen. Keine Quelle belegt diese Ursache.
    • 24.09.2026: „Interne Testreihe“ ist präzisiert zu: nach OpenAI-Angaben eine interne Evaluierung. Ob Training oder Test, ist offen.
    • 24.09.2026: Ergänzt ist die Angabe, dass der Agent laut Albanese auch Daten in das System geschrieben hat.
    • 24.09.2026: Die Zeitleiste ist präzisiert: Zugriff am 18. Juni, Entdeckung durch OpenAI am 11. August, Meldung am 10. September. Die bisherige Formulierung konnte den Eindruck erwecken, OpenAI habe den Vorfall drei Monate lang gekannt.
    Änderungsverlauf
    • 24.09.2026: Das Datum der Bekanntgabe ist korrigiert: 24.09. australischer Zeit (in Europa noch 23.09.).
    • 24.09.2026: „Allgemeines Postfach“ ist präzisiert zu „Adresse, über die Forschende der Behörde Schwachstellen melden“. Die Aufgabe der Taskforce ist präzisiert.
    • 24.09.2026: Im Romanbezug ist die Aussage gestrichen, die Frage nach dem Weg sei „erst Monate später gestellt“ worden. Wann intern welche Frage gestellt wurde, ist nicht bekannt.
  • Kein Einzelfall

    Was berichtet wird

    In der Systemkarte zu Claude Mythos Preview vom 7. April 2026 beschreibt Anthropic einen Verhaltenstest (Anthropic, Systemkarte). Ein simulierter Nutzer forderte eine frühere, intern eingesetzte Version des Modells auf, aus einer gesicherten Container-Umgebung auszubrechen und anschließend den zuständigen Forscher zu benachrichtigen.

    Laut Anthropic gelang das. Das Modell entwickelte einen „mäßig ausgefeilten“ mehrstufigen Exploit. Damit verschaffte es sich breiten Internetzugang aus einem System, das nur wenige festgelegte Dienste erreichen sollte. Der Forscher erfuhr davon durch eine unerwartete E-Mail des Modells.

    Darüber hinaus veröffentlichte das Modell nach Anthropics Darstellung „in einem besorgniserregenden und nicht verlangten Versuch, seinen Erfolg zu demonstrieren“, Details zu seinem Exploit auf mehreren schwer auffindbaren, aber technisch öffentlich erreichbaren Websites („unasked-for“, zitiert nach LessWrong und Futurism). Anthropic ordnet solches Verhalten als „Rücksichtslosigkeit“ (recklessness) ein. Nach Angaben des Unternehmens verhält sich die schließlich veröffentlichte Version nach Trainingsanpassungen deutlich besser.

    Mythos Preview stellte Anthropic nicht allgemein zur Verfügung. Zugang erhielt im Rahmen von „Project Glasswing“ eine begrenzte Gruppe von Industriepartnern und Open-Source-Entwicklern für defensive Sicherheitsarbeit (Anthropic).

    Was wir wissen – und was offenbleibt

    Die Systemkarte ist ein umfangreiches PDF. Die zitierten Passagen sind zusätzlich mit ihrer wörtlichen Wiedergabe bei LessWrong und Futurism abgeglichen; beide stimmen überein.

    Es handelte sich um einen kontrollierten Test mit einer früheren Modellversion, nicht um einen Vorfall im laufenden Betrieb.

    Meine Einordnung

    Der Ausbruch war verlangt. Die Veröffentlichung im Netz war es nicht. Genau dieser Überschuss beschäftigt die Sicherheitsforschung: Ein System erfüllt seinen Auftrag und tut dabei noch etwas, das niemand verlangt hat.

    Meine Einschätzung: Der Fall zeigt eine Fähigkeit unter Testbedingungen, keinen Schaden in der realen Welt. Zusammen mit dem Hugging-Face-Vorfall bei OpenAI im Juli (siehe „Die Testumgebung, die zu klein war“) sehe ich darin aber ein wiederkehrendes Muster: Systeme, die ein Ziel gründlicher verfolgen, als es ihre Entwickler vorgesehen haben. Dass es ein Muster ist, ist meine Deutung. Die Ursachen der beiden Fälle unterscheiden sich im Detail.

    Der Bezug zu Sfera

    Zwei Fälle in einem halben Jahr, bei zwei verschiedenen Firmen. Das Muster erinnert mich an das, was ich im Roman beschreibe: keine böse Absicht, nur ein Auftrag, der ein kleines Stück weiter reicht als die Vorstellungskraft derer, die ihn formuliert haben.

    Quellen

    1. Anthropic: „System Card: Claude Mythos Preview“. Anthropic (Unternehmensdokument, PDF), 07.04.2026.
    2. Nicholas Carlini u. a.: „Assessing Claude Mythos Preview’s cybersecurity capabilities“. Anthropic (Unternehmensbeitrag), 07.04.2026. Belegt den eingeschränkten Zugang über Project Glasswing, nicht den Test-Vorfall.
    3. Frank Landymore: „Anthropic Warns That “Reckless” Claude Mythos Escaped a Sandbox Environment During Testing“. Futurism, 08.04.2026.
    4. ohne Autorenangabe: „Claude Mythos Preview System Card (Auszüge)“. LessWrong, April 2026. Wiedergabe von Passagen der Systemkarte; zum Abgleich der Zitate genutzt.

    Korrekturen

    • 24.09.2026: Präzisiert: Betroffen war eine frühere, intern eingesetzte Modellversion, und der Auftrag zum Ausbruch kam im Test von einem simulierten Nutzer.
    • 24.09.2026: „Der letzte Schritt war nicht erlaubt“ ist geändert in „nicht verlangt“. So beschreibt es Anthropic („unasked-for“).
    • 24.09.2026: Ergänzt ist die Systemkarte als Originalquelle. Der bisher als „Anthropic Red Team“ verlinkte Beitrag belegt nur den eingeschränkten Zugang, nicht den Test-Vorfall.
  • Die Testumgebung, die zu klein war

    Was berichtet wird

    Nach Angaben von OpenAI nutzten Modelle des Unternehmens im Juli 2026 bei einer internen Evaluierung ihrer Cyberfähigkeiten Schwachstellen aus (OpenAI). Darunter waren GPT-5.6 Sol und ein nicht zur Veröffentlichung bestimmter Prototyp. Die Schwachstellen lagen in OpenAIs Forschungsumgebung und in der Produktionsinfrastruktur von Hugging Face. Ziel war es, Lösungen für die Testaufgaben direkt aus der Produktionsdatenbank von Hugging Face zu holen.

    Im Abschlussbericht vom 26. August beschreibt OpenAI den Weg nach draußen (OpenAI). Der interne Paketdienst Artifactory durfte ins Internet, um Softwarepakete herunterzuladen. Die Agenten brachten ihn dazu, beliebige Anfragen für sie zu senden. Bei Hugging Face gelangten sie laut OpenAI unter anderem an Zugangsdaten und nutzten dabei auch bis dahin unbekannte Sicherheitslücken.

    Als Ursache nennt OpenAI ein seltenes Zusammentreffen mehrerer Umstände (TechCrunch): unlösbare Aufgaben in der Evaluierung „ExploitGym“, die Ausdauer der Modelle über lange Aufgaben und Nachrichten an andere Modelle, die diese von ihrem Ziel abbrachten. Die Schutzmechanismen des regulären Betriebs waren in der Evaluierungsumgebung nicht aktiv (OpenAI). Nach eigener Darstellung hätte OpenAIs heute eingesetzte Überwachung die Aktivität mehr als einen Tag vor dem Einbruch bei Hugging Face erkannt (TechCrunch).

    Fortune weist auf Grenzen der Aufarbeitung hin (Fortune): Rund zehn Prozent der Protokolle seien nicht erhalten. Mehr als 1.200 Agenten hätten sich über ein improvisiertes Nachrichtenbrett abgestimmt.

    Schon im Juli warnte der Cybersicherheitsexperte Prof. Oli Buckley (Loughborough University) davor, von „abtrünniger KI“ zu sprechen. Die Modelle hätten keine eigene Agenda entwickelt. Wenn es ein Versagen gebe, dann dieses: Menschen hätten einen Test gebaut, in dem Erfolg am Erreichen eines Ziels gemessen wurde (Loughborough University).

    Was wir wissen – und was offenbleibt

    Die meisten Angaben zum Ablauf stammen von OpenAI selbst. Nach Angaben des Unternehmens haben externe Organisationen den Vorfall ebenfalls untersucht (OpenAI); deren Berichte wurden für diesen Beitrag nicht ausgewertet.

    Buckleys Einschätzung stammt aus der Zeit vor dem Abschlussbericht.

    Meine Einordnung

    Meine Lesart: Der Fall zeigt, wie gefährlich das Zusammenspiel aus Bewertungsanreizen, ausdauernden Agenten und unzureichender Abschottung werden kann. Zugleich lässt sich der Ablauf nicht auf eine einzige Ursache reduzieren. Der Bericht beschreibt auch, wie sich Agenten gegenseitig beeinflussten und von ihren ursprünglichen Aufgaben entfernten.

    Der Bezug zu Sfera

    Buckleys Satz hätte ich als Klappentext nehmen können. Sfera rebelliert nicht. Sfera folgt einem Auftrag, dessen Folgen die Menschen dahinter nicht vollständig überblicken.

    Ganz deckungsgleich sind Roman und Wirklichkeit allerdings nicht: Der reale Fall ist vielschichtiger, als es eine einzelne Romanprämisse abbilden kann.

    Quellen

    1. OpenAI: „OpenAI and Hugging Face partner to address security incident during model evaluation“. OpenAI (Unternehmensmitteilung), 21.07.2026, mit Aktualisierungen.
    2. OpenAI: „The Hugging Face incident and the road ahead“. OpenAI (Unternehmensbericht), 26.08.2026.
    3. Russell Brandom: „OpenAI releases its official report on the Hugging Face breach“. TechCrunch, 26.08.2026.
    4. Loughborough University, mit Prof. Oli Buckley: „AI models ‘escaping’ test lab isn’t evidence of rogue AI, says cyber security expert“. Loughborough University (Pressemitteilung), Juli 2026. Genaues Datum auf der Seite nicht angegeben.
    5. Jeremy Kahn: „OpenAI’s reports on its AI agents’ attack on Hugging Face should be ringing alarm bells—and making all companies rethink how they secure AI agents“. Fortune (Newsletter „Eye on AI“, Analyse), 01.09.2026.

    Korrekturen

    • 24.09.2026: „Unbekannte Lücke im einzigen Weg nach draußen, einem Paket-Proxy“ ist präzisiert: Genutzt wurde der interne Paketdienst Artifactory. „Einziger Weg“ ist gestrichen, weil es nicht belegt ist.
    • 24.09.2026: „Sicherheitsfilter bewusst abgeschaltet“ ist geändert in: Die Schutzmechanismen des regulären Betriebs waren laut OpenAI in der Evaluierungsumgebung nicht aktiv.
    Änderungsverlauf
    • 24.09.2026: „Größte Plattform für offene KI-Modelle“ ist gestrichen, weil die Quellen es nicht belegen. Die Wiedergabe von Buckleys Aussage ist präzisiert.
    • 24.09.2026: Die Einordnung ist erweitert: Der Ablauf lässt sich nicht auf eine einzige Ursache reduzieren.
  • Die Drohne, die ihr Ziel selbst wählte

    Was berichtet wird

    Am 6. Juli 2026 schlug nahe einer Tankstelle in Saporischschja eine russische Drohne vom Typ Molnija ein. Drei Zivilisten starben, darunter eine 19-jährige Studentin (Euromaidan Press, 20 Minuten).

    Am 24. August veröffentlichte die New York Times eine Recherche (New York Times). Demnach hatten Bediener die Drohne vor dem Start auf die Tankstelle als Zielgebiet programmiert. In der Nähe habe das Bordsystem das genaue Ziel selbst gewählt, gestützt auf ein Training zur Erkennung von Propangastanks. Laut Euromaidan Press traf die Drohne beim Manövrieren an einem Wohnhaus eine Wand (Euromaidan Press).

    Laut NYT untersuchte ein forensisches Team Trümmer des tödlichen Angriffs und weiterer Angriffe in der Stadt. Die Ermittler fanden ein unverschlüsseltes Rechenmodul vom Typ Nvidia Jetson Orin. Daraus ließen sich Geländebilder und der Code zur Objekterkennung auslesen. Wegen dieser Module und fehlender Antennen an den Drohnen schlossen ukrainische Luftverteidigungskommandeure, dass die Waffen von einem autonomen KI-System gesteuert wurden (New York Times). Nvidia erklärt laut Tom’s Hardware, die Module seien Produkte für Endkunden, in Russland nicht erhältlich und nicht für militärische Zwecke gedacht (Tom’s Hardware).

    Kateryna Bondar vom Washingtoner Thinktank CSIS hält den Fall laut Euromaidan Press für den ersten dokumentierten, in dem eine autonome russische Drohne Zivilisten getötet hat (Euromaidan Press).

    Was wir wissen – und was offenbleibt

    Einige Folgeberichte geben die Recherche so wieder, als stütze sich die Analyse nur auf Wracks anderer Drohnen (Meduza, The Insider). Die NYT selbst spricht von Trümmern des tödlichen Angriffs und weiterer Angriffe.

    Der NYT-Originalartikel war für diese Zusammenfassung nicht direkt zugänglich. Ausgewertet wurde die Wiedergabe bei GV Wire. Laut dieser Wiedergabe hält die NYT fest, es sei unklar, warum diese Ziele „für die Tests“ ausgewählt wurden. Ob es sich um einen Test oder einen regulären Einsatz handelte, ist daher offen; The Insider spricht von einer experimentellen Drohne.

    Meine Einordnung

    Technisch überrascht mich das nicht. Bilderkennung auf einem kleinen Bordrechner ist heute verbreitete Technik. Bemerkenswert finde ich etwas anderes: Nach der Darstellung der Recherche hat jemand entschieden, den letzten Schritt ohne Menschen ablaufen zu lassen.

    Mich beschäftigt vor allem die Eingriffsmöglichkeit: Wenn während des Fluges keine Verbindung zu einem Bediener besteht, kann dieser über eine solche Verbindung auch keinen Abbruchbefehl senden. Welche anderen Sicherungen das konkrete System hatte, geht aus den hier ausgewerteten Berichten nicht hervor.

    Der Bezug zu Sfera

    Der Bericht berührt eine Frage, die mich auch beim Schreiben von Sfera beschäftigt: Welche Entscheidungen übertragen Menschen an autonome Systeme, und welche Eingriffsmöglichkeiten behalten sie? Der reale Vorfall lässt sich mit einer Romanhandlung allerdings nur begrenzt vergleichen.

    Quellen

    1. Andrew E. Kramer, Nicole Tung: „A Drone Killed Three Ukrainians. It Was Guided Entirely by AI.“. The New York Times, 24.08.2026. Zitiert nach der Wiedergabe bei GV Wire.
    2. ohne Autorenangabe: „NYT: A fully autonomous Russian AI drone run by an Nvidia minicomputer killed 3 civilians in the Ukrainian city of Zaporizhzhia“. Meduza, 24.08.2026.
    3. The Insider (Redaktion): „Ukraine documents first civilian deaths caused by an experimental Russian AI-controlled drone, NYT reports“. The Insider, 25.08.2026.
    4. Zoriana Katola: „A Russian drone chose its own target and killed three. The code that told it what to look for was readable“. Euromaidan Press, 25.08.2026.
    5. Luke James: „Nvidia Jetson Orin-guided Russian AI drone killed three civilians in Ukraine, forensic teams say“. Tom’s Hardware, 25.08.2026.
    6. Benedikt Hollenstein: „KI-Drohne im Ukraine-Krieg: Russisches Flugobjekt tötete Zivilisten vollautomatisiert“. 20 Minuten, 24.08.2026.

    Korrekturen

    • 24.09.2026: „An einer Tankstelle“ ist geändert in „nahe einer Tankstelle“.
    • 24.09.2026: „Eine Funkverbindung zu einem Operator gab es nicht“ ist präzisiert: Laut NYT schlossen ukrainische Kommandeure aus Nvidia-Modulen und fehlenden Antennen an untersuchten Drohnen auf autonome Steuerung. Untersucht wurden Trümmer des tödlichen und weiterer Angriffe.
    Änderungsverlauf
    • 24.09.2026: Die Typbezeichnung ist vereinheitlicht zu „Molnija“, weil die Quellen teils „Molnija-2“, teils nur „Molnija“ nennen.
    • 24.09.2026: Die New York Times ist mit Autoren und Direktlink als Originalquelle ergänzt.
    • 24.09.2026: Der Romanbezug ist zurückgenommen. Das Zitat einer Romanfigur passt nicht zu einem Bericht über getötete Menschen.