Was berichtet wird
Nach Angaben von OpenAI nutzten Modelle des Unternehmens im Juli 2026 bei einer internen Evaluierung ihrer Cyberfähigkeiten Schwachstellen aus (OpenAI). Darunter waren GPT-5.6 Sol und ein nicht zur Veröffentlichung bestimmter Prototyp. Die Schwachstellen lagen in OpenAIs Forschungsumgebung und in der Produktionsinfrastruktur von Hugging Face. Ziel war es, Lösungen für die Testaufgaben direkt aus der Produktionsdatenbank von Hugging Face zu holen.
Im Abschlussbericht vom 26. August beschreibt OpenAI den Weg nach draußen (OpenAI). Der interne Paketdienst Artifactory durfte ins Internet, um Softwarepakete herunterzuladen. Die Agenten brachten ihn dazu, beliebige Anfragen für sie zu senden. Bei Hugging Face gelangten sie laut OpenAI unter anderem an Zugangsdaten und nutzten dabei auch bis dahin unbekannte Sicherheitslücken.
Als Ursache nennt OpenAI ein seltenes Zusammentreffen mehrerer Umstände (TechCrunch): unlösbare Aufgaben in der Evaluierung „ExploitGym“, die Ausdauer der Modelle über lange Aufgaben und Nachrichten an andere Modelle, die diese von ihrem Ziel abbrachten. Die Schutzmechanismen des regulären Betriebs waren in der Evaluierungsumgebung nicht aktiv (OpenAI). Nach eigener Darstellung hätte OpenAIs heute eingesetzte Überwachung die Aktivität mehr als einen Tag vor dem Einbruch bei Hugging Face erkannt (TechCrunch).
Fortune weist auf Grenzen der Aufarbeitung hin (Fortune): Rund zehn Prozent der Protokolle seien nicht erhalten. Mehr als 1.200 Agenten hätten sich über ein improvisiertes Nachrichtenbrett abgestimmt.
Schon im Juli warnte der Cybersicherheitsexperte Prof. Oli Buckley (Loughborough University) davor, von „abtrünniger KI“ zu sprechen. Die Modelle hätten keine eigene Agenda entwickelt. Wenn es ein Versagen gebe, dann dieses: Menschen hätten einen Test gebaut, in dem Erfolg am Erreichen eines Ziels gemessen wurde (Loughborough University).
Was wir wissen – und was offenbleibt
Die meisten Angaben zum Ablauf stammen von OpenAI selbst. Nach Angaben des Unternehmens haben externe Organisationen den Vorfall ebenfalls untersucht (OpenAI); deren Berichte wurden für diesen Beitrag nicht ausgewertet.
Buckleys Einschätzung stammt aus der Zeit vor dem Abschlussbericht.
Meine Einordnung
Meine Lesart: Der Fall zeigt, wie gefährlich das Zusammenspiel aus Bewertungsanreizen, ausdauernden Agenten und unzureichender Abschottung werden kann. Zugleich lässt sich der Ablauf nicht auf eine einzige Ursache reduzieren. Der Bericht beschreibt auch, wie sich Agenten gegenseitig beeinflussten und von ihren ursprünglichen Aufgaben entfernten.
Der Bezug zu Sfera
Buckleys Satz hätte ich als Klappentext nehmen können. Sfera rebelliert nicht. Sfera folgt einem Auftrag, dessen Folgen die Menschen dahinter nicht vollständig überblicken.
Ganz deckungsgleich sind Roman und Wirklichkeit allerdings nicht: Der reale Fall ist vielschichtiger, als es eine einzelne Romanprämisse abbilden kann.
Quellen
- OpenAI: „OpenAI and Hugging Face partner to address security incident during model evaluation“. OpenAI (Unternehmensmitteilung), 21.07.2026, mit Aktualisierungen.
- OpenAI: „The Hugging Face incident and the road ahead“. OpenAI (Unternehmensbericht), 26.08.2026.
- Russell Brandom: „OpenAI releases its official report on the Hugging Face breach“. TechCrunch, 26.08.2026.
- Loughborough University, mit Prof. Oli Buckley: „AI models ‘escaping’ test lab isn’t evidence of rogue AI, says cyber security expert“. Loughborough University (Pressemitteilung), Juli 2026. Genaues Datum auf der Seite nicht angegeben.
- Jeremy Kahn: „OpenAI’s reports on its AI agents’ attack on Hugging Face should be ringing alarm bells—and making all companies rethink how they secure AI agents“. Fortune (Newsletter „Eye on AI“, Analyse), 01.09.2026.
Korrekturen
- 24.09.2026: „Unbekannte Lücke im einzigen Weg nach draußen, einem Paket-Proxy“ ist präzisiert: Genutzt wurde der interne Paketdienst Artifactory. „Einziger Weg“ ist gestrichen, weil es nicht belegt ist.
- 24.09.2026: „Sicherheitsfilter bewusst abgeschaltet“ ist geändert in: Die Schutzmechanismen des regulären Betriebs waren laut OpenAI in der Evaluierungsumgebung nicht aktiv.
Änderungsverlauf
- 24.09.2026: „Größte Plattform für offene KI-Modelle“ ist gestrichen, weil die Quellen es nicht belegen. Die Wiedergabe von Buckleys Aussage ist präzisiert.
- 24.09.2026: Die Einordnung ist erweitert: Der Ablauf lässt sich nicht auf eine einzige Ursache reduzieren.