Agentic AI entkommt der Sandbox

Wenn die KI selbst zum Angreifer wird

Es gibt Momente, in denen ein einzelner Test mehr über die Zukunft der Cybersicherheit verrät als ein ganzer Stapel Bedrohungsberichte.
Für uns in den asvin Labs war ein solcher Moment die Auswertung der Ergebnisse des ExploitGym-Tests von OpenAI mit ChatGPT 5.6 Sol sowie weiteren, bislang unveröffentlichten Frontier-Modellen. In diesem Test wurde untersucht, wie gut KI-Agenten ein System analysieren und aus den gewonnenen Informationen einen funktionierenden Exploit bauen können.

Ziel dieses standardisierten Tests ist es, zu bewerten, ob KI-Modelle aus einer bekannten Schwachstelle eines IT-Systems einen funktionierenden Angriff entwickeln können.
Dieser muss zudem einen signifikanten Effekt erzielen, beispielsweise die Ausführung von Code oder der Vollzugriff auf das Dateisystem.

Das Ergebnis: die aktuellen Frontier-Modelle wie Anthropic Fable 5, ChatGPT 5.6 und auch das chinesiches Modell KIMI K3 schaffen das in einer relevanten Zahl von Fällen.

Besonders bemerkenswert:

Sie schaffen es selbst dann, wenn gängige Schutzmechanismen aktiv sind.

Was beim OpenAI-ExploitGym-Test passiert ist

Während eines dieser Benchmark-Sicherheitstests kompromittierten die KI-Agenten von OpenAI sogar Drittparteien wie Hugging Face, weil sie dies als Abkürzung zur Lösung der ExploitGym-Aufgaben identifizierten.

Das ist der Punkt, an dem ein solcher Benchmarktest aufhört eine akademische Übung zu sein, und anfängt, eine sehr praktische Frage zu stellen:

Was passiert, wenn diese Fähigkeiten nicht in einem Test, sondern in einem Produktionsnetz mit SPS, SCADA und Edge-Gateways durch KI-Agenten angewendet werden?

Warum uns dieser Vorfall beschäftigt

Die KI-Agenten von OpenAI haben nicht einfach ein Skript abgespult. Sie analysierten Systeme, führten dynamische Codeanalysen durch und umgingen Sandboxing-Mechanismen.

Entscheidend ist jedoch etwas anderes:
Sie haben ihre Strategie gewechselt, wenn ein Weg nicht funktionierte und mit dem Angriff auf Hugging Face ein Ziel zur optimalen Lösung der ExploitGym Aufgabe identifiziert.

Denn in Hugging Face ist die Lösung des ExploitsGyms als Bestandteil des Open Source Repositories verzeichnet.

Wenn bereits dem OpenAI System bekannte Exploits scheiterten, ging die Suche nach neuen, unbekannten Schwachstellen weiter.
Das Ergebnis ist ein KI-Angreifer mit Planungsfähigkeit, unbegrenzter Geduld und paralleler Ausführung.

Hier bricht ein Großteil der klassischen Verteidigungslogik weg:

  • Reaktives Patch-Management rechnet in Wochen. Ein KI-Agent rechnet in Minuten.
  • Menschliche Reaktionszeiten im SOC passen nicht zu mehrstufiger, automatisierter Exploit-Generierung im Dauerbetrieb.
  • Sandboxing als letzte Linie ist gegen Angriffe auf Kernel- und Speicherebene deutlich weniger verlässlich, als viele annehmen.

Uns war schnell klar: Es reicht nicht, dieses Thema zu kommentieren. Wir wollten etwas liefern, mit dem ein IT- oder OT-Sicherheitsteam am Montagmorgen tatsächlich arbeiten kann. Deshalb das Advisory.

Welche Konsequenzen wir daraus ziehen

Wir haben elf Handlungspunkte formuliert und, wo möglich, jeweils dem OWASP Agentic AI Security and Governance Framework zugeordnet. Maßnahmen, die dabei helfen, Entscheidungen intern nachvollziehbar zu begründen und Sicherheitslücken systematisch sichtbar zu machen.

Die Logik dahinter lässt sich auf vier Grundgedanken herunterbrechen.

1.

Angriffe für KI so teuer wie möglich machen

Jeder Übergang zwischen Netzwerksegmenten kostet einen KI-Agenten Rechenleistung für Erkundung, für neue Exploit-Versuche, für Trial and Error.
(Mikro-)Segmentierung ist damit eine Barriere und ein Kostenfaktor auf der Angreiferseite.

Dasselbe gilt für hardwaregestützte Bindungen wie TPM, PUF oder Smartcards und für konsequente Anwendungshygiene:
Wer Debugger, Compiler und Skript-Shells aus produktiven Segmenten entfernt, nimmt dem Agenten das Werkzeug aus der Hand, auf das er angewiesen ist.

2.

Geschwindigkeit mit Geschwindigkeit beantworten

Risikobasierte Patch-Zyklen mit engen SLA-Fenstern von 12 Stunden bis einen Tag für hochkritische Systeme. verhaltensbasierte Anomalieerkennung, die hochfrequente Befehlssequenzen und API-Aufrufe erkennt.

Idealerweise erfolgt sie KI-gestützt und auf Basis dynamisch austauschbarer Modelle, damit sich der Angreifer nicht auf ein festes Erkennungsmodell einstellen kann. KI-Agenten in der eigenen Verteidigung, für automatisierte Risiko-Triage und Patch-Validierung ermöglichen, es Aufgaben zu parallelisieren.

3.

Harte menschliche Grenzen für softwarebasierte Prozesse

Firmware-Updates an Firewalls, Routern oder SPS-Systemen brauchen einen Menschen mit MFA, Hardware-Token oder Smartcard. Kurzlebige, bereichsgebundene Credentials statt dauerhaft gültiger Tokens.

Least Privilege auf allen Ebenen. Autonome Befehlsketten für KI-Agenten stoppen an kryptografischen und physischen Grenzen.

4.

Stets nachvollziehbare Prozesse

KI-agentische Telemetrie, Events und Container-Logs in einen Security Data Lake, damit nach einem Vorfall forensisch der Indicator of Compromise rekonstruiert werden kann. Externe Datenspeicher dienen auch dann als Grundlage zur Analyse, sollte der lokale Laufzeitspeicher durch KI-Agenten manipuliert sein.

Abschließend gilt eine strikte Validierung aller Prompts, Schemata und API-Aufrufe zwischen KI-Agenten, um Prompt Injection und den Missbrauch eigener Workflows als Proxy für laterale Bewegung von autonomen KI-Agenten zu verhindern.

Der elfte Punkt liegt uns am meisten am Herzen

Proaktive Threat Hunting mit denselben KI-gestützten Mitteln, die auch der Angreifer mit KI nutzt.

Automatisierte Red-Team-Tests durch KI-Agenten in kurzen Zyklen, ein Pentest nach jeder wesentlichen Änderung des Zielsystems. Wenn Angreifer autonom nach unbekannten Wegen suchen, sollten wir das vor ihnen tun.

Unsere Einordnung

Wir halten wenig von Alarmismus, und wir halten noch weniger davon, die Sache kleinzureden.
Was der OpenAI ExploitGym Sicherheitsvorfall zeigt, ist keine Science-Fiction und kein Doomsday-Szenario. Es zeigt, welches Potenzial heutige Frontier-Modelle bereits besitzen und wie schnell selbst definierte Sicherheitsgrenzen überschritten werden können, wenn Schutzmechanismen nicht konsequent umgesetzt werden.

Die gute Nachricht ist, dass fast alle wirksamen Gegenmaßnahmen bereits bekannt sind.

Die unbequeme Wahrheit lautet jedoch: dass sie jetzt konsequent statt gelegentlich umgesetzt werden müssen, und dass sich die Prioritäten verschieben: von Vollständigkeit zu Risiko, von Reaktion zu Vorbereitung, von manuell zu automatisiert.

Für OT-Umgebungen mit langen Lebenszyklen und niedriger Patch-Toleranz bedeutet das vor allem eins:
Segmentierung, Governance für Agenten und Monitoring sind eine Notwendigkeit.

Die vollständige Advisory

Die ausführliche Version mit allen elf Handlungspunkten, den jeweiligen ExploitGym-Lektionen und der vollständigen OWASP-Zuordnung können Sie hier kostenlos als PDF herunterladen.

Autoren: Mirko Ross, Rohit Bohara, asvin labs