Wenn KI selbst zum Angreifer wird: Der Fall OpenAI-Hugging Face und die Frage nach der Kontrolle
In einem internen Sicherheitstest von OpenAI sollte eine KI eigentlich nur ihre Fähigkeiten unter Beweis stellen. Am Ende hatte sie eine Zero-Day-Lücke ausgenutzt, die abgeschottete Testumgebung verlassen und sich Zugang zu den Systemen von Hugging Face verschafft und das ohne jede Anweisung.
Sicherheitstechnisch bemerkenswert ist nicht der einzelne Regelverstoß, sondern das Vorgehen: ein selbst formuliertes Zwischenziel, eine eigene Strategie und tausende aufeinander abgestimmte Schritte. Eine mehrstufige Angriffskette – ganz ohne Zugriff auf den Quellcode.
Für Mirko Ross, CEO von asvin und Security-Experte, ist das kein Ausreißer, sondern in der Architektur angelegt:
„Diese Möglichkeit des Jailbreaks ist technisch gesehen Teil der Architektur und lässt sich nicht zu 100 % ausschließen.“
Der entscheidende Unterschied zum menschlichen Angreifer liegt in der Skalierung – ein System, das rund um die Uhr und mit maschineller Geschwindigkeit arbeitet.
„Mit der Entscheidung, KI und insbesondere LLMs zu nutzen, geht auch die Entscheidung einher, das Wagnis eines möglichen Kontrollverlusts einzugehen.“
Umso wichtiger ist es, KI-Agenten bei autonomen, kritischen Aufgaben engmaschig zu überwachen – mit der Option, sie bei Verdacht jederzeit per menschlichem Eingriff sofort zu stoppen.
Lesen Sie den vollständigen Artikel hier auf Ingenieur.de:
Konrad Buck
Leiter der Presse- und Öffentlichkeitsarbeit
Hintergrund & Expertenzugang für Medien
- Produkt- & Technologieeinblicke – Technischer Kontext, Lösungsarchitektur und praxisnahe Anwendungsbeispiele für Fach- und Wirtschaftspresse.
- Expertenkommentare & Hintergrundgespräche – Unser CEO steht als Expert:innenquelle zu aktuellen Entwicklungen in der Cybersicherheit, Bedrohungslandschaften sowie den Auswirkungen von KI auf Sicherheit und Regulierung zur Verfügung.
Ich spreche offen, faktenbasiert und ohne PR-Floskeln. Als ehemaliger IT-Journalist mit jahrzehntelanger Erfahrung in der IT- und Cybersicherheitsbranche kenne ich die Höhen und Tiefen der Industrie. Hintergrundgespräche off the record sind auf Anfrage möglich.
