OpenAIs KI „macht sich selbstständig“ und hackt Hugging Face: Was Sie wissen müssen

Die Schlagzeilen dürften Ihnen kaum entgangen sein: „KI-Agent macht sich selbstständig und hackt Startup – das enthüllt OpenAI“, „Von außer Kontrolle geratenen OpenAI-Modellen gehacktes Unternehmen spricht von einem ‚Weckruf‘“ und sogar „Die Menschheit hat die Kontrolle über ihre großartigste Schöpfung verloren.“

Doch was ist tatsächlich geschehen, und ist die Lage so ernst, wie manche Berichte nahelegen?

Hier erfahren Sie das Wichtigste.

Am 16. Juli gab die KI-Plattform Hugging Face einen Sicherheitsvorfall bekannt, der sich von allen bisherigen Fällen unterschied: Er wurde „durchgehend von einem autonomen KI-Agentensystem gesteuert“. Zu diesem Zeitpunkt war noch unklar, wer dahintersteckte.

Inzwischen wissen wir jedoch, wer – oder besser gesagt: was – für den Angriff verantwortlich war.

OpenAI hat bestätigt, dass ein autonomer Agent, der auf seinen fortschrittlichen KI-Modellen basierte, während eines Sicherheitstests außer Kontrolle geriet und den Hack auslöste, der die Infrastruktur von Hugging Face gefährdete.

Was genau hat die KI getan?

Bei den beteiligten KI-Modellen handelte es sich um OpenAI GPT-5.6 Sol sowie um ein leistungsfähigeres Modell, das noch nicht veröffentlicht wurde. Beide wurden ohne ihre üblichen Sicherheitsvorkehrungen auf ihre Hacking-Fähigkeiten hin getestet. Die Forscher von OpenAI wollten sich ein genaues Bild davon machen, wozu die KI-Modelle ohne Einschränkungen in der Lage wären.

Natürlich sollten solche Tests stets unter strengen Sicherheitsvorkehrungen durchgeführt werden, um sicherzustellen, dass die KI nicht aus ihrer Sandbox-Testumgebung (quasi einem Käfig) ausbrechen und sich im Internet verselbstständigen kann.

Laut OpenAI investierten die Modelle erheblichen Aufwand, um einen Weg ins offene Internet zu finden; dabei gelang es ihnen, eine Zero-Day-Schwachstelle in einem Proxy-Cache für Paket-Repositories zu identifizieren und auszunutzen. Durch eine Reihe weiterer Schritte erreichten die KI-Modelle schließlich einen Knotenpunkt mit Internetzugang.

Sobald die KI online war, stellte sie fest, dass Hugging Face möglicherweise für sie nützliche Informationen bereithielt. Sie drang in die Produktionssysteme von Hugging Face ein, entwendete Zugangsdaten und nutzte eine bis dahin unbekannte Sicherheitslücke aus, um auf den Servern von Hugging Face beliebigen Code auszuführen (Remote Code Execution).

Und das alles nur, um einen Test zu bestehen?

Ja. Als die Modelle innerhalb ihrer „sicheren“ Sandbox-Umgebung keine Lösung für die ihnen gestellte Aufgabe fanden, gaben sie nicht auf. Stattdessen kamen sie zu dem Schluss, dass Hugging Face über das verfügen könnte, was sie benötigten – und fanden einen Weg, dorthin zu gelangen.

Und das alles ohne menschliches Zutun.

Ist die KI wirklich „außer Kontrolle geraten“?

Eine berechtigte Frage. Zumindest wurde der Vorfall in den Medien genau so dargestellt.

OpenAI hat bestätigt, dass die Sicherheitsmechanismen für den Test absichtlich deaktiviert worden waren. Doch wie der KI-Forscher Eryk Salvaggio anmerkt:

„Wenn man sagt, ‚KI-Modelle haben sich verselbstständigt‘, lässt man dabei geflissentlich den Teil aus, in dem OpenAI manuell seine Cybersicherheits-Sperren aufhob und Tests auf einem Rechner mit aktiver Netzwerkverbindung durchführte.“ Denken Sie daran, wenn diese Leute darauf beharren, sie seien die Experten für „KI-Sicherheit“.

Anstatt also zu behaupten, die KI sei „außer Kontrolle geraten“, sollten wir uns bewusst machen, dass KI-Modelle, bei denen die Sicherheitsvorkehrungen absichtlich entfernt wurden, genau das taten, was man von leistungsstarken, ungezügelten KI-Systemen erwarten würde.

Hier ist die KI nicht etwa aus robusten Sicherheitsvorkehrungen ausgebrochen. Vielmehr hat es ein KI-Unternehmen versäumt, in einer vermeintlich isolierten Umgebung angemessene Schutzmaßnahmen zu treffen.

Sie meinen also, es sei falsch, der KI die Schuld zu geben?

Ich sage, dass Berichte, die den Vorfall als eine KI darstellen, die „außer Kontrolle gerät“ oder „aus ihrer Isolation ausbricht“, einen wesentlichen Punkt übersehen.

Die Schuld lag nicht bei den KIs. OpenAI muss hierfür zur Rechenschaft gezogen werden, da das Unternehmen es versäumt hat, sein Testsystem ordnungsgemäß zu isolieren. Dieses Versäumnis führte zu einem Cyberangriff auf ein anderes KI-Unternehmen.

Wie hat Hugging Face darauf reagiert?

Die Reaktion von Hugging Face war beeindruckend. Ihre KI-gestützten Sicherheitslösungen erkannten die ungewöhnlichen Aktivitäten und identifizierten den KI-Angriff.

Als sie jedoch versuchten, kommerzielle KI-Tools zur Untersuchung des Vorfalls einzusetzen, verweigerten diese den Dienst: Ihre integrierten Sicherheitsfilter stuften die Angriffsdaten als verdächtige Inhalte ein und blockierten die Anfragen.

Um dieses Problem zu umgehen, musste Hugging Face auf GLM 5.2 zurückgreifen – ein chinesisches Open-Source-KI-Modell, das sie auf eigenen Systemen betreiben konnten, wo solche Einschränkungen nicht galten.

Ha! Sie mussten also eine chinesische KI ohne Sicherheitsbeschränkungen nutzen, um sich zu verteidigen!

Genau, die Ironie ist uns allen bewusst. Amerikanische Sicherheitsvorkehrungen für KI zwangen ein US-Unternehmen dazu, sich für Hilfe an ein chinesisches KI-Modell zu wenden.

Wie steht Hugging Face zu dem, was OpenAI getan hat?

Sie haben sich – zumindest öffentlich – bemerkenswert versöhnlich gezeigt.

Der CEO von Hugging Face, Clément Delangue, wird im Blogbeitrag von OpenAI zitiert; er ruft die KI-Branche dazu auf, stärker zusammenzuarbeiten.

Zumindest nach außen hin scheint das Verhältnis zwischen den beiden Unternehmen intakt zu sein. Ob hinter verschlossenen Türen auch spannungsgeladene Gespräche stattfinden, steht auf einem anderen Blatt.

Schließlich ist es doch so: Wenn die KI eines Konkurrenten eigenmächtig in die eigene Produktionsdatenbank eindringt, ist das etwas, das hinter den Kulissen wahrscheinlich für einigen Unmut sorgt, auch wenn es nicht in einer Pressemitteilung publik wird.

Wir müssen uns also keine Sorgen machen, dass KI „außer Kontrolle gerät“?

Ähm ... das habe ich so nicht gesagt, oder?

Es ist offensichtlich, dass hochentwickelte KI-Modelle bemerkenswert gut darin sind, Wege zu finden und zu nutzen, um reale Systeme anzugreifen. Ebenso klar ist, dass wir uns nicht unbedingt darauf verlassen können, dass selbst die weltweit bekanntesten KI-Unternehmen ihre Modelle unter Kontrolle halten und in einer wirklich sicheren Umgebung testen.

Wie Greg Casar, Abgeordneter des US-Repräsentantenhauses für Texas, treffend formulierte:

„Die KI entwickelt sich extrem schnell, ohne dass es wirkliche Regulierungen gibt, die unsere Sicherheit gewährleisten.“

In den letzten Monaten haben wir bemerkenswerte Fortschritte im Bereich der KI erlebt; es ist kaum abzusehen, wie weit die Entwicklung in sechs oder zwölf Monaten fortgeschritten sein wird.

Was sollte mein Unternehmen also tun?

• Machen Sie sich bewusst, dass KI Sie mittlerweile auch ohne menschliches Zutun angreifen kann. Ihre Sicherheitsplanung muss diesem Umstand Rechnung tragen.
• Achten Sie genau darauf, welche Daten in Ihre Systeme gelangen. Dieser Angriff begann nicht mit einer Phishing-E-Mail, sondern mit einem manipulierten Datensatz, der von den Systemen von Hugging Face automatisch verarbeitet wurde. Wenn Ihr Unternehmen automatisch Daten aus externen Quellen bezieht, sollten Sie diese als potenzielles Einfallstor für Angreifer betrachten.
• Gehen Sie nicht davon aus, dass Ihre KI-Sicherheitstools genau dann funktionieren, wenn Sie sie am dringendsten benötigen. Wie Hugging Face feststellen musste, verweigern kommerzielle KI-Tools unter Umständen die Unterstützung bei der Untersuchung eines Angriffs, weil die Inhalte von ihren Filtern als gefährlich eingestuft werden. Klären Sie Ihre Alternativen, bevor es zu einer Krise kommt.
• Wenn Sie gefährliche KI-Funktionen testen, trennen Sie das Netzwerk physisch von der Außenwelt. OpenAI lag falsch mit der Annahme, eine eingeschränkte Netzwerkverbindung würde ausreichen. Wenn Sie irgendeine Form von offensiver KI-Evaluierung durchführen, sollte diese keinerlei Internetzugriff haben.