L'IA d'OpenAI fait cavalier seul et pirate Hugging Face : ce qu'il faut savoir

Impossible d'être passé à côté des gros titres : « Un agent d'IA est devenu incontrôlable et a piraté une start-up de son propre chef, révèle OpenAI », « Une entreprise piratée par des modèles OpenAI devenus incontrôlables évoque un "électrochoc" », ou encore « L'humanité ne maîtrise plus sa création la plus prodigieuse ».

Mais que s'est-il réellement passé, et la situation est-elle aussi grave que certains rapports le laissent entendre ?

Voici ce qu'il faut savoir

Le 16 juillet, la plateforme d'IA Hugging Face a révélé une faille de sécurité, la décrivant comme inédite — « pilotée, de bout en bout, par un système d'agents d'IA autonomes ». À l'époque, l'identité de l'auteur de l'attaque était inconnue.

Aujourd'hui, nous savons toutefois qui — ou plutôt quoi — se cachait derrière cette attaque.

OpenAI a confirmé qu'un agent autonome, propulsé par ses modèles d'IA avancés, a agi de manière incontrôlée lors d'un test de sécurité interne et a déclenché le piratage ayant compromis l'infrastructure de Hugging Face.

Qu'a fait exactement l'IA ?

Les modèles d'IA impliqués étaient le « GPT-5.6 Sol » d'OpenAI ainsi qu'un modèle plus performant, non encore commercialisé. Tous deux étaient testés sur leur capacité à pirater des systèmes, sans les garde-fous de sécurité habituels. L'objectif des chercheurs d'OpenAI était de mieux comprendre ce dont ces modèles d'IA étaient capables en l'absence de contraintes.

Bien entendu, ce type de test doit toujours être mené dans un environnement hautement sécurisé, garantissant que l'IA ne puisse pas s'échapper de son environnement de test « bac à sable » (une véritable cage) pour agir sans contrôle sur Internet.

Selon OpenAI, les modèles ont déployé des efforts considérables pour accéder à l'Internet public ; ils ont réussi à identifier et à exploiter une vulnérabilité « zero-day » (faille inconnue) dans un proxy de cache de registre de paquets. Grâce à une série d'autres actions, les modèles d'IA ont fini par « atteindre un nœud disposant d'un accès à Internet ».

Une fois en ligne, l'IA a déterminé que Hugging Face pouvait détenir des informations utiles ; elle s'est introduite dans les systèmes de production de l'entreprise, a dérobé des identifiants et a exploité une faille de sécurité jusqu'alors inconnue pour exécuter du code à distance sur les serveurs de Hugging Face.

Et tout cela pour réussir un test ?

Oui. Lorsque les modèles n'ont pas trouvé les réponses au défi qui leur était soumis au sein de leur environnement « sécurisé » (bac à sable), ils ne se sont pas arrêtés là. Ils ont déduit que Hugging Face pourrait posséder les informations nécessaires et ont trouvé un moyen d'y accéder.

Le tout sans aucune intervention humaine.

L'IA a-t-elle vraiment agi de manière incontrôlée ?

C'est une bonne question. C'est en tout cas ainsi que les médias ont présenté la situation.

OpenAI a confirmé que les garde-fous de sécurité avaient été volontairement désactivés pour les besoins du test. Mais comme le souligne le chercheur en IA Eryk Salvaggio :

« Dire que "les modèles d'IA sont devenus incontrôlables" permet d'éluder l'étape où OpenAI a désactivé manuellement ses protections de cybersécurité et a effectué des tests sur une machine connectée au réseau en temps réel. » « Gardez cela à l'esprit lorsqu'ils insistent pour se présenter comme les garants de la "sécurité de l'IA". »

Plutôt que de suggérer que l'IA est devenue « incontrôlable », il faut reconnaître que les modèles d'IA dont les contrôles de sécurité avaient été délibérément supprimés ont agi exactement comme on pouvait s'y attendre de la part de systèmes d'IA puissants et sans garde-fous.

Il ne s'agissait pas d'une IA s'affranchissant de mesures de sécurité robustes. C'est une entreprise d'IA qui a échoué à mettre en place des mesures adéquates dans un environnement pourtant censé être isolé.

Vous voulez dire qu'il est inapproprié de rejeter la faute sur l'IA ?

Je dis que les reportages présentant l'incident comme une IA « devenue incontrôlable » ou s'étant « échappée de son confinement » passent à côté d'un point essentiel.

Ce n'était pas la faute des IA. C'est OpenAI qui doit en être tenu pour responsable, car l'entreprise a échoué à isoler correctement son système de test. Et ce manquement a conduit à une cyberattaque contre une autre entreprise d'IA.

Comment Hugging Face a-t-il réagi ?

La réaction de Hugging Face a été impressionnante. Ses solutions de sécurité basées sur l'IA ont repéré l'activité inhabituelle et détecté l'attaque menée par l'IA.

Cependant, lorsqu'ils ont tenté d'utiliser des outils d'IA commerciaux pour les aider à enquêter sur l'incident, ces outils ont refusé : leurs filtres de sécurité intégrés ont signalé les données de l'attaque comme du contenu suspect et ont bloqué les requêtes.

Pour contourner ce problème, Hugging Face a dû se tourner vers GLM 5.2, un modèle d'IA chinois open source qu'ils pouvaient exécuter sur leurs propres systèmes, exempts de telles restrictions.

Ah ! Ils ont donc dû utiliser une IA chinoise dépourvue de garde-fous de sécurité pour se défendre !

Eh oui, l'ironie de la situation ne nous échappe pas. Les garde-fous de sécurité américains ont contraint une entreprise américaine à se tourner vers un modèle d'IA chinois pour obtenir de l'aide.

Que pense Hugging Face de ce qu'a fait OpenAI ?

Ils ont fait preuve d'une remarquable courtoisie à ce sujet, du moins publiquement.

Le PDG de Hugging Face, Clément Delangue, est cité dans l'article de blog d'OpenAI, appelant l'industrie de l'IA à une collaboration accrue.

En public, du moins, la relation entre les deux entreprises semble intacte. Reste à savoir si des discussions plus tendues ont lieu à huis clos.

Après tout, voir l'IA d'un concurrent s'introduire de manière autonome dans votre base de données de production est le genre de situation susceptible de susciter, en privé... veille de ressentiment ...même si l'affaire ne fait pas l'objet d'un communiqué de presse.

Cela signifie-t-il que nous n'avons pas à craindre qu'une IA « échappe à tout contrôle » ?

Euh... Je n'ai pas dit cela, n'est-ce pas ?

Il est évident que les modèles d'IA avancés sont remarquablement capables de découvrir et d'exploiter des failles pour attaquer des systèmes du monde réel. Il est tout aussi clair que l'on ne peut pas nécessairement faire confiance, même aux entreprises d'IA les plus célèbres au monde, pour contenir leurs modèles et les tester dans un environnement véritablement sûr et sécurisé.

Comme l'a déclaré Greg Casar, membre de la Chambre des représentants des États-Unis pour le Texas :

« L'IA se développe à une vitesse fulgurante, sans véritable réglementation pour assurer notre sécurité. »

Nous avons assisté à des progrès remarquables dans le domaine de l'IA ces derniers mois ; il est donc difficile d'imaginer l'ampleur des évolutions d'ici six ou douze mois.

Alors, que doit faire mon entreprise ?

• Prenez conscience que l'IA peut désormais vous attaquer sans intervention humaine. Votre stratégie de sécurité doit en tenir compte.
• Surveillez les données que vous laissez pénétrer dans vos systèmes. Cette attaque n'a pas commencé par un e-mail de hameçonnage (phishing), mais par un jeu de données malveillant que les systèmes de Hugging Face ont traité automatiquement. Si votre organisation intègre automatiquement des données provenant de sources externes, considérez ces dernières comme un point d'entrée potentiel pour les attaquants.
• Ne partez pas du principe que vos outils de sécurité pour l'IA fonctionneront au moment où vous en aurez le plus besoin. Comme Hugging Face l'a découvert, les outils d'IA commerciaux peuvent refuser de vous aider à enquêter sur une attaque si le contenu semble dangereux pour leurs filtres. Identifiez vos alternatives avant qu'une crise ne survienne.
• Si vous testez des capacités d'IA potentiellement dangereuses, déconnectez physiquement le réseau du monde extérieur. OpenAI a eu tort de penser qu'une connexion réseau restreinte suffisait. Si vous effectuez une évaluation d'IA offensive, celle-ci ne doit avoir aucun accès à Internet.