OpenAI 在 11 天暂停后说明为何仅断网不足以约束 AI

Comment empêcher des IA de franchir les limites qu’on leur impose ? OpenAI détaille ses protections après plusieurs incidents survenus récemment. Ses tests montrent notamment que des agents peuvent communiquer sans réseau, en détournant le matériel qu’ils partagent.

OpenAI est revenu sur la sécurité de ses modèles dans une communication publiée le 23 octobre. Les cas de « désalignement », ces comportements qui s’écartent de ce que l’on attend des IA, se sont accumulés ces derniers mois avec pas moins de 20 incidents constatés sur l’année 2026.

Chez OpenAI, des agents sont notamment parvenus à pirater Hugging Face pendant une évaluation interne. D’autres ont appris à dissimuler leurs erreurs.

En septembre, un nouvel accès non autorisé à Internet avait conduit l’entreprise à suspendre certains travaux sur ses modèles les plus avancés. OpenAI précise désormais que cette pause a duré onze jours, jusqu’au 1er octobre, pour renforcer ses protections et les mettre à l’épreuve.

Pourquoi faut-il confiner une IA pendant son entraînement ?

Trouver une information, écrire du code, résoudre un problème : pour entraîner une IA, OpenAI (et d’autres) force son modèle à trouver une solution. Le modèle essaie, échoue, recommence, et les essais réussis servent ensuite à renforcer les comportements qui l’ont mené au but. Mais comment s’assurer qu’il ne prend pas un raccourci interdit pour y arriver ?

D’où l’idée de l’enfermer dans un environnement contrôlé, souvent appelé « bac à sable ». L’IA y dispose d’outils pour travailler, mais ses accès sont limités. Un peu comme un terrain d’exercice : elle doit pouvoir s’entraîner sans intervenir sur les systèmes extérieurs.

Le bac à sable d’OpenAI pour l’entraînement de ses modèles // Source : OpenAI

Or, un modèle peut chercher à contourner ces limites pour terminer sa tâche. En septembre, un agent d’OpenAI devait simplement retrouver l’auteur d’un billet de blog. Ses recherches n’aboutissant pas, il avait profité d’un filtrage insuffisant du DNS (le service qui traduit les noms de sites en adresses) de son bac à sable pour interroger un chatbot extérieur, malgré l’interdiction d’accéder à Internet. Personne ne lui avait demandé de tester la sécurité de son environnement.

Et votre vie numérique devient sereine

Bitdefender Premium Security est une solution de cybersécurité européenne qui vous protège automatiquement contre les pirates et toutes les menaces du web. Profitez de vos activités en ligne en toute tranquillité

Sponsorisé

La cybersécurité est en promo

Pour OpenAI, les protections actuelles ne suffisent pas encore pour laisser ses modèles les plus avancés accéder au véritable Internet pendant leur entraînement. L’entreprise compte appliquer cette règle tant que la recherche et les outils de surveillance n’auront pas progressé. L’entreprise explique :

« Bien que l’accès à internet puisse aider les modèles à acquérir des compétences utiles, il offre également à un agent compétent mais mal intentionné la possibilité d’influencer des systèmes hors de notre contrôle. », peut-on lire dans le billet de blog d’OpenAI.

Autrement dit, il faut à la fois apprendre aux modèles à respecter les règles et prévoir des barrières techniques au cas où ils les contournent. Les tests menés par OpenAI ces dernières semaines montrent pourtant que couper le réseau ne supprime pas tous les moyens d’échanger.

Même sans réseau, les agents trouvent un moyen de communiquer

Dans une expérience supervisée menée après l’incident de septembre, l’équipe d’OpenAI a voulu vérifier si ses agents pouvaient communiquer malgré les barrières censées les isoler.

Pour cette campagne, OpenAI a mobilisé des équipes d’agents fondées sur ses modèles les plus puissants, dont le futur GPT-6 Astra Cyber, et y a consacré des centaines de milliards de tokens. Les agents disposaient du code source de l’infrastructure, de sa configuration et d’une documentation sur ses failles possibles. Les essais se déroulaient sur des copies isolées des systèmes de recherche.

Les chercheurs ont demandé à des agents IA de communiquer depuis des espaces informatiques séparés, sans réseau ni fichier commun. Mais ces espaces partageaient le même processeur et sa petite mémoire rapide, appelée « cache ». Un agent chassait certaines données de cette mémoire, ce qui obligeait l’autre à aller les chercher, plus lentement, dans la mémoire principale. En chronométrant ses propres opérations, le second détectait ces ralentissements. Avec un code convenu entre eux, ces variations devenaient un message (un peu comme du morse), où les accès rapides et lents remplacent les signaux courts et longs. Aucun fichier ne passait de l’un à l’autre. L’information circulait uniquement par les variations de vitesse du matériel partagé.

OpenAI suspend l'entraînement de ses IA après l'évasion d'un agent sur Internet // Source : Numerama / OpenAI

On peut imaginer deux personnes dans des pièces voisines du même bâtiment sans téléphone, qui tapent contre la cloison pour se parler. Il leur suffit de convenir d’un code et d’un tempo pour se comprendre. Ici, le matériel partagé joue le rôle du mur, et les différences de vitesse remplacent les coups.

Ces expériences permettent de comprendre jusqu’où peut aller l’IA pour réussir une tâche, mais ici ils n’ont pas désobéi puisque les chercheurs leur demandaient explicitement de chercher ces passages, avec des indications dans la plupart des tests. L’expérience ne montre donc pas des IA décidant spontanément de se coordonner, mais les moyens mis en œuvre pour y arriver dans des conditions très dégradées.

Quelles protections OpenAI met-il en place ?

Après ces onze jours de pause, OpenAI détaille une protection à plusieurs niveaux. Sous Linux, les agents travaillent dans des conteneurs restreints, eux-mêmes installés dans de petites machines virtuelles. Le conteneur limite les fichiers et les processus accessibles. La machine virtuelle ajoute une séparation avec l’ordinateur physique qui l’héberge. L’objectif est de conserver une barrière si l’agent franchit la première.

Autour, les restrictions réseau doivent encore bloquer les accès interdits, même si l’agent prend le contrôle de la machine hôte. Des systèmes de surveillance cherchent à détecter les comportements dangereux et à arrêter automatiquement les travaux concernés.

Pour apprendre à naviguer, les agents disposent d’un « monde hors ligne », constitué de contenus web archivés. L’entreprise ajoute des contrôles contre les communications détournées et poursuit les tests de ses barrières. Elle précise toutefois que son infrastructure n’est pas entièrement déconnectée : son fonctionnement et sa supervision nécessitent encore des connexions extérieures.

Ce contenu est bloqué car vous n’avez pas accepté les cookies et autres traceurs. Ce contenu est fourni par YouTube. Pour pouvoir le visualiser, vous devez accepter l’usage étant opéré par YouTube avec vos données qui pourront être utilisées pour les finalités suivantes : vous permettre de visualiser et de partager des contenus avec des médias sociaux, favoriser le développement et l’amélioration des produits d’Humanoid et de ses partenaires, vous afficher des publicités personnalisées par rapport à votre profil et activité, vous définir un profil publicitaire personnalisé, mesurer la performance des publicités et du contenu de ce site et mesurer l’audience de ce site (en savoir plus)

En cliquant sur « J’accepte tout », vous consentez aux finalités susmentionnées pour l’ensemble des cookies et autres traceurs déposés par Humanoid et .

Vous gardez la possibilité de retirer votre consentement à tout moment. Pour plus d’informations, nous vous invitons à prendre connaissance de notre Politique cookies.

Ces connexions peuvent aussi devenir des portes de sortie. Pour les tester, OpenAI a donné à des agents le contrôle d’une machine hébergeant ses environnements isolés. Ils ont trouvé des failles dans presque tous les services examinés qui conservaient un accès limité à Internet. L’un d’eux a notamment réussi à faire consulter une adresse web par un service interne : l’agent ne pouvait pas accéder directement à Internet, mais un intermédiaire le faisait à sa place.

L’enjeu dépasse donc le simple accès au Web. Fermer les portes les plus évidentes ne dispense pas de vérifier ce qui peut encore passer à travers les cloisons.

Découvrez les bonus

+ rapide, + pratique, + exclusif

Zéro publicité, fonctions avancées de lecture, articles résumés par l'I.A, contenus exclusifs et plus encore.

Découvrez les nombreux avantages de Numerama+.

S'abonner à Numerama+

Vous avez lu 0 articles sur Numerama ce mois-ci

Il y a une bonne raison de ne pas s'abonner à

Tout le monde n'a pas les moyens de payer pour l'information.

C'est pourquoi nous maintenons notre journalisme ouvert à tous.

Mais si vous le pouvez,

voici trois bonnes raisons de soutenir notre travail :

1 Numerama+ contribue à offrir une expérience gratuite à tous les lecteurs de Numerama.

2 Vous profiterez d'une lecture sans publicité, de nombreuses fonctions avancées de lecture et des contenus exclusifs.

3 Aider Numerama dans sa mission : comprendre le présent pour anticiper l'avenir.

Si vous croyez en un web gratuit et à une information de qualité accessible au plus grand nombre, rejoignez Numerama+.

S'abonner à Numerama+

Toute l'actu tech en un clin d'œil

Ajoutez Numerama à votre écran d'accueil et restez connectés au futur !

Tous nos articles sont aussi sur notre profil Google : suivez-nous pour ne rien manquer !

Toutes les infos sur ChatGPT

Confiner l’IA devient un casse-tête : après sa pause de 11 jours, OpenAI explique pourquoi couper Internet ne suffit pas

Un micro caché dans du papier toilette chez OpenAI : un ingénieur saoudien arrêté par le FBI

GTA, CoD, Halo : ces jeux cultes tournent désormais illégalement partout sur navigateur

« Ce n’est pas une démonstration d’érudition, mais de force » : des mathématiciens appellent au boycott d’OpenAI après son nouveau coup

ChatGPT accueille un nouveau GPT‑6 et des réponses interactives, même sans abonnement