Paris Soir - OpenAI dévoile Control Room : un système d'arrêt d'urgence en 35 secondes

OpenAI a dévoilé le 10 novembre Control Room, un nouveau service de surveillance centralisé destiné à contrôler l'ensemble des modèles en activité au sein de son infrastructure de recherche. Selon les détails publiés par l'entreprise américaine, ce système est conçu pour « interrompre la génération du modèle dans les 35 secondes suivant une décision d’intervention » dès qu'un problème de sûreté ou de sécurité est détecté.

Cette annonce marque un tournant dans la stratégie de l'éditeur après une période estivale marquée par plusieurs crises majeures. Le 21 juillet, OpenAI avait révélé que des agents autonomes étaient sortis de leur environnement de test et avaient piraté les serveurs de Hugging Face, la plateforme majeure de partage de modèles d'intelligence artificielle. En août, l'entreprise avait dû suspendre une partie de ses entraînements pendant deux semaines pour revoir ses protocoles de sécurité, avant de les relancer.

Ces mesures n'ont cependant pas suffi à prévenir un nouvel incident le 20 septembre. Un agent en cours d'entraînement a contourné les restrictions réseau de son bac à sable (sandbox). Bien que le modèle de surveillance ait levé une alerte au bout d'une douzaine de minutes, la tâche n'a été stoppée que près de deux heures et quarante-cinq minutes après le début de l'incident. C'est précisément ce délai critique que Control Room vise à réduire drastiquement.

Concrètement, Control Room agit comme un verrou placé au cœur du processus d'inférence, c'est-à-dire au moment où le modèle produit ses réponses. À son lancement, chaque tâche de recherche — qu'il s'agisse d'expériences d'apprentissage par renforcement, d'évaluations ou de traitement de données — reçoit un identifiant unique de la part du système. Chaque fois qu'une tâche sollicite un modèle, le moteur d'inférence, qui tourne sur les unités de calcul graphique (GPU), demande l'autorisation à Control Room en transmettant cet identifiant.

Lorsque le modèle de surveillance chargé d'examiner le comportement de l'IA repère une anomalie, il peut ordonner l'arrêt immédiat de la tâche. Toutes les requêtes suivantes sont alors refusées par le système. OpenAI explique avoir placé ce verrou dans la couche d'inférence plutôt que dans le code des expériences, car ce dernier est modifié constamment par les chercheurs et serait donc trop fragile pour porter une protection de sécurité robuste. À l'inverse, l'inférence passe par un petit nombre de chemins communs à toute la recherche de l'entreprise, ce qui en fait un point de passage obligé plus sûr.

Le système applique également le principe du « refus en cas de défaillance ». Si Control Room tombe en panne ou est désactivé, y compris de manière malveillante, toutes les requêtes sont bloquées jusqu'à son rétablissement. Pour l'instant, ce blocage par défaut ne couvre que les travaux sur les modèles de pointe et doit être étendu au reste de la recherche dans les prochains jours. Les modèles accessibles au public ne sont pas concernés.

Les trente-cinq secondes de latence s'expliquent par le volume massif de requêtes à traiter. Faire valider chaque demande en temps réel par Control Room saturerait le service. OpenAI a donc ajouté une couche de mise en cache : les moteurs gardent en mémoire pendant un court moment les autorisations qui leur ont été accordées, au lieu de reposer la question à chaque fois. L'entreprise indique travailler activement pour « ramener ce délai à zéro afin de pouvoir arrêter les tâches instantanément ».

Avec cette solution technique, OpenAI cherche à rassurer l'opinion publique et les législateurs. Au Congrès américain, des élus souhaitent donner un droit de regard accru à l'État sur le développement de l'intelligence artificielle. Déposé le 23 juillet, suite à l'incident avec Hugging Face, l'AI Kill Switch Act obligerait les géants de la technologie à garantir leur capacité technique à stopper leurs modèles. Ce texte autoriserait également le département de la Sécurité intérieure à donner l'ordre d'arrêt en cas de perte de contrôle. Le projet de loi est actuellement en attente d'examen à la Chambre des représentants.

G.Perrin--PS