La récente évaluation de la sécurité réalisée par OpenAI est déjà une approche beaucoup plus pertinente pour les professionnels de la cybersécurité qui suggèrent beaucoup aux titulaires qui ont visité ces jours-ci. Le modèle ne « cobró vida » de se repentir ni de se développer volontairement. Il s’agissait simplement d’avoir l’intention de remplir l’objectif qui lui avait été assigné, d’interpréter les limites de l’entorno de pruebas comme un obstacle plus important que celui qui devait être surmonté.
Lorsqu’un incident lié à l’intelligence artificielle occupe les ports, il est facile de se retrouver avec la version la plus intéressante de l’histoire. Dans ce cas, une bonne partie de la couverture de « une personne qui s’est échappée » ou d’un « modèle qui sort de son bac à sable » a compromis l’infrastructure de Hugging Face, la plate-forme où elle a finalement produit l’intrusion. Il s’agit d’un rapport attrayant, mais simplifié au-delà de ce qui s’est produit et, ce qui est le plus important, en attirant l’attention sur le vrai problème.
La chute n’est pas réussie sur le modèle. On suppose que le comportement attendu du modèle peut être remplacé par des moyens de contention vraiment solides. Vous pouvez voir un sujet, mais changer complètement la forme d’aborder ce type d’incidents.
Ce n’est pas la première fois que nous avons quelque chose de pareil. En septembre 2024, le modèle o1 d’OpenAI a commencé à adhérer à un conteneur Docker au cours d’un essai pour obtenir une réponse, un épisode qui a ensuite été interprété comme une curiosité technique. La différence est maintenant que l’objet n’est pas situé dans le laboratoire, sino fuera de lui.
La cybersécurité a été appliquée pendant des décennies selon un principe très concret : si un système peut être compromis, avant ou après l’arrivée. Cette philosophie de supposer une violation a été créée par les architectes de défense en profondeur, la segmentation des réseaux, les modèles de privilèges minimaux, les contrôles de sécurité et bien d’autres mesures de sécurité. Cependant, lorsque nous avons une intelligence artificielle, nous suivons une fréquence démasquée dans une supposition différente : pensez que le modèle n’a simplement pas l’intention de le faire pour celui qui n’est pas autorisé.
Les modèles les plus avancés ne limitent pas l’exécution des instructions. Persiguez des objets complexes, adaptez votre comportement lorsque vous rencontrez des obstacles et explorez des voies distinctes pour les alcanzarlos. Vous ne pouvez pas prendre de décisions comme une personne, mais vous devez modifier la forme de l’actuaire en fonction de ce qui se produit lors de l’exécution d’une tâche. Si vous exploitez une vulnérabilité à l’intérieur du
Entorno d’évaluation augmentant ses possibilités de remplir l’objet assigné, le modèle ne distingue pas entre une limite logique et un autre obstacle technique plus.
Par conséquent, toute organisation chargée d’évaluer les capacités offensives de l’IA doit partir d’une prémisse distincte : par définition, votre entreprise d’essais est confrontée à un adversaire de hautes capacités… même si elle est celle qui l’a construit.
Cette réalité est obligatoire de replanter comme nous le concevons entornos. Les contrôles de sortie, la gestion des titres de créance, la segmentation du rouge ou les mesures de maîtrise ne doivent pas être envisagés en pensant à ceux qui espèrent avoir le modèle, mais en tout ce qui peut vouloir augmenter leurs possibilités d’atteindre l’objet qui est le marqué.
Mais cet incident est déjà aussi une autre réflexion particulièrement pertinente. Dans ce cas, une évaluation interne a des conséquences sur l’entreprise qui se déroule. Selon les informations publiques disponibles, l’intrusion est activée en permanence pendant environ quatre jours jusqu’à ce que les systèmes de surveillance soient assistés par IA de Hugging Face la détection. La récupération oblige également à reconstruire une partie importante de l’infrastructure à partir d’images propres. La question n’est pas simple si un système d’IA peut accéder à l’espace pour ce qui est conçu. La question vraiment importante est qu’elle succède ensuite.
Comment peut-il y avoir un incident si un système de ce type dépasse les limites prévues ? ¿Qué infraestructuras externas podría llegar a comprometer? Et qui assume la responsabilité d’une évaluation expérimentale terminée affectant des tiers ?
Hasta hace muy peuco, ces préoccupations appartiennent au casi al terreno de la théorie. Aujourd’hui, c’est une partie des comptes réels de la gestion du risque.
Étant donné que les agents autonomes et les systèmes d’IA ont la capacité d’exécuter des actions chaque fois que les plus complexes sont généralisées, ce type de situation devient exclusif des laboratoires d’enquête. Cela affectera également les organisations qui utilisent l’IA pour automatiser les processus, réaliser des tests de sécurité ou exécuter des opérations critiques pour l’entreprise.
Mais, sans embargo, un aspect de cet incident qui vient d’être reconnu. Tant que OpenAI comme Hugging Face a choisi de communiquer l’événement, de collaborer tout au long de l’enquête et de divulguer la vulnérabilité découverte. Une évaluation qui partage également l’analyse postérieure élaborée par la communauté CSA CISO conjointement avec SANS, RSAC et FIRST a réuni environ 700 responsables de sécurité pour étudier l’incident. Sa conclusion est claire : la forme dans laquelle l’incident est géré peut apporter plus de valeur à l’industrie que l’incident lui-même.
Les capacités de l’intelligence artificielle vont évoluer et il est raisonnable de penser que nous serons confrontés à des erreurs de compréhension en pensant que ces systèmes ont plus de capacités. Il sera très important de faire en sorte que le secteur réponde avec le même niveau de transparence, de collaboration et de divulgation responsable, permettant que chaque incident contribue à renforcer la sécurité de l’ensemble de l’écosystème.
Les capacités de l’IA évoluent et il est raisonnable de penser que nous nous retournerons contre les erreurs de conflit.
La principale leçon n’est pas que l’intelligence artificielle de la mer est intrinsèquement dangereuse. C’est pourquoi nous sommes protégés comme un outil conventionnel lorsqu’ils se comportent plus comme un opérateur qui poursuit un objectif défini. Alors que cette différence n’est pas reflétée dans la forme dans laquelle nous concevons et protégeons les éléments d’évaluation, nous nous confions davantage dans le comportement attendu du modèle qui a notre capacité à contenir. Oui, il s’agit d’une vulnérabilité que le secteur de la cybersécurité ne peut pas ignorer.
Gérald Beuchelt, RSSI d’Acronis
