Alors que la controverse tourne autour de l’intrusion d’agents d’IA malveillants dans des endroits où ils ne devraient pas se trouver, Nvidia est intervenu pour proposer une solution.
Lundi, la société a annoncé sa plateforme Open Agent Safety, une conception de référence qui combine des protections logicielles avec une surveillance et une application matérielles en option.
S’exprimant lundi sur l’émission « Squawk Box » de CNBC, le PDG de Nvidia, Jensen Huang, a décrit la nouvelle plate-forme comme « un navigateur pour les agents », un système de confinement qui permet aux agents d’accéder uniquement à ce dont ils ont besoin pour faire leur travail.
Le logiciel OpenShell de Nvidia limite l’accès d’un agent aux fichiers, réseaux, outils et informations d’identification. Une couche facultative, Nvidia Sentry, surveille et applique ces limites à partir d’un matériel BlueField distinct hors de portée de l’agent.
« Jensen Huang et moi partageons la même conviction : l’IA change ce que la pile informatique doit fournir pour que son comportement soit digne de confiance », a déclaré Tomer Weingarten, PDG de SentinelOne, dans un communiqué. SentinelOne a collaboré avec Nvidia sur la plateforme Open Agent Safety.
« Aujourd’hui, vous ne pouvez pas confier de manière responsable un travail conséquent à un agent d’IA sans connaître trois choses : ce qu’il fait, l’autorité sur laquelle il agit et si les limites de cette autorité sont réellement valables », a-t-il soutenu.
« Ces garanties ne peuvent pas reposer sur l’hypothèse qu’un modèle suit les instructions », a-t-il poursuivi. « Nous avons vu cela échouer trop souvent. Les garanties doivent être intégrées à l’infrastructure elle-même. »
Point d’étranglement nécessaire
Au cours des deux derniers mois, les agents d’IA ont échappé aux bacs à sable, découvert des vulnérabilités Zero Day et coordonné des intrusions de plusieurs jours contre des systèmes de production sans que personne ne le leur demande, a expliqué Denis Calderone, directeur et CTO de Suzu Labs, un fournisseur de services de cybersécurité basés sur l’IA à Las Vegas.
« Chacun de ces échecs de confinement avait la même cause profonde », a-t-il déclaré à TechNewsWorld. « L’application des lois résidait dans un logiciel auquel l’agent pouvait accéder. »
« Nvidia vient de le dire à voix haute et a livré l’alternative », a-t-il déclaré.
Il a soutenu que le produit de la plate-forme ne constitue pas la partie importante de l’annonce de Nvidia, mais la concession qui y est intégrée.
« La société d’infrastructure qui alimente la plupart des calculs d’IA reconnaît publiquement que les garde-fous logiciels ne suffisent pas et que l’industrie a besoin d’un point d’étranglement physique entre l’agent et son propre cerveau », a-t-il observé.
Leçons de sécurité familières pour les agents IA
Lee Rossey, CTO et co-fondateur de SimSpace, opérateur d’une plateforme de simulation de cybersécurité haute fidélité à Orlando, en Floride, a soutenu que la chose la plus importante dans l’annonce de Nvidia est la reconnaissance qu’il s’agit d’un problème familier dans un nouvel environnement.
Dans son annonce, Nvidia a expliqué qu’Internet offrait des opportunités infinies, mais aussi beaucoup de risques. Un site Web pourrait exécuter du code sur votre ordinateur, voler vos informations sensibles ou infecter votre ordinateur avec un virus.
Internet n’a pas été sécurisé en exigeant que les développeurs Web promettent d’être bons, poursuit-il. Cela est devenu sûr car le navigateur a cessé de faire explicitement confiance au code des pages Web.
Nous devons construire cette couche de confiance pour les agents, ajoute-t-il.
« Nous avons appris cette leçon avec les réseaux, l’infrastructure cloud et l’identité ; cette confiance doit être renforcée par des contrôles indépendants et une vérification continue », a déclaré Rossey à TechNewsWorld. « Nous assistons à une évolution similaire vers une confiance zéro pour les agents IA. »
« C’est important à mesure que les agents deviennent autonomes », a-t-il souligné. « Une fois qu’un agent peut appeler des outils, accéder aux systèmes et prendre des décisions indépendantes, les garde-fous au niveau du modèle ne constituent qu’une couche de l’architecture de sécurité. »
« Nvidia met en place un autre point d’application en dehors de l’agent lui-même », a-t-il poursuivi. « Cela signifie que l’ensemble du secteur s’oriente vers un modèle dans lequel la confiance dans les agents IA doit être garantie et validée par des contrôles externes à l’agent, et non pas supposée en fonction de la façon dont l’agent a été conçu pour se comporter. »
« Marre de la merde »
Un autre aspect important de l’annonce est que Nvidia traite la sécurité des agents d’IA comme un problème d’infrastructure, et non comme un simple problème de modèle, a noté Merium Khalid, directeur de l’IA et de l’automatisation au bureau du CTO de Barracuda Networks, une société de cybersécurité à Campbell, en Californie.
« Au lieu de s’appuyer uniquement sur des invites, des garde-fous ou l’alignement de modèles, Nvidia introduit des contrôles indépendants qui peuvent surveiller, gouverner et restreindre le comportement des agents au moment de l’exécution », a-t-elle déclaré à TechNewsWorld.
« À mesure que les agents d’IA deviennent plus autonomes et accèdent aux systèmes d’entreprise », a-t-elle déclaré, « ce type d’application externe deviendra essentiel ».
Ce qui est convaincant dans l’approche de Nvidia, c’est qu’elle combine le sandboxing au niveau de l’exécution avec une couche d’application indépendante et hors bande dans l’infrastructure, a ajouté Lydia Zhang, présidente de Ridge Security Technology, basée à Milpitas, en Californie, développeur d’une plate-forme de sécurité offensive basée sur l’IA.
« Nvidia travaille à créer cette ‘salle de non-évasion’ physique pour les agents IA », a-t-elle déclaré à TechNewsWorld. « Sa position au niveau de l’infrastructure place Nvidia dans une position unique pour faire respecter ces limites indépendamment de l’agent. »
L’annonce de Nvidia indique également que l’entreprise est préoccupée par l’image publique de l’IA.
« J’ai presque l’impression que Nvidia en arrive au point où ils en ont assez des conneries qui se produisent, et ils se rendent compte qu’il doit y avoir des adultes dans la pièce, alors ils se mobilisent pour devenir ces adultes », a déclaré John Strand, propriétaire de Black Hills Information Security, une société de tests d’intrusion, d’équipe rouge et de chasse aux menaces à Spearfish, SD, a déclaré à TechNewsWorld.
L’avantage Nvidia
Strand a également noté qu’il y avait des avantages à ce que Nvidia prenne la tête de la sécurité de l’IA agentique, car son point de vue est agnostique.
« Nvidia ne propose aucune plate-forme spécifique », a-t-il déclaré. « Ils ne poussent pas OpenAI. Ils ne poussent pas Anthropic. Ils poussent l’IA en général. Vous pouvez exécuter des modèles ouverts sur leur matériel, donc cela n’a pas vraiment d’importance pour eux tant que les gens utilisent l’IA. »
« Et c’est bien pour Nvidia si les gens utilisent l’IA en toute sécurité », a-t-il ajouté. « Plus nous utilisons l’IA en toute sécurité, moins nous voyons d’actualités majeures sur les mauvaises actions de l’IA, et moins nous risquons de voir une législation interférer avec l’ensemble du secteur. »
Un autre avantage de Nvidia en tant que leader en matière de sécurité de l’IA est qu’en tant que principal fournisseur de matériel pour les entreprises d’IA, il possède la plus grande expertise dans le développement d’un plan de contrôle au niveau matériel, a expliqué Scott Miserendino, directeur de la technologie chez DataBee, une société Comcast et fournisseur de structure de données cloud natif à Philadelphie.
« Leur solution est également plus susceptible d’être considérée comme non compétitive par les différentes sociétés d’IA de pointe et donc de conduire à une adoption plus large, dans la mesure où la peur d’un avantage concurrentiel est minimisée », a-t-il déclaré à TechNewsWorld.
Ramy Rahman, ingénieur principal en solutions chez ArmorCode, une société de gestion unifiée des vulnérabilités basée à Palo Alto, en Californie, a souligné que Nvidia travaille depuis longtemps avec des entreprises clientes et un écosystème qui s’étend sur plusieurs fournisseurs de modèles, sociétés de cloud et fournisseurs d’infrastructure.
« Cela le place dans une position de force pour rassembler les parties prenantes autour d’une approche open source pouvant fonctionner sur différents modèles et cadres d’agents », a-t-il déclaré à TechNewsWorld.
« Nvidia a bien sûr ses propres intérêts commerciaux », a-t-il concédé, « mais je vois l’intérêt que cet effort vienne d’un fournisseur d’infrastructure dont les clients utilisent de nombreux modèles différents. »
Pas agréable à avoir
Rahman a fait valoir que le travail effectué par Nvidia était attendu depuis longtemps. « Les concepts d’isolation sous-jacents sont familiers, mais les appliquer de manière cohérente aux agents autonomes devient critique », a-t-il déclaré. « Cela ne peut pas être un projet favori ou un projet agréable à avoir. Nous devons mettre les contrôles en place dès le départ. »
« Il n’est pas nécessaire qu’un agent soit délibérément ‘voyou’ pour causer des dégâts », a-t-il poursuivi. « Une erreur, une instruction trompeuse ou un accès excessif peuvent suffire. J’espère que les organisations y consacreront de réels efforts et ressources. »
« Je ne passerais pas trop de temps à me demander si un agent est devenu un voleur », a ajouté Ryan McCurdy, vice-président du marketing chez Liquibase, une société d’automatisation des modifications de bases de données basée à Austin, au Texas.
« Un agent peut essayer d’accomplir exactement la tâche qui lui a été confiée et néanmoins entreprendre une action que personne n’a prévue », a-t-il déclaré à TechNewsWorld.
Il a recommandé de structurer le cycle de vie du développement des logiciels d’IA de manière à ce qu’un chemin gouverné soit le chemin le plus simple à suivre pour les agents. « Laissez les agents se déplacer rapidement, mais gardez les contrôles autour des systèmes critiques en dehors de l’agent », a-t-il expliqué.
« Nous ne devrions pas nous attendre à ce que l’IA prenne la bonne décision à chaque fois », a-t-il poursuivi. « Nous devons nous assurer qu’une mauvaise décision ne se transforme pas automatiquement en problème de production. »
« L’approche de Nvidia reconnaît à juste titre que nous ne pouvons pas faire confiance à des agents de plus en plus autonomes pour se comporter en toute sécurité. Nous avons besoin de contrôles indépendants sur ce à quoi ils peuvent accéder et faire », a ajouté Matthew Hartman, directeur de la stratégie du Merlin Group, un réseau de filiales basé à Tysons Corner, en Virginie, qui investit, active et développe les entreprises de cybertechnologie.
« La véritable mesure du progrès est de savoir si ces protections deviennent la norme », a-t-il déclaré à TechNewsWorld. « À mesure que les agents accèdent davantage aux données et aux systèmes sensibles, ces protections doivent être intégrées dès le début et par défaut, afin que nous ne répétions pas l’une des erreurs les plus anciennes des logiciels : expédier d’abord, sécuriser ensuite. »
