Les défaillances de l’IA pourraient coûter leur emploi aux dirigeants, perturber les entreprises du monde entier et exposer des données sensibles en 2027, selon de nouvelles prévisions en matière de cybersécurité de Forrester Research.
Dans la direction, par exemple, l’entreprise prédit qu’un procès pour négligence en matière d’IA entraînera le départ du PDG ou un changement de direction dans une grande entreprise.
« La responsabilité de l’IA aux États-Unis reste fragmentée, mais elle se tourne vers les tribunaux, où les litiges civils testent déjà la responsabilité pour les décisions basées sur l’IA », ont noté les chercheurs de Forrester dans leur rapport « Prédictions 2027 : Cybersécurité et risque ».
Ils ont expliqué que l’argument central dans cette affaire ne sera pas de savoir si l’IA a échoué, mais si les dirigeants ont exercé un jugement éclairé avant de déléguer des décisions conséquentes à des systèmes qu’ils ne pouvaient pas expliquer.
Si un tel procès se produit, l’effet d’entraînement le plus important se fera sentir dans les salles de réunion plutôt que dans l’industrie de l’IA, a affirmé Chris Ebert, vice-président senior de la mise sur le marché chez SaaS Consulting Group, une société de conseil en technologie à Austin, au Texas.
« Les conseils d’administration et les comités d’audit commenceront à poser les mêmes questions sur l’IA qu’ils se posent sur l’information financière : à qui appartient-elle, quels contrôles sont en place et comment savoir si elle fonctionne comme prévu ? » il a dit à TechNewsWorld.
« La gouvernance de l’IA passerait d’une conversation informatique à une conversation sur la gouvernance et la responsabilité, ce qui est sa place », a-t-il déclaré.
La responsabilité de l’IA atteint la salle de conférence
Ryan McCurdy, vice-président du marketing chez Liquibase, une société d’automatisation des modifications de bases de données basée à Austin, au Texas, a affirmé qu’à mesure que l’IA commence à prendre davantage de décisions et à entreprendre davantage d’actions au sein des entreprises, la responsabilité ne disparaît pas. « Quelqu’un décide toujours à quoi l’IA peut accéder, ce qu’elle peut faire par elle-même et où une personne doit s’impliquer », a-t-il déclaré à TechNewsWorld.
« Les entreprises ont également besoin d’un enregistrement de ce qui s’est réellement passé », a-t-il poursuivi. « Si un agent modifie une base de données, déploie du code ou prend une autre action contre un système critique, vous devriez être en mesure de voir ce qu’il a modifié, quelles politiques il a adoptées, ce qui a autorisé l’action et ce qui a réellement atteint la production. »
« Cette piste devient la preuve que les contrôles étaient là et fonctionnaient », a-t-il déclaré. « Vous pouvez déléguer du travail à l’IA. Vous ne pouvez pas déléguer la responsabilité. »
La responsabilité juridique de l’utilisation de l’IA pourrait conduire à la fin du marketing basé sur la peur des capacités d’IA de pointe et à la nomination d’un cadre unique responsable de l’exécution sûre et conforme de l’IA, similaire au RSSI, a ajouté Scott Miserendino, directeur de la technologie chez DataBee, basé à Philadelphie, une société Comcast et développeur d’une structure de données pour la conformité, la gestion des risques et la sécurité.
« Les PDG des laboratoires Frontier AI ne seront plus aussi disposés à dénoncer publiquement les dangers de leurs produits afin de les faire paraître à la pointe », a-t-il déclaré à TechNewsWorld.
Les jetons IA deviennent un élément du budget de sécurité
Forrester prévoit que les dépenses en jetons d’IA atteindront 1,5 milliard de dollars en 2027, les opérations de sécurité et la sécurité des applications stimulant la demande. Les jetons sont des unités utilisées pour mesurer les entrées et les sorties du modèle d’IA et déterminent souvent les frais d’utilisation. Les responsables de la sécurité géreront ces dépenses comme une catégorie budgétaire de base, a indiqué la société. Les fournisseurs intégreront des jetons dans les accords de licence, et les fournisseurs de modèles pionniers seront directement en concurrence pour les budgets de sécurité.
Les organisations devront passer de la gestion de l’adoption de l’IA à la gestion de son coût et de sa valeur, ajoute-t-il.
« Les coûts des jetons deviendront une véritable contrainte sur la manière dont les organisations déploient l’IA, en particulier l’IA agentique », a noté Robbie Mueller, responsable technique de la cybersécurité chez ArmorCode, une société de gestion unifiée des vulnérabilités à Palo Alto, en Californie.
« Le problème n’est pas simplement le prix des jetons individuels », a-t-il déclaré à TechNewsWorld. « Les agents consomment généralement beaucoup plus de jetons que les interactions de chat standard, et les systèmes multi-agents peuvent à nouveau en consommer beaucoup plus. »
« Lorsque ces agents sont appliqués à des millions de vulnérabilités, les coûts peuvent augmenter en fonction du volume de découvertes plutôt que du niveau de risque réellement réduit », a-t-il déclaré.
Le code généré par l’IA pourrait déclencher une panne mondiale
Forrester prédit également qu’un bug ou une régression dans le code généré par l’IA entraînera une panne mondiale dans plusieurs secteurs. La découverte de vulnérabilités assistée par l’IA augmentera la pression pour publier des correctifs plus rapidement que les équipes d’examen et de test des logiciels ne peuvent suivre, a averti la société.
La panne qui en résulte pourrait rivaliser avec la perturbation causée par la mise à jour logicielle de CrowdStrike de juillet 2024, a prévenu Forrester. Il exhorte les organisations à renforcer leur capacité à restaurer rapidement les correctifs défectueux des fournisseurs.
« Nous constatons déjà des performances plus médiocres avec des pannes plus fréquentes chez plusieurs fournisseurs critiques pour la distribution et les opérations mondiales de logiciels tels que GitHub et AWS qui ont été connectés à l’IA », a observé Miserendino de DataBee.
« Bien qu’elle ne soit pas générée par l’IA, la récente panne mondiale provoquée par une mise à jour du logiciel CrowdStrike a démontré que même un bug ou une régression relativement minime peut avoir des implications mondiales étant donné l’adoption généralisée de certains fournisseurs dans les entreprises », a-t-il ajouté.
Ramy Rahman, ingénieur principal principal des solutions chez ArmorCode, a souligné que la prévision de la panne soulève également une préoccupation plus large concernant les infrastructures critiques, en particulier le réseau électrique. « Si plusieurs opérateurs s’appuient sur les mêmes logiciels ou systèmes d’IA, un défaut partagé ou une attaque coordonnée pourrait provoquer des perturbations simultanées », a-t-il déclaré à TechNewsWorld.
« Le ministère de l’Énergie a identifié les défaillances de l’IA et les attaques contradictoires comme des risques pour les infrastructures énergétiques », a-t-il déclaré. « Ma préoccupation est de savoir si les opérateurs peuvent isoler ces pannes et maintenir les services essentiels grâce à des mesures de protection indépendantes, des contrôles manuels et des plans de récupération testés. »
Une répétition de la panne de CrowdStrike est moins préoccupante que ce qui se produit lorsque des agents se voient confier une tâche et l’accès pour l’exécuter sans que les bonnes limites soient mises en place, a ajouté Rishi Bhargava, co-fondateur de Descope, un opérateur d’une plateforme de gestion des identités et des accès à Los Altos, en Californie.
« Les agents sont conçus pour accomplir la tâche qui leur est confiée », a-t-il déclaré à TechNewsWorld. « Les organisations doivent réfléchir attentivement à ce à quoi un agent peut accéder et aux actions qu’il peut entreprendre afin qu’une erreur n’ait pas un impact beaucoup plus important. »
Changer de modèle d’IA pourrait exposer des données
Forrester prédit également qu’une entreprise sera victime d’une violation de données très médiatisée après avoir changé de modèle d’IA pour réduire ses coûts. Les garanties établies pour un modèle peuvent ne pas s’appliquer à un autre, laissant ainsi des lacunes dans la protection des données, a prévenu l’entreprise.
« La prédiction de Forrester en matière de changement de modèle tient la route car le secteur est déjà dans la phase où les organisations optimisent les coûts de l’IA plus rapidement qu’elles ne mettent à jour leur gouvernance en conséquence, et les garde-fous que vous avez validés par rapport à un modèle ne sont pas entièrement conservés lorsqu’une application est acheminée dynamiquement vers un autre », a expliqué Sameed Ahmed, PDG de BreachLock, une société de tests d’intrusion en tant que société de services à New York.
« La plupart des équipes qui exécutent cela à grande échelle ne peuvent pas facilement vous dire quel modèle a vu quelles données et quel jour, et c’est là que se déroule réellement le scénario de violation décrit par Forrester », a-t-il déclaré à TechNewsWorld.
« Les organisations les plus exposées à l’heure actuelle sont celles qui traitent la sélection dynamique de modèles comme une décision de routage plutôt que comme une décision de gouvernance, ce qui constitue la lacune spécifique signalée par le rapport », a-t-il déclaré.
Darin Fredde, responsable de la sécurité offensive chez Ridge Security Technology, développeur d’une plate-forme de sécurité offensive basée sur l’IA et basée à Milpitas, en Californie, a fait valoir que le type de scénarios proposés par Forrester présente une réelle valeur, car ils obligent les responsables de la sécurité à prendre en compte des risques qu’ils ne voient peut-être pas encore dans les opérations quotidiennes.
« Nous savons que la peur peut motiver le changement, mais généralement seulement pour une courte période », a-t-il déclaré à TechNewsWorld. « La voie la plus durable consiste à aider les organisations à repenser leur vision du monde en matière de sécurité, à l’aligner sur la façon dont l’entreprise fonctionne et à prendre des décisions en matière de risques basées sur une exploitabilité démontrable plutôt que sur un seul récit. »
« Certains des scénarios prédits par Forrester s’avéreront concrets, d’autres non », a-t-il poursuivi. « La vraie question est de savoir si les organisations peuvent déterminer quels risques sont importants avant qu’un attaquant, une panne ou un événement réglementaire ne réponde à la question à leur place. »
