Les systèmes basés sur l’IA sont devenus des cibles privilégiées pour des cyberattaques sophistiquées, exposant des vulnérabilités critiques dans tous les secteurs. Alors que les organisations intègrent de plus en plus l’IA et l’apprentissage automatique (ML) dans leurs opérations, les enjeux liés à la sécurisation de ces systèmes n’ont jamais été aussi élevés. De l’empoisonnement des données aux attaques contradictoires pouvant induire en erreur la prise de décision en matière d’IA, le défi s’étend à l’ensemble du cycle de vie de l’IA/ML.
En réponse à ces menaces, une nouvelle discipline, les opérations de sécurité de l’apprentissage automatique (MLSecOps), a émergé pour fournir les bases d’une sécurité robuste de l’IA. Explorons cinq catégories fondamentales au sein de MLSecOps.
1. Vulnérabilités de la chaîne d’approvisionnement des logiciels d’IA
Les systèmes d’IA s’appuient sur un vaste écosystème d’outils, de données et de composants ML commerciaux et open source, provenant souvent de plusieurs fournisseurs et développeurs. S’il n’est pas correctement sécurisé, chaque élément de la chaîne d’approvisionnement des logiciels d’IA, qu’il s’agisse d’ensembles de données, de modèles pré-entraînés ou d’outils de développement, peut être exploité par des acteurs malveillants.
Le piratage de SolarWinds, qui a compromis plusieurs réseaux gouvernementaux et d’entreprises, en est un exemple bien connu. Les attaquants ont infiltré la chaîne d’approvisionnement en logiciels, intégrant du code malveillant dans des logiciels de gestion informatique largement utilisés. De même, dans le contexte de l’IA/ML, un attaquant pourrait injecter des données corrompues ou des composants falsifiés dans la chaîne d’approvisionnement, compromettant potentiellement l’ensemble du modèle ou du système.
Pour atténuer ces risques, MLSecOps met l’accent sur un contrôle approfondi et une surveillance continue de la chaîne d’approvisionnement de l’IA. Cette approche comprend la vérification de l’origine et de l’intégrité des actifs ML, en particulier des composants tiers, et la mise en œuvre de contrôles de sécurité à chaque phase du cycle de vie de l’IA pour garantir qu’aucune vulnérabilité n’est introduite dans l’environnement.
2. Provenance du modèle
Dans le monde de l’IA/ML, les modèles sont souvent partagés et réutilisés entre différentes équipes et organisations, ce qui fait de la provenance du modèle (la manière dont un modèle ML a été développé, les données qu’il a utilisées et la façon dont il a évolué) une préoccupation majeure. Comprendre la provenance du modèle permet de suivre les modifications apportées au modèle, d’identifier les risques de sécurité potentiels, de surveiller les accès et de garantir que le modèle fonctionne comme prévu.
Les modèles open source de plateformes comme Hugging Face ou Model Garden sont largement utilisés en raison de leur accessibilité et de leurs avantages collaboratifs. Cependant, les modèles open source présentent également des risques, car ils peuvent contenir des vulnérabilités que des acteurs malveillants peuvent exploiter une fois introduits dans l’environnement ML d’un utilisateur.
Les meilleures pratiques MLSecOps nécessitent de conserver un historique détaillé de l’origine et de la lignée de chaque modèle, y compris une nomenclature AI, ou AI-BOM, pour se prémunir contre ces risques.
En mettant en œuvre des outils et des pratiques pour suivre la provenance des modèles, les organisations peuvent mieux comprendre l’intégrité et les performances de leurs modèles et se prémunir contre les manipulations malveillantes ou les modifications non autorisées, y compris, mais sans s’y limiter, les menaces internes.
3. Gouvernance, risque et conformité (GRC)
Des mesures GRC strictes sont essentielles pour garantir un développement et une utilisation responsables et éthiques de l’IA. Les cadres GRC assurent la surveillance et la responsabilité, guidant le développement de technologies basées sur l’IA justes, transparentes et responsables.
L’AI-BOM est un artefact clé pour GRC. Il s’agit essentiellement d’un inventaire complet des composants d’un système d’IA, y compris les détails du pipeline ML, les dépendances des modèles et des données, les risques de licence, les données de formation et leurs origines, ainsi que les vulnérabilités connues ou inconnues. Ce niveau de compréhension est crucial car on ne peut pas sécuriser ce dont on ignore l’existence.
Une AI-BOM offre la visibilité nécessaire pour protéger les systèmes d’IA contre les vulnérabilités de la chaîne d’approvisionnement, l’exploitation des modèles, etc. Cette approche prise en charge par MLSecOps offre plusieurs avantages clés, tels qu’une visibilité améliorée, une atténuation proactive des risques, une conformité réglementaire et des opérations de sécurité améliorées.
En plus de maintenir la transparence grâce aux AI-BOM, les meilleures pratiques MLSecOps devraient inclure des audits réguliers pour évaluer l’équité et la partialité des modèles utilisés dans les systèmes décisionnels à haut risque. Cette approche proactive aide les organisations à se conformer aux exigences réglementaires en constante évolution et à renforcer la confiance du public dans leurs technologies d’IA.
4. IA de confiance
L’influence croissante de l’IA sur les processus décisionnels fait de la fiabilité un facteur clé dans le développement de systèmes d’apprentissage automatique. Dans le contexte de MLSecOps, l’IA de confiance représente une catégorie critique axée sur la garantie de l’intégrité, de la sécurité et des considérations éthiques de l’IA/ML tout au long de son cycle de vie.
Trusted AI met l’accent sur l’importance de la transparence et de l’explicabilité dans l’IA/ML, dans le but de créer des systèmes compréhensibles pour les utilisateurs et les parties prenantes. En donnant la priorité à l’équité et en s’efforçant d’atténuer les préjugés, l’IA de confiance complète les pratiques plus larges du cadre MLSecOps.
Le concept d’IA de confiance soutient également le cadre MLSecOps en plaidant pour une surveillance continue des systèmes d’IA. Des évaluations continues sont nécessaires pour maintenir l’équité, l’exactitude et la vigilance contre les menaces de sécurité, garantissant ainsi que les modèles restent résilients. Ensemble, ces priorités favorisent un environnement d’IA digne de confiance, équitable et sécurisé.
5. Apprentissage automatique contradictoire
Dans le cadre MLSecOps, l’apprentissage automatique contradictoire (AdvML) est une catégorie cruciale pour ceux qui créent des modèles de ML. Il se concentre sur l’identification et l’atténuation des risques associés aux attaques contradictoires.
Ces attaques manipulent les données d’entrée pour tromper les modèles, conduisant potentiellement à des prédictions incorrectes ou à un comportement inattendu pouvant compromettre l’efficacité des applications d’IA. Par exemple, des modifications subtiles apportées à une image introduite dans un système de reconnaissance faciale pourraient amener le modèle à mal identifier l’individu.
En intégrant des stratégies AdvML pendant le processus de développement, les constructeurs peuvent améliorer leurs mesures de sécurité pour se protéger contre ces vulnérabilités, garantissant ainsi que leurs modèles restent résilients et précis dans diverses conditions.
AdvML souligne la nécessité d’une surveillance et d’une évaluation continues des systèmes d’IA tout au long de leur cycle de vie. Les développeurs doivent mettre en œuvre des évaluations régulières, y compris une formation contradictoire et des tests de résistance, pour identifier les faiblesses potentielles de leurs modèles avant qu’elles puissent être exploitées.
En donnant la priorité aux pratiques AdvML, les praticiens du ML peuvent protéger leurs technologies de manière proactive et réduire le risque de pannes opérationnelles.
Conclusion
AdvML, aux côtés des autres catégories, démontre le rôle essentiel de MLSecOps dans la résolution des défis de sécurité de l’IA. Ensemble, ces cinq catégories soulignent l’importance de tirer parti de MLSecOps en tant que cadre complet pour protéger les systèmes d’IA/ML contre les menaces émergentes et existantes. En intégrant la sécurité à chaque phase du cycle de vie de l’IA/ML, les organisations peuvent garantir que leurs modèles sont performants, sécurisés et résilients.
