Avec l’intelligence artificielle générative (IA) qui fait fureur ces jours-ci, il n’est peut-être pas surprenant que la technologie ait été réutilisée par des acteurs malveillants à leur propre avantage, ouvrant la voie à une cybercriminalité accélérée.
Selon les conclusions de SlashNext, un nouvel outil génératif de cybercriminalité appelé WormGPT a été annoncé sur des forums clandestins comme un moyen pour les adversaires de lancer des attaques sophistiquées de phishing et de compromission des e-mails professionnels (BEC).
« Cet outil se présente comme une alternative blackhat aux modèles GPT, conçu spécifiquement pour les activités malveillantes », a déclaré le chercheur en sécurité Daniel Kelley. « Les cybercriminels peuvent utiliser cette technologie pour automatiser la création de faux e-mails très convaincants, personnalisés en fonction du destinataire, augmentant ainsi les chances de succès de l’attaque. »
L’auteur du logiciel l’a décrit comme le « plus grand ennemi du célèbre ChatGPT » qui « vous permet de faire toutes sortes de choses illégales ».
Entre les mains d’un mauvais acteur, des outils comme WormGPT pourraient être une arme puissante, d’autant plus qu’OpenAI ChatGPT et Google Bard prennent de plus en plus de mesures pour lutter contre l’abus des grands modèles de langage (LLM) pour fabriquer des e-mails de phishing convaincants et générer du code malveillant.
« Les restricteurs anti-abus de Bard dans le domaine de la cybersécurité sont nettement inférieurs à ceux de ChatGPT », a déclaré Check Point dans un rapport cette semaine. « Par conséquent, il est beaucoup plus facile de générer du contenu malveillant en utilisant les capacités de Bard. »
Plus tôt en février, la société israélienne de cybersécurité a révélé comment les cybercriminels contournaient les restrictions de ChatGPT en tirant parti de son API, sans parler du commerce de comptes premium volés et de la vente de logiciels de force brute pour pirater les comptes ChatGPT en utilisant d’énormes listes d’adresses e-mail et de mots de passe. .
Le fait que WormGPT fonctionne sans aucune limite éthique souligne la menace posée par l’IA générative, permettant même aux cybercriminels novices de lancer des attaques rapidement et à grande échelle sans avoir les moyens techniques de le faire.
Pire encore, les acteurs de la menace font la promotion de « jailbreaks » pour ChatGPT, en créant des invites et des entrées spécialisées conçues pour manipuler l’outil afin de générer une sortie qui pourrait impliquer la divulgation d’informations sensibles, la production de contenu inapproprié et l’exécution de code nuisible.
« L’IA générative peut créer des e-mails avec une grammaire impeccable, les faisant paraître légitimes et réduisant la probabilité d’être signalés comme suspects », a déclaré Kelley.
« L’utilisation de l’IA générative démocratise l’exécution d’attaques BEC sophistiquées. Même les attaquants aux compétences limitées peuvent utiliser cette technologie, ce qui en fait un outil accessible à un plus large éventail de cybercriminels. »
La divulgation intervient alors que des chercheurs de Mithril Security ont modifié « chirurgicalement » un modèle d’IA open source existant connu sous le nom de GPT-J-6B pour le faire diffuser de la désinformation et l’ont téléchargé sur un référentiel public comme Hugging Face qui pourrait ensuite être intégré dans d’autres applications, menant à ce qu’on appelle un empoisonnement de la chaîne d’approvisionnement LLM.
Le succès de la technique, baptisée PoisonGPT, repose sur la condition préalable que le modèle lobotomisé soit téléchargé en utilisant un nom qui se fait passer pour une société connue, dans ce cas, une version typosquattée d’EleutherAI, la société derrière GPT-J.
