Malgré la baisse des coûts des jetons, les entreprises continuent de voir leur onglet IA grimper.
Le prix d’un jeton – les morceaux de texte que les grands modèles de langage (LLM) utilisent pour générer des réponses aux invites et que les sociétés d’IA utilisent pour facturer leurs clients – s’est effondré, a noté Jeff Barrington, directeur général de Windsor Drake, une société de banque d’investissement et de conseil en fusions et acquisitions à Toronto.
« Ils ont diminué d’environ 98 % depuis début 2024, mais les factures d’IA des entreprises continuent d’augmenter », a-t-il déclaré à TechNewsWorld. « Les calculs moins chers sont consommés plus rapidement, et 73 % des entreprises ont dépassé leur budget initial d’IA l’année dernière. »
« Uber a doté 5 000 ingénieurs d’un assistant de codage en décembre et a brûlé la totalité de son budget annuel d’IA en avril », a-t-il ajouté.
Une des raisons de cette consommation croissante : les entreprises passent des pilotes à la production, et des chatbots aux agents. « Un agent ne répond pas à une seule invite », a expliqué Barrington. « Cela implique des appels à la planification, aux appels d’outils, à la récupération et à la vérification, ce qui peut transformer une seule instruction en centaines d’appels et en cinq à 30 fois plus de jetons. »
« L’introduction de données désordonnées et non structurées ne fait qu’empirer les choses, car le modèle brûle des jetons juste pour analyser le désordre », a-t-il déclaré.
« Des documents clairs et structurés réduisent la facture à l’envers : moins à interpréter, moins de jetons », a-t-il poursuivi. « L’inférence représente désormais environ 85 % des budgets d’IA des entreprises, c’est donc là que va l’argent. »
IA agentique affamée de jetons
L’IA a fait passer le logiciel d’une licence à coût fixe à un utilitaire mesuré, a affirmé Jon Knisley, responsable de l’activation et de la valeur de l’IA chez Abbyy, une société mondiale d’automatisation intelligente.
« Chaque invite, récupération et boucle est au compteur, donc les dépenses augmentent avec l’adoption », a-t-il déclaré à TechNewsWorld. « Mais le véritable saut, c’est l’architecture. »
Passer d’un chatbot à un agent augmente la consommation de jetons par tâche d’un à deux ordres de grandeur », a-t-il déclaré.
Il a ajouté qu’une grande partie de la facture d’IA d’une entreprise est du gaspillage. « Dans les charges de travail agentiques, la production réelle ne représente souvent que 5 à 15 % des jetons consommés », a-t-il expliqué. « Le reste est une question de contexte. »
« Les PDF en sont un parfait exemple », a-t-il noté. « Ils ont été conçus pour le rendu, pas pour la compréhension, de sorte que chaque PDF entrant dans un pipeline oblige le modèle à graver des jetons pour reconstruire la mise en page avant de pouvoir extraire les faits. Vous payez un modèle de raisonnement pour effectuer un travail de formatage. »
« La consommation de jetons s’accélère également parce que les organisations augmentent le nombre de flux de travail dans lesquels l’IA apporte de la valeur. À mesure que l’IA s’intègre dans davantage de fonctions commerciales et de tâches quotidiennes, l’utilisation de jetons augmente naturellement car davantage d’interactions transitent par ces modèles », a expliqué Edward Rothschild, CTO d’Adronite, une société de codage d’IA et d’intelligence logicielle à Seattle.
Il a ajouté que les nouvelles générations de modèles d’IA consomment souvent plus de jetons que leurs prédécesseurs, même lorsqu’elles accomplissent des tâches que les anciens modèles étaient déjà capables de gérer.
« Dans de nombreux cas, cela est dû au fait qu’ils sont conçus pour raisonner plus en profondeur, en prenant des mesures supplémentaires, en évaluant davantage de contexte et en effectuant davantage de traitements internes avant de produire une réponse », a-t-il déclaré à TechNewsWorld. Ce raisonnement supplémentaire peut améliorer la qualité, mais il augmente également la consommation de jetons.
Au-delà des coûts des jetons
Le grand message ici est que la consommation de jetons d’IA explose à mesure que les entreprises dépassent les simples chatbots pour devenir des copilotes – des agents autonomes qui lisent à plusieurs reprises des documents, récupèrent des données, appellent des outils et communiquent avec d’autres systèmes, a observé Mark N. Vena, président et analyste principal chez SmartTech Research, une société de conseil en technologie à Las Vegas.
« Les entreprises alimentent également des modèles avec des fenêtres contextuelles plus grandes et du matériel plus non structuré, envoyant souvent les mêmes informations de base à chaque demande et en payant pour les traiter à nouveau », a-t-il déclaré à TechNewsWorld.
Cependant, il a souligné que le modèle de facture n’est que la pointe de l’iceberg, car les entreprises doivent également nettoyer et organiser les données, intégrer les systèmes existants, évaluer la qualité des résultats, surveiller l’utilisation, appliquer les politiques de sécurité et faire fonctionner ensemble plusieurs plates-formes d’IA.
« Des données mal définies et une terminologie commerciale incohérente entraînent une dette sémantique qui oblige les modèles à traiter davantage d’informations et les employés à passer plus de temps à corriger les réponses, à résoudre les conflits et à maintenir des pipelines de récupération compliqués », a-t-il ajouté.
Bihag Karnani, chef de produit senior chez Google, a expliqué que les organisations ont peut-être investi des mois, voire des années, pour découvrir que leurs données internes sont dans un état bien pire qu’elles ne le pensaient initialement.
« Leurs données internes peuvent être structurellement incohérentes dans l’ensemble de leur système, et il faudrait beaucoup de temps pour nettoyer et transformer ces données afin qu’elles soient utilisables comme contexte », a-t-il déclaré à TechNewsWorld. « Chaque heure passée par une équipe d’ingénieurs à préparer les données pour le LLM représente un coût d’IA qui n’apparaît pas sur votre facture de dépenses de modèle. »
« La dette sémantique peut aussi représenter une dépense importante », a-t-il ajouté. « Lorsque différents départements d’une organisation définissent différents termes, taxonomies et définitions pour le même concept, le modèle reçoit un contexte contradictoire ou peu clair sur les informations, ce qui a un impact négatif sur la qualité des résultats », a-t-il déclaré.
« Réparer la dette sémantique nécessite un travail d’alignement organisationnel, et non un travail technique », a-t-il poursuivi, « et est généralement sous-estimé ».
L’IA révèle la complexité organisationnelle
Rob Enderle, président et analyste principal du groupe Enderle, une société de services-conseils basée à Bend, Oregon, a noté qu’une surveillance critique dans la planification de l’IA d’entreprise consiste à traiter les données non structurées comme une entrée plug-and-play pour les LLM.
« L’indexation de référentiels de fichiers massifs et non structurés directement dans des bases de données vectorielles pour RAG conduit à un gonflement du contexte, où les modèles ingèrent continuellement un contexte de faible valeur, dupliqué ou non pertinent », a-t-il déclaré à TechNewsWorld.
« Pour optimiser l’économie à long terme, les organisations doivent mettre en œuvre un pipeline de pré-ingestion qui nettoie, résume et structure les données brutes avant qu’elles n’atteignent le modèle », a-t-il conseillé. « Investir dès le départ dans l’analyse déterministe des données et la superposition sémantique génère un rendement composé. Cela supprime de manière permanente la consommation de jetons par requête, réduit le bruit de récupération et augmente considérablement la précision des sorties du modèle. »
Parker Johnston, CTO du domaine agent chez Insight Enterprises, un intégrateur de solutions à Tempe, en Arizona, a convenu que les organisations devraient effectuer leur travail de découverte et de préparation des données avant de se développer, car le plafond de ce que les agents peuvent faire est fixé par le terrain sur lequel ils se trouvent.
« Comprenez de quelles données vous disposez, qui peut y accéder et quels systèmes méritent d’être connectés », a-t-il déclaré à TechNewsWorld. « Sinon, vous finirez par payer des tarifs plus élevés pour qu’un agent incroyablement compétent puisse parcourir des données dupliquées, mal gouvernées ou non pertinentes. »
« La véritable opportunité ne réside pas seulement dans les jetons moins chers », a-t-il poursuivi. « Il s’agit de créer un environnement dans lequel vous pouvez continuer à confier davantage de charge à l’IA et être sûr que les capacités et les dépenses sont orientées vers quelque chose qui compte. »
Les coûts LLM reflètent souvent la complexité organisationnelle, a ajouté Dustin Engel, co-fondateur et consultant principal chez Elegant Disruption, un cabinet de conseil en stratégie et en IA à Philadelphie.
« Une propriété peu claire, des processus incohérents, des connaissances dispersées et des années de contenu non structuré apparaissent rapidement une fois que l’IA est intégrée au flux de travail », a-t-il déclaré à TechNewsWorld. « Le modèle de facture est le reçu. »
« L’IA peut rendre les informations désordonnées plus utiles, mais seulement si l’entreprise investit également dans la structure, la gouvernance et une meilleure conception opérationnelle », a-t-il prévenu. « Sinon, vous payez un modèle pour contourner des problèmes qui auraient dû être résolus en amont. »
« Traitez l’information comme une infrastructure et mesurez l’IA en fonction de la valeur qu’elle crée, et non du volume d’utilisation qu’elle génère », a-t-il déclaré.
