Les entreprises injectent des milliards dans une infrastructure d’IA qui est largement inutilisée, selon un rapport publié mardi par Cast AI, une plateforme mondiale d’automatisation pour les charges de travail cloud natives et d’IA.
Basé sur les données de 23 000 clusters Kubernetes, le rapport révèle que l’utilisation moyenne du GPU sur les serveurs d’entreprise n’est que de 5 %. En d’autres termes, 95 % de la capacité GPU provisionnée n’est pas utilisée.
Le rapport note qu’un cœur de processeur inactif coûte des centimes par heure, tandis qu’un GPU inactif coûte des dollars. Pour la première fois depuis le lancement d’EC2 en 2006, les prix des GPU augmentent au lieu de baisser. En janvier 2026, AWS a augmenté les prix des blocs de capacité H200 de 15 %, en invoquant l’offre et la demande. Cette augmentation brise une tendance de prix de deux décennies.
À ces prix, l’instinct de thésaurisation est logique, reconnaît le rapport. Les délais de livraison sont longs et libérer des capacités irrécupérables semble plus risqué que de payer trop cher. Mais avec un taux d’utilisation de 5 %, le calcul ne fonctionne pas et la thésaurisation alimente la boucle de rareté qui fait monter les prix.
« Cela a été choquant pour nous et pour nos clients », a déclaré Laurent Gil, PDG de Cast AI, à TechNewsWorld. « Presque personne n’a réalisé qu’ils n’utilisaient pas très bien ces machines. »
Peur d’être fatigué par les calculs
« Vos ambitions doivent être assez grandes pour acheter trop de GPU », a ajouté Alvin Nguyen, analyste principal pour l’externalisation des infrastructures, les services de centres de données et la recherche sur les semi-conducteurs chez Forrester Research, une société multinationale d’études de marché dont le siège est à Cambridge, dans le Massachusetts.
« À moins que vous ne soyez une startup hyperscaler, néocloud ou IA, les chances que vous ayez les cas d’utilisation pour justifier l’achat excessif de GPU ne sont vraiment pas là », a-t-il déclaré à TechNewsWorld.
Dan Herbatschek, PDG et fondateur de Ramsey Theory Group, une société de holding technologique et d’innovation dont le siège est à New York, a expliqué que les organisations surindexent leur capacité parce qu’elles anticipent des cas d’utilisation de l’IA qui n’ont pas encore été opérationnalisés.
« Les dirigeants craignent d’être à rude épreuve lorsque les systèmes d’IA agentique sont mis en service », a-t-il déclaré à TechNewsWorld. « Nous travaillons avec des entreprises, et elles achètent avant la demande. Mais il est vraiment difficile de justifier cet investissement maintenant, alors que la plupart des entreprises manquent de cas d’utilisation prêts pour la production. »
« La dernière fois que j’ai vu ça, c’était avec des nuages », a-t-il poursuivi. « Nous sommes vraiment dans une phase de bulle de capacité d’IA. Les dirigeants perdent de vue qu’il ne s’agit pas de savoir qui possède le plus de calcul, mais de savoir réellement convertir le calcul en retour sur investissement/résultats commerciaux. »
La peur alimente la surcapacité du GPU
Debo Ray, fondateur de DevZero, une société d’infrastructure cloud et de productivité des développeurs basée à Seattle, convient que la peur est la principale raison pour laquelle les entreprises investissent dans une infrastructure d’IA qui reste inutilisée.
« Si vous avez une panne grave, les équipes surapprovisionnent », a-t-il déclaré à TechNewsWorld. « Si vous avez manqué une réservation de GPU, les dirigeants achètent de la capacité en panique. Les décisions d’approvisionnement sont prises de manière réactive et personne ne les revisite une fois la crise passée. »
« Nous avons vu des clusters dotés de 96 GPU alloués fonctionner à un taux d’utilisation de 23 %, avec 31 répliques inactives 22 heures par jour », a-t-il déclaré. « Les équipes sont qualifiées de négligentes pour cela, mais lorsqu’il n’y a pas de boucle de rétroaction et que personne ne surveille l’écart, le surprovisionnement est la décision rationnelle. L’instinct de thésaurisation est une réponse directe à l’anxiété de pénurie, et l’anxiété de pénurie est en partie réelle. »
« Lorsqu’il est vraiment difficile de récupérer des capacités, il est logique de les conserver », a-t-il poursuivi. « Le problème structurel en dessous est que l’équipe qui définit les demandes de ressources n’est pas l’équipe qui paie la facture cloud, donc le remplissage n’est jamais revisité, l’autoscaler du cluster répond aux demandes gonflées comme s’il s’agissait d’une demande réelle et gaspille les composés en silence. »
Les GPU inactifs ont des conséquences importantes pour les entreprises. Il y a un coût. « Les organisations paient des prix plus élevés pour une utilisation en classe économique », a expliqué Ray.
Il y a aussi un problème avec ce qui n’est pas construit. « La capacité de l’infrastructure d’IA qui existe mais reste inutilisée n’est pas seulement un gaspillage. C’est un coût d’opportunité », a déclaré Ray. « Les équipes nous disent qu’elles attendent l’accès au GPU pour réaliser des expériences. La capacité existe déjà dans leurs propres clusters, mais elles ne le savent tout simplement pas. »
« Il existe également un paradoxe en matière de fiabilité qui échappe à la plupart des gens », a-t-il ajouté. « L’hypothèse est que le surprovisionnement garantit la sécurité. C’est souvent le contraire. »
Impact sur le capital
Gerald Ramdeen, fondateur, PDG et CTO de Luxcore, une société de semi-conducteurs et de réseaux optiques basée à New York, a souligné que l’un des impacts les plus importants des GPU inutilisés est une mauvaise efficacité du capital et un retour sur investissement plus faible sur les dépenses d’infrastructure.
« Ces systèmes se déprécient rapidement, tandis que les coûts d’alimentation, de refroidissement et des centres de données continuent, que les GPU soient productifs ou non », a-t-il déclaré à TechNewsWorld. «Cela mobilise également du capital qui aurait pu être consacré aux produits, aux données ou aux talents.»
« Plus largement », a-t-il poursuivi, « cela fausse le marché en donnant l’impression que la demande est supérieure à l’utilisation réelle, ce qui peut conduire à une construction excessive et à des achats encore plus défensifs. »
La thésaurisation des calculs peut également avoir un impact sur le paysage plus large de l’IA. « Cela concentre l’avantage entre les mains des plus grands acteurs et rend l’accès plus difficile pour les startups, les chercheurs et les petites entreprises », a déclaré Ramdeen. « Cela peut augmenter les prix, ralentir l’expérimentation et réduire l’innovation dans l’ensemble de l’écosystème. »
« Cela crée également un marché où le succès dépend trop de la réserve de l’offre et trop peu de son utilisation efficace », a-t-il ajouté. « Ce n’est pas une structure saine à long terme pour l’industrie. »
Une meilleure gestion est nécessaire
Ramdeen a soutenu qu’une certaine thésaurisation est plus rationnelle que malveillante. « C’est une réponse prévisible à l’incertitude de l’approvisionnement », a-t-il déclaré. « Mais à long terme, les gagnants de l’infrastructure d’IA ne seront pas les entreprises qui stockent simplement le plus de GPU. Les gagnants seront ceux qui transformeront le matériel en un ordinateur fiable, disponible et à haute utilisation avec une meilleure orchestration, une meilleure mise en réseau et une meilleure économie. »
Lakshya Jain, directeur de la technologie chez Annaly Capital Management, une société d’investissement axée sur les prêts hypothécaires à New York, a affirmé que la sous-utilisation n’est pas un problème avec la technologie.
« C’est un problème avec la façon dont les entreprises sont organisées », a-t-il déclaré à TechNewsWorld. « Les entreprises apprennent encore à utiliser l’IA. Jusqu’à ce qu’elles parviennent à mieux gérer leurs projets d’IA, à être responsables de leurs coûts et à s’assurer que tout le monde est sur la même longueur d’onde, elles continueront à acheter plus de puissance informatique que nécessaire. »
« L’ironie de la thésaurisation des calculs de l’IA est qu’elle compromet les résultats mêmes que ces investissements sont censés générer », a ajouté Siddardha Vangala, co-fondateur et conseiller technique chez Tiered World Studios, une société de jeux et de technologie immersive de Salt Lake City.
« Les entreprises parient au niveau du conseil d’administration sur la transformation de l’IA alors que leurs équipes d’infrastructure fonctionnent sans objectifs d’utilisation, sans cadres de responsabilité des coûts et sans boucles de rétroaction reliant les dépenses à la production », a-t-il déclaré à TechNewsWorld.
« Les données Cast AI ne surprennent pas quiconque construit de véritables systèmes d’IA », a-t-il déclaré. « Cela commence tout juste à devenir visible au niveau de l’industrie. »
