Le premier membre de cette famille, Olala mini 7A1B, est un modèle compact basé sur une architecture nouvelle et montre que les entreprises européennes ont la capacité d’innover et d’entreprendre des agents LLM partiendo de zéro. Lors du lancement officiel, lors de l’OVHcloud AI Summit du 19 novembre, OVH présentera en détail toutes ses innovations en matière de cloud et d’intelligence artificielle pour ses clients.

Olala mini est basé sur une architecture de 7 000 millions de paramètres (7B) avec 1 000 millions d’actifs, répartis entre 256 experts par personne, et une attention hybride avec Differential-TPA et Mamba-3, au format BF16. À chaque consultation, vous utiliserez seulement une fraction du modèle, ce qui la rendra plus rapide et consommera moins de mémoire. En conséquence directe, le modèle fonctionne sur un GPU avec seulement 8 Go de mémoire, augmentant les 160 jetons par seconde sur un RTX A4500 et, y compris sans GPU, sur un processeur standard, augmentant les 50 jetons par seconde. Votre vente de contexte atteint actuellement les 32 000 jetons. Olala mini est disponible comme code ouvert sur Hugging Face, sous la licence Apache 2.0.

Vous êtes en fonctionnement sur Qwant

Olala mini est entré dans trois super-ordonnateurs publics européens — Jupiter, MeluXina et Jean Zay —, équipés de GPU GH200, A100 et H100. Celui-ci, qui supporte l’équivalent de 7 millions d’euros par heure de calcul, est déterminant, et OVH souhaite exprimer son appréciation aux autorités. L’initiative publique a eu pour résultat un succès en plus d’un sens : elle s’est retrouvée avec une équipe exceptionnelle d’intelligence artificielle et a été créée par le laboratoire d’agents d’OVH : OVHai LLM. Olala mini se lance avec vos pesos, votre modèle de base pré-entré, vos informations techniques et votre documentation de conformité à la Ley de IA. Qwant ya lo ha adopté pour votre fonction de réponse instantanée, avec des avantages significatifs : des réponses un 20 % plus rapides et des coûts de fonction réduits à une troisième partie en comparaison avec le modèle utilisé antérieurement.

Olala impulsará OVHai Workspace

Prévue pour la fin de l’année, la version 1.1 étendra la fenêtre de contexte à 128 000 jetons et améliorera votre rendu dans le domaine mathématique. Avec la version 2.0, OVHai LLM prétend développer des modèles spécialisés dans trois domaines. En premier lieu, l’IA agent pour les entreprises : avec le temps, Olala impulsera OVHai Workspace, pour que la version cifrada demande des modèles de capacités d’exécution localement, directement sur le lieu de travail. Deuxièmement, DevOps au nouveau, avec des versions adaptées aux développeurs, architectes et équipes d’exploitation qui garantissent la continuité du service les 24 heures du jour. Finalement, la cybersécurité abarca tant les aspects défensifs que les offensifs. Olala v2.0 superara los 100 000 millions de paramètres.

« L’IA est stratégique pour OVH. En plus d’offrir des services de IA à nos clients, nous devons être capables de créer des modèles tant pour nos propres besoins internes que pour nos clients. Nous ne pouvons pas limiter la générosité des laboratoires déterminés à l’heure de partager nos modèles LLM avec Le code est ouvert dans les prochaines années. Les connaissances techniques sur l’apprentissage des modèles se généralisent et le coût de l’entraînement se réduit à une période de trois ans maintenant, il est possible de créer des modèles LLM et, en même temps, cette activité est rentable », a déclaré Octave. Kalba, PDG d’OVHcloud.

A lire également