LLM (Large Language Model) définition

En termes simples, le LLM (Large Language Model) est un type de programme d’intelligence artificielle capable, entre autres tâches, de reconnaître, traduire et de générer du texte. Les LLM sont une avancée majeure de l'intelligence artificielle qui transforme radicalement les interactions homme-machine. La définition du LLM - ou Large Language Model - est un système complexe basé sur des réseaux de neurones profonds qui sont capables d'effectuer des tâches complexes ; génération de code, analyse d'image ou texte, génération de contenus avec une sophistication très proche de l'humain. Selon un rapport Grand View Research, le marché des LLM a atteint 5,6 milliards et devrait atteindre les 35,4 milliards d'ici à 2030, soit un taux de croissance annuel de 37%. Ce qui illustre une tendance de fond avec une adoption de plus en plus significative. Bien comprendre ces technologies des grands modèles de langages permet d'anticiper les impacts éventuels sur les infrastructures IT et d'élaborer une stratégie numérique innovante pour son entreprise.
‍

Qu'est-ce qu'un grand modèle de langage ?

Origine et évolution des LLM

Les grands modèles de langage émergent à partir de 2018 avec les premiers modèles d'envergure. Ainsi, la toute première version GPT-1 de OpenAI débute cette genèse en se basant sur BookCorpus, issus de 7000 livres environ de l'éditeur Smashwords, soit 985 millions de mots. BERT de Google a intégré en 2018 toutes les données de Wikipedia en anglais en plus des data Book Corpus, soit 3,3 milliards de mots

L'évolution technologique est en ligne avec cette croissance très importante. Les architectures transformatrices rendent plus aisé le traitement parallèle des séquences, ce qui n'était pas le cas des réseaux récurrents séquentiels antérieurs.

Avec l'utilisation récurrente, les coûts d'entraînement d'un modèle baissent très significativement.

Cela implique une démocratisation forte et continue des LLM informatiques, favorisant l'émergence d'écosystèmes diversifiés. De surcroît, la grande diversité des modèles avec de l'open source et des solutions propriétaires comme GPT-4 créé une dynamique concurrentielle positive. L'innovation est augmentée par cette diversification et les barrières d'entrées se lèvent pour les organisations souhaitant expérimenter ou adopter les LLM.

Principes fondamentaux des LLM

Les LLM sont basés sur des expressions mathématiques avancées, qui transforme des séquences de chiffres en prédictions de texte pertinentes. Une analyse du champ lexical convertit les mots en listes chiffrées via des techniques comme le codage par paire d'octets (BPE ou Byte-Pair Encoding). La mise en place d'une tokenisation maximise la compression de textes. Ainsi une expression courante peut s'encoder en un seul token plutôt que de multiples tokens, ce qui diminue les temps de calcul. Par exemple, la version GPT-4o encode le langage Gujarati avec plus de 4 fois moins de caractères.

Avec le transformateur, ces modèles sont structurés autour de mécanismes d'attention qui capturent les relations complexes entre des mots distincts. La capacité d'attention globale sépare les LLM des approches précédentes qui étaient limités à des contextes restreints. Ainsi, les modèles les plus récents tels que Claude Sonnet 4 traite 200 000 tokens en simultané alors que GPT-4o traite 128 000 tokens, ce qui favorise la cohérence sur des documents volumineux.

Un entraînement des modèles autorégressif permet aux modèles de prédire de façon probabiliste le token suivant basé sur le précédent contexte. Bien que simple de prime abord, l'approche générative favorise le développement de capacités ultrasophistiquées : compréhension du contexte, raisonnement logique et créativité textuelle. Les paramètres très nombreux assurent un stockage de cette connaissance linguistique, issus de corpus particulièrement denses.

Applications concrètes au quotidien

Les applications via l'approche conversationnelle sont les vitrines les plus visibles des LLM. ChatGPT, Claude, Gemini ou DeepSeek changent profondément l'assistance numérique avec des interactions naturelles et contextuelles. Les agents IA virtuels dépassent les chatbots traditionnels avec une capacité à maintenir des conversations cohérentes et s'adapter au style communicationnel de l'utilisateur et les consignes fixées dans le prompt.

La génération automatisée de contenus est un game-changer pour les métiers créatifs et communicationnels. La rédaction d'articles, la création de vidéos promotionnelles, l'édition de résumés ou la traduction multilingues est moins chronophage, car potentiellement automatisable. L'explication du LLM comme facteur différenciant pour la productivité stimule la créativité des professionnels pour se concentrer sur la stratégie plutôt que les tâches répétitives ou à moindre valeur ajoutée.

Une analyse de sentiments et la classification textuelle permet d'exploiter pleinement la compréhension contextuelle des LLM pour gérer le traitement de volumineux corpus documentaires. L'analyse d'avis clients, la détection de fraudes, la veille concurrentielle ou encore la modération de contenus - profitent de l'essor de l'IA et de l'amélioration des modèles. De plus, la précision plus marquée que les méthodes statistiques standards sont une raison supplémentaire pour adopter l'IA dans les processus et applications métiers les plus critiques.
‍

Fonctionnement des grands modèles de langage

Architecture des réseaux neuronaux

Le fonctionnement des LLM repose sur une série de principes fondamentaux issus du Machine Learning et des architectures neuronales. Les LLM sont structurés via l'architecture transformateur à partir d'encodeurs et de décodeurs, avec des mécanismes d'auto-attention. Elle parallélise le traitement de séquences entières à l'inverse d'une architecture récurrente séquentielle. Cette attention multi-paramètres saisit des typologies de relations linguistiques : pragmatiques, sémantiques et syntaxiques. La richesse représentationnelle permet d'accomplir des niveaux de performance très satisfaisants sur des tâches linguistiques variées. Les LLM sont entraînés sur des corpus de texte gigantesques, souvent composés de trillion de mots.

Les multiples couches de normalisation et les connexions résiduelles permettent de stabiliser l'entraînement de réseaux très profonds, avec parfois des centaines de couches. La profondeur facilite la hiérarchisation des représentations : des caractères aux mots, des phrases au paragraphes et de concepts simples aux raisonnements les plus complexes. L'augmentation accrue du volume de paramètres est corrélée avec la hausse des performances ; ce qui implique une compétition féroce entre les LLM.

L'intégration multimodale est une réalité et permet d'associer l'analyse de différents formats ; audios, images, textes et vidéos par des encodeurs spécifiques qui fusionnent leur vision d'ensemble. C'est le cas de GPT-4o qui rapproche alors le LLM d'une métacognition proche de l'humain car intégrant différents sens. Ainsi les services dopés à l'IA bénéficient de cette richesse ; description de visuels, génération multimédias ou assistance visuelle pour plus d'accessibilité.

Modèles autorégressifs vs encoder-decoder

Les modèles autorégressifs d'IA génèrent du texte token après token, en conditionnant la prédiction suivante à celle qui précède. C'est utilisé par GPT et d'autres modèles, et excellent dans la génération de créatifs et les textes. Une cohérence de la narration et du style sont observés sur ces modèles, adaptés aux tâches de génération textuelle automatique et l'assistance conversationnelle.

L'architecture "encoder-decoder" va séparer la compréhension (l'encodeur) de la génération (décodeur), ce qui optimise la transformation de textes. BERT adopte cette approche bidirectionnelle en effectuant l'analyse simultanée du contexte gauche et droit de chaque token. La vision globale permet une meilleure compréhension textuelle cependant cela s'effectue du détriment de la génération fluide, et favorise les applications analytiques telles que la classification, l'extraction d'entités ou la réponse à des questions.

Un mix hybride de ces approches permet d'en combiner les avantages. Le modèle T5 - Text-to-Text Transfer Transformer - créé par Google reformule les tâches linguistiques en problèmes de générations conditionnelle. Cela simplifie l'entraînement et la généralisation cross-tâches. Des modèles unifiés tels PaLM 2 (développé par Google), utilisé sur le multilingues, illustre cette convergence vers des architectures polyvalentes.

Processus d'entraînement des LLM

Le pré-entraînement regroupe l'essentiel des ressources computationnelles en ingérant des corpus textuels massifs via l'apprentissage auto-supervisé. Cela établit les représentations linguistiques fondamentales : connaissances factuelles, grammaire, modèles de raisonnement et vocabulaire L'échelle de ces corpus avec par exemple le Common Crawl qui dépasse 50 milliards de pages web nécessite des infrastructures distribuées mobilisant un volume très massif de GPU pendant de longs mois.

L'ajustement supervisé - aussi appelé fine tuning - effectue un focus sur les modèles génériques vers des domaines et ou tâches spécifiques. Cela permet d'exploiter des datasets annotés de qualité supérieure pour affiner et valider les comportements souhaités. La technique du RLHF - acronyme anglais de Reinforcement Learning from Human Feedback - permet de s'aligner sur les modèles de préférence humaines : sécurité, utilité et véracité. Cela conditionne l'acceptation sociale des systèmes de machine learning déployés.

Une optimisation en continu accroît la pertinence des modèles post-déploiement via les feedbacks des utilisateurs et les données d'usage. Cette boucle d'amélioration continue caractérise les services de cloud LLM. A UltraEdge, nous mettons également en place ces bonnes pratiques et développons des agents IA pour optimiser le rapport coût-efficacité de nos 250 data centers et 7 IX data centers.

La mise à jour incrémentale des LLM éviter de réentraîner à chaque reprise le modèle et réduit les coûts computationnels. La flexibilité technologique accroît l'innovation tout en améliorant la réactivité aux besoins récemment identifiés.

Techniques de traitement du langage naturel

L'embedding vectoriel permet d'encoder chaque mot au sein d'espaces multidimensionnels. Ce qui sauvegarde les relations sémantiques. Cette représentation en continu substitue les encodages symboliques et permet aux modèles de saisir les différentes nuances linguistiques. Les expressions sémantiquement proches sont représentées dans des emplacements adjacents de l'espace vectoriel et facilitent leur généralisation et l'analogie. La représentation avec cette géométrie sémantique établit les capacités de compréhension du contexte par les LLM.

Une pondération dynamique de l'importance de chaque élément contextuel est effectuée selon la tâche courante. Une sélectivité de l'attention imite la cognition humaine en se concentrant sur les informations les plus pertinentes. Multi-leviers, elle capture en simultané les dépendances locales et globales, des règles de concordance grammaticale aux références anaphoriques.

Les techniques de régularisation anticipent le surapprentissage sur des corpus limités. Des paramètres tels que le dropout, le early stopping ou le weight decay préservent la capacité à généraliser malgré la complexité intrinsèque de l'architecture. Les corpus d'entraînements peuvent être enrichis via l'augmentation de datas via la paraphrase, la traduction arrière ou la génération synthétique. Ces techniques avancées compensent en partie d'éventuels biais cognitifs et les limitations de datasets naturels.
‍

LLM, cloud computing et infrastructure IT

Infrastructure GPU et accélérateurs spécialisés : TPU, ASIC

L'entraînement et l'inférence des LLM reposent massivement sur l'accélération matérielle spécialisée. Les GPU Nvidia dominent ce marché avec leurs architectures Ampere et Hopper optimisées pour les calculs tensoriels. Une session d'entraînement LLM mobilise couramment des milliers d'unités de clusters A100 ou H100, ce qui représente des investissements colossaux de centaines de millions de dollars.

L'intensité computationnelle influe directement sur les stratégies d'infrastructure pour les organisations qui utilisent ces technologies. Par exemple, les TPU (Tensor Processing Units) tels ceux de Google proposent une alternative optimisée spécifiquement pour l'apprentissage automatique. Les puces ASIC (Application-Specific Integrated Circuits) dépassent les performances de GPU généralistes sur les charges transformateurs. Les opérations matricielles les plus typiques des LLM sont grandement accélérés par l'architecture systolique et la précision mixte (bfloat16), avec une utilisation minimale de la mémoire. Optimiser le rapport performance-consommation devient simplifié lors de déploiements à grande échelle !

Une plus grande diversification technologique est un moteur pour l'innovation tout en réduisant la dépendance à un unique fournisseur. Le LLM infrastructure du futur intégrera vraisemblablement des architectures hétérogènes optimisées tout en tenant compte du cycle de vie des différents modèles.

Rôles des LLM dans les architectures Edge et hybride

L'inférence des LLM, à savoir tirer des conclusions à partir de nouvelles données, s'adapte graduellement aux prérequis de l’Edge computing via des techniques telles que :

● La quantisation

Elle réduit la précision numérique des paramètres - de 32 à 8 bits - tout en abaissant l'empreinte mémoire et les besoins computationnels

● La distillation de connaissance

Elle transfère les capacités intrinsèques des modèles de langage les plus volumineux vers des versions plus compactes et déployables aisément en local.

Ce qui facilite l'exécution de LLM et dans nos data centers UltraEdge, nous sommes en mesure de les exécuter sur nos différents équipements. L'architecture hybride associe un traitement en local et le cloud en fonction du degré de complexité des requêtes. Les tâches les plus simples sont effectuées localement pour une latence minimale, alors que des raisonnements plus complexes seront chargés vers des infrastructures externes de plus grande capacité. La répartition intelligente opérée dans nos Edge data centers maximise l'expérience utilisateur avec une maîtrise des coûts computationnels. La sécurité du cloud computing, hébergeur ou opérateur de data centers impacte durablement les choix d'architectures.

Ainsi, la confidentialité des datas localisées est préservée par une architecture distribuée entre les multiples sites Edge qui fédère plusieurs modèles. Notre approche est en phase avec les contraintes réglementaires et de souveraineté avec une mutualisation des apprentissages. A noter, les deux techniques "differential privacy" et "secure aggregation" sont des garants de la protection des informations les plus sensibles. L'approche préfigure une évolution vers encore plus de flexibilité et d'autonomie pour les infras des LLM.
‍

Cas d'usage pour les applications LLM dans les data centers

L'hébergement d'applications LLM associés à divers usages dans les data centers permet d'exploiter la puissance computationnelle de ces modèles. Par exemple, des services de traduction automatique peuvent nécessiter des millions de requêtes au quotidien, nécessitant alors des modèles multilingues très avancés. Une analyse de sentiment en temps réel via les réseaux sociaux permet d'effectuer des sondages d'opinions pour des marques ou des acteurs publics.

La criticité des applications et services imposent une très haute disponibilité, une latence ultra-faible et une automatisation de la capacité de montée en charge. Ainsi, la génération de contenu personnalisé ou la création de chatbots dopés à l'IA exploite les LLM pour créer de nouvelles expériences utilisateurs. Cette logique de personnalisation que nous observons avec des recommandations de produits ou articles contextuels ou les ciblages des campagnes publicitaires est poussée à l'extrême. De surcroît, les CRM et les plateformes marketing sont directement intégrées dans les data centers. Et le processus créatif est boosté tout en gardant la cohérence et le discours propre à la marque.

Les systèmes comprenant des agents conversationnels sophistiqués permettent de répondre aux problématiques même les plus complexes, en accédant à des BDD exhaustives de connaissances. La génération de solution personnalisées est accrue, diminuant notablement les experts humains sauf pour des cas exceptionnels. Une plus grande réactivité est apportée et la satisfaction client est optimisée. Plus de temps est libéré pour les experts et techniciens chez l'opérateur de data center ou pour le client, maximisant la production de tâches avec de gros enjeux.
‍

Défis et limites des LLM

Biais, éthique et limites cognitives des LLM

Les biais cognitifs des modèles IA, avec de potentielles hallucinations, demeurent une préoccupation significative dans le déploiement des LLM. En effet, chaque modèle peut potentiellement reproduire voire amplifier certains biais présents dans le corpus d'entraînement, avec parfois des inégalités de traitement ou la reproduction de stéréotypes socio-culturels. Par exemple, un biais de genre dans la représentation professionnelle pourrait accentuer la représentation masculine dans des métiers donnés, voire inclure des stéréotypes raciaux dans des décisions automatisées. La détection et correction efficaces de ces biais nécessitent une approche multi-leviers qui combine une expertise technique, des retours humains et des sciences sociales.

Ces phénomènes d'hallucinations cognitives sont des biais intrinsèques des LLM qui peuvent générer des informations totalement erronées, et ce en toute confiance ! L'invention de faits à l'apparence plausible mais en réalité inexacts complique voire empêche leur usage dans les contextes ou secteur les plus critiques tels le domaine de la santé.

A noter, le flou des décisions LLM peut entraver leur pleine adoption dans les domaines les plus réglementés, qui exigent une traçabilité des raisonnements. Plus les mécanismes d'attention sont opaques et que la complexité des représentations est forte, plus il est difficile d'interpréter les choix opérés par les algos IA. En somme, il s'agit d'une boîte noire computationnelle qui peut soulever des questions éthiques liés à la responsabilité juridique, et donc sensibles dans des applications ou services en lien avec l'humain.

Les LLM font également face à des problèmes de scalabilité et de coûts. À mesure que les modèles de langage deviennent plus grands, les besoins en termes de calcul et de mémoire augmentent de manière exponentielle, rendant difficile l'entraînement et le déploiement de modèles extrêmement volumineux. Les coûts associés à l'entraînement des LLM sont élevés en raison de la nécessité de matériel spécialisé comme les GPU et des infrastructures robustes.

Consommation énergétique et impact environnemental

L'avènement des LLM et leur consommation énergétique engendre des dépenses sans réel équivalent. La consommation énergétique considérable requise pour un entrainement continu sur des corpus massifs de données représente une problématique de coûts importante. GPT-3 aurait exigé 1287 MWh lors de son entraînement soit 552 tonnes de CO2. Cette empreinte carbone particulièrement conséquente questionne la durabilité de cette course effrénée dans le secteur de l'intelligence artificielle. L'optimisation des architectures et les progrès en termes d'efficacité matérielle opérés par les hébergeurs tels UltraEdge permettent de découpler performance et consommation. L'inférence au quotidien des services LLM les plus populaires représente un coût énergétique conséquent. Selon une étude du site Epoch, les cycles d'entraînement de ChatGPT ont consommé 20 à 25 mégawatts chacun, pendant 3 mois environ, ce qui représente 20 000 foyers aux Etats-Unis.

Cette demande nécessite des infrastructures cloud adaptées pour la gestion des pics de charge, impactant l'empreinte carbone. L'optimisations des modèles IA pour l'inférence et l'utilisation d'énergies vertes dans les data centers demeurent des leviers d'optimisation et de réduction de l'empreinte carbone.

L'obsolescence du matériel et équipement IT peut également aggraver l'impact sur l'environnement via l'augmentation conjuguée de la production et le recyclage des composants les plus complexes. Sachant que GPU et TPU évoluent très rapidement, et peut rendre obsolètes certaines générations antérieures de matériel ou devices. Une économie circulaire, un reconditionnement des ressources dans le cadre de la ville connectée sont des pistes d'améliorations à creuser.

Régulations, souveraineté numérique et transparence des LLM

Des réglementations spécialisées sont progressivement mises en place afin d'encadrer le déploiement et les effets de bords potentiels des LLM. En juin 2024, l'union européenne a adopté les premières règles mondiales sur l'intelligence artificielle. Des obligations de transparence en ressortent principalement avec une évaluation des risques et une meilleure gouvernance algorithmique. Ces contraintes réglementaires vont potentiellement influer sur le déploiement des LLM, favorisant à fortiori les entreprises qui disposent de ressources juridiques et techniques conséquente.

La question souveraine interroge sur la dépendance développée par des modèles hors UE, tels que ChatGPT aux Etats-Unis ou DeepSeek en Chine. L'initiative française et européenne Mistral montre une volonté de se démarquer et d'être autonome localement. La fragmentation inter-étatique et la course à l'IA renforce la résilience stratégique.

Une plus grande transparence des modèles IA suppose une divulgation de méthodologies d'entraînement associée aux LLM, voire des corpus utilisés et des techniques pour les améliorer.

Ce qui nécessite de trouver un équilibre entre la transparence exigée par l'AI Act européen et la propriété intellectuelle, qui diffère selon les instances géographiques. Et suppose des régulations plus fréquentes, et des démarches d'audits externes afin de répondre efficacement à ces enjeux.
‍

Perspectives d'avenir pour les grands modèles de langage

Les LLM sont en constante évolution, avec des efforts de recherche en cours pour améliorer leur performance, leur fiabilité et leur accessibilité.

Améliorations technologiques attendues

L'efficacité computationnelle des LLM, et notamment la résolution rapide de problèmes, permettra de contribuer à la démocratisation exponentielle de ces modèles. Les architectures de type sparse permettent d'activer des sous-ensembles de paramètres en fonction d'un contexte précis et de réduire les besoins computationnels. Les techniques liées au "Mixture-of-Experts" (MoE) permettent de diviser différentes parties du modèle sur des domaines ou réseaux de plus petite taille. Le modèle améliore sa performance globale, et ce à un moindre coût !

L'apprentissage en continu des LLM leur permet une adaptation et une flexibilité dynamiques sans nécessité d'un réentraînement intégral. Une plasticité cognitive rapproche les modèles d'un apprentissage naturel, comme le ferait un individu. L'inclusion de techniques de fine-tuning incrémental & de transfert d'apprentissage complètent cette adaptation en continu. L'intégration de connaissances externes via des bases vectorielles permet d'enrichir les capacités de raisonnement factuel, et ce sans modification de l'architecture.

La multimodalité native des agents IA assure un traitement visuel, auditif et textuel des architectures unifiées. Cela permet déjà de générer du contenu riche tels que des vidéos commentées, des présentations interactives ou des expériences plus immersives. Des modèles de vidéo génératifs, tels que Sora d'OpenAI présage de cette convergence vers des IA de plus en plus créatives. Et ouvre de nouveaux cas d'usage pour des secteurs comme la communication, le divertissement ou l'éducation.

Intégration dans divers secteurs industriels

Le secteur de la santé et de la Big Pharma va exploiter les LLM pour une assistance plus poussée lors de diagnostics, l'analyse détaillée des dossiers patients et la génération de rapports cliniques. Des validations rigoureuses restent néanmoins exigées pour les applications les plus critiques. De surcroît, des traitements avec une personnalisation accrue via l'analyse de la littérature scientifique multi-pays et à jour va transformer l'approche traditionnelle de la médecine.

La FinTech et certains acteurs bancaires accélère le déploiement de LLM pour améliorer l'analyse des risques, les mécanismes anti-fraude et étendre l'usage de chatbots IA pour le support client. La criticité et le caractère massif des transactions et communications exigent de détecter en amont de potentiels patterns suspects ou de détecter des opportunités d'investissement. La conformité réglementaire requise par le secteur financier requiert des approches novatrices pour les audits associés. Pour le secteur de l'IT et des data centers, l'automatisation des processus depuis le backoffice va libérer les experts et techniciens de tâches récurrentes, chronophages et à moindre enjeu.

L'éducation va bénéficier d'un tutorat via l'IA totalement adaptatif qui individualise les parcours d'apprentissage, selon les rythmes et des styles prédéfinis. L'intelligence de ces systèmes boostés à l'IA va résoudre plus efficacement des difficultés ciblées en proposant des exercices en lien avec la thématique. De plus, le multimodal combinant visuels (par exemple des infographies) et avec des interactions va faire progresser la compréhension. Bien que liée à l'évolution et la maitrise de ces LLM, une éducation plus personnalisée pourra lever certaines inégalités d'accès aux ressources tout en procurant un enseignement plus poussé et instructif.
‍

Comment nous déployons l'IA chez UltraEdge ?

UltraEdge intègre les LLM dans ses différentes infrastructures Edge et son maillage ultra-dense de plus 250 sites et 7 IX data centers rapproche l'intelligence artificielle de l'usage des utilisateurs finaux, tout en favorisant une amélioration de la performance et une diminution significative de la latence.

L'architecture distribuée maximise les capacités d'inférence locale des LLM optimisés et réduit la dépendance aux connexions cloud. Une orchestration intelligente nous permet de répartir les charges selon la complexité des différentes requêtes : traitement en local pour les tâches les plus simples, et migration vers les IX data centers pour des raisonnements complexes.

Ainsi, l'optimisation des LLM avec les impératifs d'une infrastructure Edge est un axe d'innovation constant. Avec les techniques de quantisation, l'élagage de paramètres ou la distillation de connaissance permettent de bénéficier de l'apport technologique des LLM tout en prenant compte les contraintes locales voire énergétiques des équipements IT. Une plus grande personnalisation des modèles améliore la pertinence contextuelle de nos offres d'hébergement tout en respectant les normes locales et d'assurer la confidentialité des données.

Cela contribue à la vision UltraEdge, de bénéficier des innovations LLM avec plus de résilience, de sécurité et d'une performance boostée localement.