L’intelligence artificielle en entreprise entre dans une nouvelle phase. Après avoir largement misé sur les grands modèles hébergés dans le cloud, les directions informatiques explorent une autre voie : les Small Language Models (SLM), des modèles plus compacts, spécialisés et capables de fonctionner directement sur leur propre infrastructure.

Derrière cette évolution se dessine un changement de stratégie. Les entreprises ne cherchent plus seulement à accéder à l’IA la plus puissante, mais à disposer d’outils adaptés à leurs besoins, dont elles maîtrisent les coûts, les données et les conditions d’exploitation. Le déploiement on-premise, autrement dit sur les serveurs de l’entreprise, revient ainsi au premier plan. Une évolution qui répond à trois préoccupations majeures :

• la confidentialité des données
• la maîtrise des dépenses
• la souveraineté technologique

Des modèles plus petits, mieux adaptés aux usages métiers

Les grands modèles de langage (LLM) ont démontré leur potentiel, notamment pour la rédaction, l’analyse documentaire et le raisonnement complexe. Mais, leur utilisation à grande échelle entraîne des coûts d’inférence récurrents, une dépendance aux infrastructures cloud et parfois des contraintes de confidentialité.

Les SLM proposent une approche différente. Avec quelques milliards de paramètres, ils peuvent être spécialisés dans des missions bien précises : assistance informatique, analyse de contrats, traitement de factures, maintenance industrielle ou support client. Leur intérêt ne réside pas dans leur capacité à tout faire, mais dans leur aptitude à accomplir efficacement une tâche définie.

Distillation, quantification et LoRA

Cette spécialisation repose notamment sur plusieurs techniques :

• La distillation : un modèle plus compact apprend à reproduire certaines capacités d’un modèle plus puissant.
• La quantification : les poids du modèle sont représentés avec une précision réduite, par exemple en 4 bits, afin de diminuer les besoins en mémoire et en calcul.
• Le fine-tuning avec LoRA : cette méthode adapte une partie du comportement du modèle à un domaine métier sans devoir réentraîner l’ensemble de ses paramètres.
  

Associées à une architecture adaptée, ces techniques permettent le déploiement de modèles spécialisés sur des infrastructures moins coûteuses que celles nécessaires aux grands modèles généralistes.

L’on-premise revient dans les stratégies informatiques

L’autre évolution concerne le lieu d’exécution de l’intelligence artificielle.

Jusqu’ici, de nombreuses entreprises ont privilégié les API proposées par les grands fournisseurs de cloud. Une solution rapide à mettre en œuvre, mais qui implique de confier une partie du traitement à une infrastructure externe. Avec un SLM on-premise, le modèle fonctionne directement sur les serveurs de l’organisation. Les requêtes, les documents et les résultats peuvent rester dans le réseau interne, à condition que l’architecture soit correctement configurée et qu’aucun service externe ne soit sollicité.

Un atout pour les secteurs sensibles

Pour les secteurs manipulant des informations sensibles, cette maîtrise représente un avantage important. Les banques, les assurances, les établissements de santé ou encore les industriels peuvent ainsi envisager des assistants capables d’exploiter leur documentation interne sans transmettre systématiquement leurs données à un prestataire extérieur.

Associée à une architecture RAG (Retrieval-Augmented Generation), cette approche permet au modèle de consulter des documents internes pour produire des réponses contextualisées, sans devoir intégrer systématiquement ces informations dans son entraînement. La souveraineté ne dépend toutefois pas uniquement de l’hébergement. Elle suppose également de contrôler les accès, les mises à jour, les journaux techniques, les dépendances logicielles et les éventuels flux sortants.

Un argument devenu stratégique

La protection des données constitue l’un des principaux moteurs de cette évolution. Avec l’application progressive de l’AI Act depuis août 2026, les entreprises doivent également mieux encadrer leurs usages de l’intelligence artificielle. Le règlement impose des obligations variables selon la nature des systèmes et les risques associés.

Dans ce contexte, disposer d’une infrastructure maîtrisée facilite certaines opérations de gouvernance : contrôle des accès, traçabilité des traitements, conservation des données et documentation des systèmes. Mais, attention : un modèle hébergé localement n’est pas automatiquement conforme à l’AI Act. La réglementation porte avant tout sur les usages et les responsabilités des acteurs, indépendamment du lieu d’hébergement.

La transparence des modèles ouverts

L’ouverture des modèles constitue également un élément intéressant. Lorsqu’ils disposent des droits et de la documentation nécessaires, les équipes peuvent examiner les poids du modèle, contrôler les versions utilisées et réaliser leurs propres évaluations. Cette visibilité reste néanmoins variable selon les fournisseurs. L’accès aux poids ne signifie pas nécessairement que l’intégralité des données d’entraînement est connue ou auditable.

Des économies réelles, mais pas automatiques

Le principal argument commercial des SLM repose sur leur coût d’exploitation. En réduisant le nombre de paramètres et les ressources nécessaires à l’inférence, ils peuvent diminuer la facture associée aux traitements répétitifs. Ils permettent de plus de limiter la dépendance aux appels API facturés à l’usage.

Cependant, l’hébergement local déplace une partie des dépenses plutôt qu’il ne les fait disparaître. L’entreprise doit financer les serveurs, les GPU éventuels, l’électricité, la maintenance, la supervision et les compétences nécessaires à l’exploitation des modèles. Le calcul économique doit donc intégrer le volume de requêtes, la fréquence d’utilisation, les performances attendues et le coût total de possession de l’infrastructure. Un SLM devient particulièrement intéressant lorsque les traitements sont nombreux, relativement prévisibles et suffisamment spécialisés pour ne pas nécessiter les capacités d’un grand modèle généraliste.

Vers une architecture hybride entre SLM et LLM

Faut-il pour autant abandonner les grands modèles de langage ? Rien ne l’indique. Les LLM conservent un avantage pour les tâches complexes, le raisonnement approfondi, la génération de contenus élaborés ou les demandes nécessitant des connaissances très larges. Les SLM, eux, peuvent prendre en charge les opérations quotidiennes, répétitives et spécialisées.

Cette complémentarité ouvre la voie à des architectures hybrides : un modèle compact traite les demandes courantes, tandis qu’un modèle plus puissant intervient lorsque la complexité de la tâche le justifie. Pour les DSI, l’enjeu consiste désormais à sélectionner le bon modèle pour le bon usage, plutôt que de chercher à généraliser une seule technologie à l’ensemble du système d’information.