Vers l’efficacité des agents d’IA en entreprise

L’ère des agents d’IA est bel et bien enclenchée. Ces systèmes intelligents, capables d’effectuer des tâches auparavant réservées aux humains, offrent des perspectives fascinantes de gain de productivité. Mais attention ! Leur déploiement n’est pas dépourvu de défis. Un rapport de Salesforce, « Salesforce AI Research in Review », nous éclaire sur la question et propose des solutions concrètes.

« Intelligence irrégulière » : un frein au déploiement des agents

L’un des principaux obstacles au bon fonctionnement des modèles d’IA, appelés grands modèles de langage (LLM), est ce qu’appellent Salesforce « l’intelligence irrégulière ». En effet, il est frappant de constater qu’un même modèle peut briller dans des domaines complexes, comme les mathématiques, tout en peinant à répondre à des questions pourtant simples. Ce paradoxe est préoccupant, notamment pour les entreprises qui ont besoin de performances fiables et consistantes.

Salesforce s’attaque à ce sujet délicat avec son nouveau benchmark SIMPLE, visant à quantifier cette irrégularité et à évaluer les agents d’IA dans des contextes professionnels.

SIMPLE : un benchmark pour mesurer l’efficacité

Le benchmark SIMPLE se compose de 225 questions que des humains peuvent résoudre facilement, mais qui révèlent la complexité des LLM. Ces questions peuvent être résolues par au moins 10% des lycéens avec juste un stylo et du papier. 

L’objectif ? Aider les entreprises à discerner la capacité de ces modèles à fonctionner dans des conditions réelles. Ce benchmark renforce également la confiance des dirigeants dans l’implémentation des agents d’IA, en leur fournissant des indicateurs clairs sur la consistance des performances.

ContextualJudgeBench : évaluation des juges IA

Un autre outil développé par Salesforce est ContextualJudgeBench, qui met l’accent sur l’évaluation des modèles IA plutôt que sur les tâches elles-mêmes. Cette approche confirme que si les juges IA sont fiables, leurs évaluations le seront également. Plus de 2 000 paires de réponses ont été testées pour assurer la qualité des évaluations.

CRMArena : l’analyse comparative au service des entreprises

Salesforce a aussi lancé CRMArena, un outil d’analyse comparative permettant d’évaluer l’efficacité des agents IA dans la gestion de la relation client (CRM). Ce cadre évalue divers aspects, comme la synthèse d’emails, les recommandations commerciales et bien plus encore. Cela répond à une préoccupation majeure des entreprises : comprendre la performance réelle de leurs systèmes IA dans des tâches quotidiennes.

Innovons dans l’IA : des avancées prometteuses

Le rapport « Salesforce AI Research in Review » présente également plusieurs améliorations notables :

• SFR-Embedding : Ce modèle convertit des informations textuelles en données structurées, facilitant ainsi l’intégration par des agents IA.

• SFR-Guard : Dédié à l’évaluation des performances, il vise à détecter des problématiques dans des domaines clés tels que la toxicité et l’injection rapide.

• xLAM : Mis à jour pour supporter des conversations multi-tours, il offre une gamme plus étendue de modèles pour une meilleure accessibilité.

• TACO : Ce modèle multimodal génère des chaînes de pensée et d’action (CoTA) pour résoudre des problèmes complexes en plusieurs étapes.

Conclusion : une transformation inévitable

En somme, le rapport de Salesforce ouvre la voie à une révolution des agents d’IA en entreprise. En identifiant les faiblesses des systèmes actuels et en proposant des benchmarks pertinents, l’entreprise se positionne comme un acteur clé dans le déploiement de l’intelligence artificielle en milieu professionnel. Les entreprises doivent impérativement suivre cette évolution pour maximiser leur potentiel et se préparer aux défis de demain.