Sommaire
- Un agent qui pilote le téléphone à votre place
- Deux modes : Flash pour la vitesse, Pro pour la vérification
- MCP : le téléphone devient un outil de l’assistant de code
- Web, CLI et SDK Python pour la chaîne CI/CD
- Plus de 99 % pour AndroidWorld : un chiffre à remettre en contexte
- Ce qu’il faut retenir pour les équipes mobiles
- Conclusion
Décrire un scénario de test en une phrase, puis laisser une IA le dérouler seule sur un vrai smartphone : c’est la promesse d’ARTEMIS, un outil open source publié par Google. Branché aux assistants de code via le protocole MCP, il pourrait bousculer la façon dont les équipes mobiles et QA conçoivent leurs tests d’interface.
Les tests d’interface mobile sont souvent le maillon faible de la chaîne qualité. Les scripts sont longs à écrire, ils cassent au moindre changement d’écran et demandent une maintenance continue. Avec ARTEMIS, Google propose une autre approche : l’agent reçoit une consigne en langage naturel et manipule lui-même le téléphone pour l’exécuter et vérifier le résultat.
Un agent qui pilote le téléphone à votre place
Le dépôt GitHub du projet résume l’idée en une phrase : ARTEMIS transforme des instructions en langage naturel en automatisation Android fiable, capture les journaux et s’intègre aux assistants de code IA. Concrètement, l’outil sert d’intermédiaire entre un modèle d’IA et un appareil Android. Il peut ouvrir une application, naviguer dans ses menus, saisir du texte, appuyer sur des boutons et, selon le mode choisi, contrôler que l’objectif a bien été atteint. En cas d’échec d’une action, le système peut chercher une autre manière de poursuivre le scénario.
Pour « voir » l’écran, ARTEMIS combine l’arborescence d’accessibilité d’Android, la reconnaissance de caractères (OCR) et l’analyse visuelle par des modèles multimodaux. Cette combinaison lui permet de traiter les interfaces classiques comme celles construites avec Canvas, Jetpack Compose ou Flutter, où l’arbre d’accessibilité est souvent incomplet. Lors de la première utilisation sur un appareil, l’outil installe un service d’accessibilité auxiliaire. Selon la documentation, ce service écoute uniquement sur le téléphone et n’envoie rien ailleurs.
Deux modes : Flash pour la vitesse, Pro pour la vérification
ARTEMIS propose deux modes d’exécution, avec un compromis clair entre rapidité et fiabilité.
- Flash : une boucle réactive « observer, réfléchir, agir » menée par un seul modèle, rapide et économe en jetons (environ 3 à 5 secondes par étape, selon le dépôt). En contrepartie, il n’y a ni plan de tâche, ni filet de sécurité avant exécution, ni vérification intermédiaire ou rapport final.
- Pro : un workflow multi-agents avec un planificateur, un opérateur, un filet de sécurité et un vérificateur en lecture seule. Il compte environ 15 à 40 secondes par étape. Plusieurs niveaux de vérification sont disponibles : désactivé, final (par défaut), par points de contrôle ou strict.
Flash sert les contrôles rapides ; Pro, les scénarios longs et les tests de stabilité.
MCP : le téléphone devient un outil de l’assistant de code
C’est sans doute la fonctionnalité la plus intéressante pour les développeurs. ARTEMIS embarque un serveur MCP (Model Context Protocol) natif. Un assistant comme Antigravity, Claude Code, Codex, Windsurf ou Claude Desktop peut ainsi accéder au téléphone connecté, lancer une tâche, consulter l’état de l’appareil, inspecter une trace d’exécution et récupérer captures d’écran et journaux, sans quitter son environnement. La documentation fournit une commande d’installation automatique pour ces clients, ou la génération manuelle d’un fichier de configuration.
Le scénario devient alors très concret : l’assistant modifie un écran de l’application, la compile, puis demande à ARTEMIS de vérifier sur un vrai terminal que le parcours utilisateur fonctionne toujours. La boucle « coder, tester, corriger » se referme dans le même outil.
Web, CLI et SDK Python pour la chaîne CI/CD
Au-delà du MCP, ARTEMIS se pilote de trois façons. Une console web de test visuel s’ouvre dans le navigateur, en local. Une interface en ligne de commande permet d’exécuter des cas de test automatisés, des inspections de stabilité et des benchmarks. Enfin, un SDK Python s’intègre aux frameworks de test comme pytest et aux pipelines CI/CD.
Côté prérequis, il faut un appareil Android avec le débogage USB activé ou un émulateur compatible, Python 3.12 ou supérieur et les identifiants API d’au moins un fournisseur de modèle de langage. Le dépôt affiche la compatibilité avec Gemini, Claude, GPT-4o et Qwen-VL. Le script de démarrage installe automatiquement ADB, scrcpy, FFmpeg et uv. L’outil est distribué sous licence Apache 2.0 et reprend en partie le code du projet open source mobile-use de Minitap.
Plus de 99 % pour AndroidWorld : un chiffre à remettre en contexte
Les développeurs revendiquent un taux de réussite supérieur à 99 % sur AndroidWorld. Ce benchmark, publié en 2024 par des chercheurs de Google Research, rassemble 116 tâches conçues à la main sur 20 applications Android, avec des paramètres aléatoires qui génèrent des millions de variantes. Il sert de référence pour mesurer la capacité d’un agent autonome à contrôler un smartphone.
Ce score ne garantit évidemment pas que tous les tests réels réussiront, ni que l’outil détectera tous les bugs. Le dépôt ne précise d’ailleurs ni le modèle utilisé pour obtenir ce résultat, ni les conditions détaillées de l’évaluation. Avant d’en faire un pilier de la QA, il faudra donc mesurer sa fiabilité sur ses propres applications.
Ce qu’il faut retenir pour les équipes mobiles
ARTEMIS ne remplace pas du jour au lendemain les frameworks de test existants. Plusieurs points méritent attention : le coût des appels aux modèles d’IA à chaque étape, le temps d’exécution du mode Pro, le caractère non déterministe d’un agent par rapport à un script classique, et la gestion des clés API. L’installation d’un service d’accessibilité sur les terminaux de test doit aussi être validée par les équipes sécurité.
Mais pour les tests exploratoires, les parcours de non-régression répétitifs ou les interfaces difficiles à instrumenter, l’outil ouvre une voie sérieuse. Et son intégration MCP en fait un complément naturel aux assistants de code déjà utilisés par les développeurs.
Conclusion
Avec ARTEMIS, Google fait passer l’agent IA du statut de démonstration à celui d’outil de travail pour la QA mobile. Open source, compatible avec plusieurs modèles et pensé pour la CI/CD, il mérite un test sur un projet pilote. Reste à vérifier, application par application, si la promesse des 99 % tient face à la réalité du terrain.