Le Magic9 sera le premier vrai terrain commercial pour Qwen Intelligence

Alibaba a présenté Qwen Intelligence le 22 septembre pendant sa conférence Apsara à Hangzhou. La plateforme est décrite comme une solution complète destinée aux fabricants de smartphones qui veulent construire des agents capables de planifier, manipuler une interface et produire du contenu.

HONOR sera l’un des premiers partenaires à la transformer en produit grand public. La série Magic9, dont le lancement est prévu le 28 septembre à Pékin, doit intégrer la solution conjointement avec MagicOS 11.

Le Robot Phone de HONOR prend également en charge cette architecture, mais le Magic9 est beaucoup plus important commercialement : il s’agit d’un smartphone classique destiné à être utilisé quotidiennement, pas d’un appareil expérimental construit autour d’un concept robotique.

La différence avec un assistant classique tient dans le verbe « faire »

Un assistant traditionnel peut expliquer comment organiser un voyage. Un agent essaie de l’organiser.

Alibaba donne l’exemple d’une demande du type « organise mon déplacement à Shanghai lundi ». Le système doit comprendre quelle date correspond à lundi, comparer plusieurs moyens de transport, tenir compte de préférences précédentes et enchaîner différentes applications ou services.

C’est le principe de Qwen Intelligence : transformer une intention relativement vague en un plan d’exécution, puis effectuer les opérations nécessaires dans l’interface du téléphone.

HONOR décrit la même évolution avec YOYO dans MagicOS 11 : passer d’une IA qui « sait répondre » à une IA qui « sait faire ».

Plus de 100 étapes pour une seule demande

Le chiffre le plus révélateur n’est probablement pas la taille du modèle, mais la longueur annoncée des tâches.

HONOR indique que la nouvelle génération de YOYO peut dépasser 100 opérations successives sur les scénarios les plus complexes.

Cela peut inclure ouvrir plusieurs applications, récupérer des informations, comparer des options, revenir dans une autre interface, remplir des champs puis continuer jusqu’à l’objectif final.

Une chaîne de 100 actions change complètement la question de la fiabilité. Avec un assistant qui effectue une seule opération, une erreur reste locale. Sur une longue séquence, une petite mauvaise interprétation au début peut contaminer tout le reste.

91,8 % de réussite est excellent jusqu’à ce que l’action soit importante

HONOR et Alibaba revendiquent un taux de réussite global de 91,8 % pour leur solution, ainsi qu’un taux de réalisation complète de bout en bout autour de 90 %.

Ils citent également une précision de 87 % sur certaines tâches complexes et une opération d’interface réalisée en moyenne en environ 3,6 secondes.

Ces valeurs proviennent des tests présentés par les entreprises. Il ne s’agit pas encore d’un benchmark indépendant reproduit sur des appareils commerciaux.

Surtout, un taux de 90 % n’a pas la même signification selon l’action. Échouer une fois sur dix à trouver un restaurant est agaçant. Échouer une fois sur dix lorsqu’un paiement, un billet ou une réservation est impliqué devient beaucoup plus difficile à accepter.

Un bon agent doit savoir s’arrêter

C’est probablement le critère le plus important que les premières démonstrations devront éclaircir.

Une automatisation réellement utile ne doit pas seulement savoir continuer lorsqu’elle comprend le prochain écran. Elle doit aussi reconnaître quand elle n’est plus suffisamment certaine pour agir seule.

Il faudra donc regarder où MagicOS impose une confirmation humaine : avant un paiement, avant l’envoi d’un message, avant une réservation non remboursable, ou lorsqu’une application affiche quelque chose d’inattendu.

HONOR n’a pas encore détaillé publiquement toute la granularité de ces confirmations pour le Magic9. Le lancement du 28 septembre devra en dire davantage.

MagicOS 11 a été reconstruit autour d’un « Agent Harness »

HONOR avait déjà présenté MagicOS 11 le 15 septembre comme le premier système mobile commercial de la marque construit autour d’un Agent Harness au niveau système.

Ce terme désigne essentiellement une couche d’orchestration. Elle doit relier compréhension de l’intention, modèles spécialisés, outils logiciels, applications et actions possibles.

Plutôt que de demander à un seul grand modèle de tout faire, MagicOS peut sélectionner différentes capacités selon la tâche puis coordonner leur exécution.

HONOR parle d’une architecture faisant travailler ensemble ressources locales et cloud, sans encore détailler précisément quelle portion de chaque scénario Magic9 restera sur l’appareil.

Qwen fournit trois briques : planifier, agir et créer

Alibaba présente Qwen Intelligence comme une plateforme composée de modèles et de solutions optimisés spécifiquement pour le smartphone.

La première famille s’occupe de la planification : comprendre une demande complexe et la décomposer en sous-tâches.

Une deuxième partie est consacrée à l’utilisation de l’interface et aux actions nécessaires pour exécuter le plan.

La troisième couvre davantage la création multimodale, notamment l’image et les contenus générés directement depuis les usages du téléphone.

L’intérêt est moins d’avoir « Qwen dans le smartphone » que de disposer d’un système capable de relier le modèle à ce que les applications peuvent réellement accomplir.

YOYO dispose déjà de centaines d’outils

HONOR indique que son nouvel environnement comprend environ 700 outils internes et peut exploiter plus de 500 compétences.

La marque parle également de plus de 40 types de déclencheurs conditionnels.

Un utilisateur peut par exemple demander qu’une action se produise automatiquement lorsqu’une situation particulière apparaît plutôt que répéter la même instruction chaque fois.

MagicOS 11 introduit ainsi « YOYO Tasks », conçu pour mémoriser une condition et lancer une suite d’actions lorsque celle-ci devient vraie.

Plus de 10 000 services tiers sont annoncés

HONOR affirme avoir connecté son environnement à plus de 10 000 services IA ou services tiers.

Le chiffre est important parce qu’un agent sans accès aux applications réelles reste finalement un chatbot plus sophistiqué.

Réserver, commander, planifier ou rechercher implique des acteurs extérieurs : transports, commerce, santé, livraison, calendriers et autres plateformes.

L’enjeu sera toutefois de connaître la profondeur de ces intégrations. Une véritable API permettant une transaction structurée est beaucoup plus robuste qu’un agent obligé de cliquer visuellement dans une interface qui peut changer du jour au lendemain.

Contrôler une interface comme un humain reste la solution de secours universelle

Les agents mobiles modernes peuvent fonctionner de deux manières principales.

Lorsqu’un service expose des outils structurés, l’agent peut appeler directement une fonction prévue pour lui. C’est généralement la méthode la plus rapide et la plus fiable.

Lorsqu’aucune intégration n’existe, il peut aussi lire l’écran et manipuler une application comme le ferait un utilisateur : cliquer, faire défiler, sélectionner puis vérifier le nouvel état de l’interface.

Qwen Intelligence est précisément conçu pour supporter ce type d’opération GUI. Cela permet d’étendre fortement la compatibilité, mais ajoute aussi une nouvelle source d’erreur lorsque l’interface change ou affiche un message inattendu.

Les préférences personnelles sont à la fois le meilleur argument et le problème le plus sensible

HONOR explique que YOYO peut conserver davantage de contexte et se souvenir des habitudes de l’utilisateur.

C’est ce qui rend possible une instruction comme « réserve comme d’habitude » : le système doit savoir quel type de siège, quel hôtel ou quelles contraintes sont normalement préférés.

Cette mémoire est aussi exactement la donnée que l’on voudra le moins exposer inutilement.

Plus un agent devient utile, plus il accumule potentiellement d’informations sur déplacements, achats, rendez-vous, communications et habitudes. La qualité des paramètres de contrôle et d’effacement comptera donc presque autant que la qualité du modèle.

La confidentialité ne se résume pas à savoir si le modèle fonctionne localement

La discussion habituelle oppose souvent traitement « on-device » et cloud. Pour un agent, le problème est plus large.

Même lorsque la compréhension d’une commande se fait localement, l’exécution peut exiger de communiquer avec une compagnie aérienne, un service de livraison ou une plateforme commerciale.

L’utilisateur devra pouvoir comprendre quelles informations sont transmises, à quel service et dans quel but.

HONOR met déjà fortement en avant la sécurité dans MagicOS, mais les règles précises de Qwen Intelligence sur le Magic9 — conservation des historiques, permissions d’agent et circulation du contexte — devront être jugées sur le produit final plutôt que supposées.

Le Magic9 arrive avec MagicOS 11 le 28 septembre

HONOR a confirmé que le Magic9 lancera MagicOS 11 et tiendra sa présentation complète le 28 septembre.

Le constructeur a déjà dévoilé plusieurs éléments matériels indépendants de Qwen Intelligence : collaboration avec ARRI pour l’image, nouvelles fonctions vidéo, double biométrie 3D et puce radio C3.

La série doit donc rester un flagship traditionnel extrêmement ambitieux en photo, écran et performances.

Mais la différence logicielle que HONOR veut installer dans les esprits est désormais claire : le téléphone doit être capable de prendre une intention et d’en faire une série d’actions.

Le premier test intéressant ne sera pas un benchmark

91,8 %, 3,6 secondes, 700 outils et plus de 100 étapes sont d’excellents chiffres pour une présentation.

Le test réellement utile sera beaucoup plus banal : demander au Magic9 d’organiser quelque chose d’un peu compliqué, puis regarder combien de fois l’utilisateur doit intervenir.

Un agent qui réalise 80 opérations correctement avant de se tromper au moment du paiement n’a pas effectué 80 bonnes actions. Il a raté une tâche.

C’est aussi ce qui rend cette génération de smartphones plus intéressante que la précédente vague d’« AI phones ». Nous ne sommes plus vraiment en train de compter les fonctions génératives.

Nous commençons à mesurer si un téléphone peut recevoir une responsabilité — et surtout savoir quand la rendre à son propriétaire.