Arm a présenté le Mali G2-Ultra NX le 8 septembre comme le premier GPU Mali « AI-native ».

Il fait partie du nouveau CSS for Mobile 2, aux côtés du cluster CPU C2.

Le G2-Ultra NX reste un GPU de smartphone classique dans le sens où il exécute shaders, calcul et rasterisation, mais il ajoute désormais des accélérateurs neuronaux spécialisés directement dans les shader cores.

Ces unités partagent les caches, le système mémoire et une partie des structures de contrôle du GPU au lieu de fonctionner comme un NPU extérieur auquel il faudrait envoyer continuellement des données.

Le Neural Super Sampling ressemble immédiatement au DLSS

La première brique s'appelle Neural Super Sampling, ou NSS.

Le jeu peut calculer une image à une résolution inférieure puis fournir au réseau neuronal la couleur, les vecteurs de mouvement, la profondeur et l'historique des images précédentes.

Le modèle reconstruit ensuite une image de résolution supérieure tout en appliquant son propre traitement antialiasing.

Le principe est donc très proche des techniques de reconstruction désormais courantes sur PC et console.

Le gain potentiel vient d'une évidence : calculer réellement moins de pixels coûte moins cher que de rendre chaque pixel à la résolution finale.

NFRU génère aussi des images que le moteur n'a jamais rendues

Arm va plus loin avec Neural Frame Rate Upscaling.

NFRU analyse deux images déjà calculées, leurs données de profondeur et de mouvement, puis génère une image intermédiaire grâce au réseau neuronal.

Le Mali G2-Ultra NX possède également une accélération matérielle du flux optique pour faciliter l'estimation des mouvements entre les deux frames.

Le résultat vise le même problème que DLSS Frame Generation ou FSR Frame Generation : afficher davantage d'images que le moteur n'en calcule réellement.

Arm affirme que cette combinaison peut permettre des sessions prolongées atteignant jusqu'à 120 images par seconde dans les conditions prévues par ses démonstrations.

La troisième fonction s'attaque au bruit du ray tracing

NSSD signifie Neural Super Sampling and Denoising.

Cette technique combine reconstruction d'image et débruitage neuronal afin de réduire la quantité de rayons nécessaires pour produire des ombres et éclairages ray traced propres.

C'est particulièrement intéressant sur smartphone.

Le ray tracing devient rapidement coûteux lorsque le moteur doit lancer suffisamment de rayons par pixel pour éliminer le bruit visuel.

Un débruiteur peut donc permettre au GPU de lancer moins de rayons puis de reconstruire une image exploitable à partir de données plus clairsemées.

Arm revendique jusqu'à quatre fois plus d'efficacité dans Neural Dawn

La démonstration technologique Neural Dawn, développée avec Sumo Digital, combine NFRU et NSSD.

Arm annonce jusqu'à quatre fois plus d'efficacité de performance qu'un rendu natif et jusqu'à 70 % de trafic mémoire externe en moins.

Ce chiffre ne signifie pas que n'importe quel jeu installé demain sur un smartphone Mali fonctionnera quatre fois plus vite.

Il s'agit d'une comparaison réalisée dans une charge spécialement conçue pour exploiter les techniques neuronales d'Arm.

Le point intéressant est plutôt l'ordre de grandeur : lorsque le moteur accepte de reconstruire une partie de l'image au lieu de tout calculer traditionnellement, les économies peuvent devenir beaucoup plus grandes qu'un simple changement de génération GPU.

Sans IA, le gain est beaucoup plus classique : 14 %

Arm publie aussi les performances traditionnelles.

Le Mali G2-Ultra NX atteint jusqu'à 14 % de performances supplémentaires dans les jeux sans rendu neuronal face à la génération précédente.

Le gain monte jusqu'à 24 % dans certains benchmarks graphiques.

Ces chiffres sont nettement moins spectaculaires que le « 4x » de Neural Dawn.

Ils montrent exactement pourquoi Arm mise autant sur la reconstruction : la croissance brute des performances devient beaucoup plus difficile lorsqu'un smartphone doit rester dans quelques watts.

C'est la plus grosse refonte du moteur d'exécution Mali depuis sept générations

Le nouveau GPU ne repose pas uniquement sur ses blocs IA.

Arm a redessiné son moteur d'exécution et parle de sa plus importante évolution d'ISA GPU depuis sept générations.

Chaque warp peut disposer de jusqu'à deux fois plus de registres.

Cette réserve supplémentaire aide les shaders complexes à conserver davantage de données localement et réduit certains allers-retours vers la mémoire.

C'est utile pour les jeux classiques, mais aussi pour les algorithmes de rendu modernes qui empilent davantage d'étapes par pixel.

Le ray tracing arrive à sa troisième génération

Le G2-Ultra NX intègre également la troisième génération de Ray Tracing Unit d'Arm.

Le constructeur annonce jusqu'à 13 % de trafic DRAM en moins dans ses principaux benchmarks de ray tracing.

Le GPU ajoute surtout la prise en charge matérielle des Opacity Micromaps.

Cette technique permet d'éviter une partie du travail coûteux nécessaire pour déterminer si un rayon traverse ou frappe des surfaces partiellement transparentes comme les feuilles, les cheveux, les tissus ou les grillages.

Dans une démonstration Arm, les Opacity Micromaps augmentent le framerate de 30 % et réduisent jusqu'à 70 % la charge de travail liée au ray tracing.

L'accélérateur neuronal travaille directement avec les shaders

Le design interne explique pourquoi Arm insiste sur le terme AI-native.

Les accélérateurs neuronaux supportent notamment les calculs INT8 et INT16 ainsi que certaines opérations tensorisées.

Ils peuvent fonctionner à une fréquence allant jusqu'à deux fois celle du GPU selon la configuration d'implémentation.

Arm vise environ 1 W pour le bloc neuronal dans certains scénarios de référence.

Surtout, le scheduler peut répartir finement les opérations graphiques, compute et neuronales au sein du même GPU.

Le but est d'éviter qu'un traitement IA utilisé seulement pour reconstruire l'image nécessite de déplacer les données vers un accélérateur séparé puis de les ramener dans le pipeline graphique.

Le vrai plafond reste thermique

Une carte graphique de PC peut consommer plusieurs centaines de watts et disposer de ventilateurs massifs.

Un smartphone doit tenir son GPU, son CPU, son modem, son écran et sa batterie dans quelques millimètres d'épaisseur.

Augmenter brutalement le nombre d'unités graphiques finit donc rapidement par augmenter la température puis provoquer du throttling.

La reconstruction neuronale attaque le problème autrement : plutôt que d'essayer de calculer deux fois plus de pixels, elle cherche à obtenir une image comparable avec moins de travail traditionnel.

C'est exactement la transition qu'a déjà connue le PC.

Where Winds Meet fait partie des premiers jeux concernés

Le matériel seul ne suffit pas.

Un jeu doit fournir les données de mouvement et de profondeur appropriées et intégrer les technologies d'Arm dans son moteur.

Where Winds Meet figure parmi les premiers titres annoncés avec Arm Neural Technology via le Messiah Engine.

Tencent Games travaille de son côté avec Arm autour de MagicDawn et d'une démonstration NSSD d'Arena Breakout: Infinite.

Unity China intègre également ces fonctions dans Tuanjie Engine.

Le Neural Graphics Development Kit prend en charge NSS et NFRU, les extensions machine learning pour Vulkan et des plug-ins destinés notamment à Unreal Engine.

Toutes les fonctions n'arriveront pas nécessairement en même temps

Le Mali G2-Ultra NX fournit l'architecture matérielle capable d'accélérer NSS, NFRU et NSSD.

Cela ne garantit pas que chaque premier smartphone proposera immédiatement les trois fonctions dans des jeux commerciaux.

Le supersampling neuronal est la brique la plus proche d'un déploiement large.

La génération de frames et les techniques de débruitage plus avancées dépendront davantage des intégrations réalisées par les moteurs et studios au fil des prochains jeux.

Comme sur PC, le catalogue logiciel comptera presque autant que le silicium.

Le Xiaomi 18 Fold donne au GPU sa première vitrine

Le nouveau Xiaomi 18 Fold fait partie des premiers smartphones annoncés autour du Mali G2-Ultra NX.

Xiaomi l'intègre à son SoC maison XRing O3.

Le pliable dispose donc d'une architecture graphique capable d'exécuter les nouvelles fonctions neuronales d'Arm sans dépendre d'un GPU Qualcomm ou MediaTek.

Cette première implémentation sera particulièrement intéressante à tester parce qu'elle permettra de comparer les gains théoriques d'Arm avec un appareil commercial soumis à de vraies limites thermiques et de batterie.

Le smartphone suit exactement le chemin pris par les cartes graphiques PC

Le GPU mobile a longtemps progressé de façon très traditionnelle : davantage d'unités de calcul, plus de fréquence et plus de bande passante.

Le Mali G2-Ultra NX ne supprime évidemment aucune de ces variables.

Il ajoute simplement une autre manière d'utiliser le budget disponible.

Une image peut être partiellement reconstruite. Une frame peut être synthétisée. Le bruit du ray tracing peut être éliminé après coup plutôt que par des dizaines de rayons supplémentaires.

Cela signifie aussi que le chiffre affiché par le compteur de FPS représentera de moins en moins le nombre d'images réellement calculées par le moteur.

Le PC vit déjà avec cette ambiguïté depuis plusieurs générations.

Avec le Mali G2-Ultra NX, elle arrive maintenant dans la poche.