Par Camille 
Samsung Research et la division Mobile eXperience ont détaillé le 16 septembre la technologie utilisée dans le nouveau Portrait Video de la génération Galaxy Z Fold8.
La fonction avait été dévoilée lors du Galaxy Unpacked de juillet avec les nouveaux pliables. Samsung revient maintenant sur la partie qui n’apparaît pas dans la fiche technique : la manière dont un smartphone essaie de reproduire optiquement un phénomène qu’il ne peut pas obtenir naturellement avec la même intensité.
Le principe de base reste familier. Le sujet principal est conservé net tandis que l’arrière-plan est rendu flou.
La différence est que le flou n’est plus censé être une couche uniforme appliquée derrière un masque de segmentation.
Un vrai objectif ne floute pas tout de la même manière
Avec un objectif à grande ouverture, la quantité de flou dépend notamment de la distance entre le plan de mise au point et les différents éléments de la scène.
Un objet légèrement derrière le sujet peut rester relativement reconnaissable. Un autre situé beaucoup plus loin devient nettement plus diffus.
Les petits points lumineux produisent également du bokeh dont la taille, la forme et l’intensité varient avec l’optique et la profondeur.
Samsung explique que reproduire cet effet exige donc davantage qu’un filtre gaussien appliqué au fond.
Ses chercheurs ont commencé par analyser la manière dont la lumière se propage dans de véritables objectifs à grande ouverture et par convertir les caractéristiques observées en données utilisables par l’algorithme vidéo.
L’IA fournit ensuite une carte approximative de la distance
La deuxième pièce du système vient de l’estimation de profondeur.
Le téléphone utilise l’IA pour estimer la distance relative des différentes parties de la scène.
Cette information est combinée avec les données optiques afin de déterminer quelle quantité de flou appliquer et quelle taille donner aux zones de bokeh.
Le résultat recherché est une transition progressive entre les plans plutôt qu’une séparation binaire entre « sujet net » et « arrière-plan flou ».
C’est cette variation qui doit donner à la vidéo l’impression d’avoir été capturée avec une profondeur de champ réellement faible.
Les cheveux restent l’ennemi naturel du faux bokeh
Samsung identifie pourtant immédiatement une limite classique de la photographie computationnelle : les contours.
Une carte de profondeur estimée par IA ne suffit pas toujours à déterminer exactement où s’arrête le sujet.
Cheveux, branches fines, lunettes, doigts ou objets semi-transparents peuvent facilement être classés dans le mauvais plan.
Dans un mauvais mode portrait, le symptôme est évident : certaines mèches deviennent floues avec le fond tandis qu’une zone située entre les cheveux reste artificiellement nette.
Samsung dit donc combiner l’estimation de distance avec des informations de contours directement extraites de la vidéo originale.
Le système ne demande plus seulement « à quelle distance se trouve ce pixel ? », mais également « existe-t-il ici une frontière visuelle crédible entre deux éléments ? ».
Une seule mauvaise image serait déjà gênante, mais la vidéo doit rester cohérente image après image
Le défi est plus difficile qu’en photographie.
Sur une photo, une erreur de segmentation apparaît à un endroit fixe.
En vidéo, cette erreur peut changer d’une frame à l’autre et produire un contour qui clignote, tremble ou saute autour du sujet.
La cohérence temporelle devient donc aussi importante que la précision de chaque image individuelle.
Samsung dit avoir testé la fonction dans des conditions très différentes de météo, d’éclairage, de mouvement et de distance afin de réduire ces variations.
Les équipes ont ensuite complété l’entraînement et les optimisations logicielles à partir des cas où le rendu paraissait encore artificiel.
Le téléphone peut même changer naturellement de personne mise au point
Portrait Video reconnaît les visages et peut transférer le focus vers une autre personne lorsque le sujet principal se détourne ou que la composition change.
Le comportement cherche à reproduire un choix qu’un opérateur ou un système autofocus pourrait effectuer sur une caméra traditionnelle.
Le téléphone doit alors modifier à la fois le masque de sujet et la manière dont le flou est distribué autour du nouveau plan de mise au point.
Une transition brutale ferait immédiatement apparaître le caractère artificiel de l’effet.
Samsung mise donc sur une évolution plus progressive de la profondeur et du bokeh.
La mise au point peut également être modifiée après l’enregistrement
Le système computationnel possède un avantage qu’un objectif classique n’offre pas aussi facilement.
Après la prise de vue, l’utilisateur peut sélectionner un autre sujet à mettre en avant.
Il peut également régler le niveau de flou sur une échelle allant de 0 à 7.
Le téléphone conserve donc suffisamment d’informations pour recalculer une partie de la séparation entre les plans après l’enregistrement.
C’est une différence fondamentale avec un véritable objectif à grande ouverture : sur une caméra traditionnelle, une mise au point ratée pendant le tournage est généralement définitive.
Ici, une partie de l’apparence optique est une décision logicielle prise après coup.
Samsung essaie même de reproduire le comportement des points lumineux
Le bokeh ne désigne pas simplement le fait qu’une zone soit floue.
Il décrit aussi la manière dont les éléments hors mise au point sont rendus, notamment les petites sources lumineuses.
Une lumière de rue ou une guirlande située derrière le sujet peut devenir un disque lumineux beaucoup plus large dans une optique à grande ouverture.
Samsung explique avoir mesuré ces caractéristiques sur de vrais objectifs afin de reproduire plus naturellement leur propagation.
Le système ajuste ensuite la taille de ces taches lumineuses en fonction de la profondeur estimée.
C’est une nuance assez éloignée des premiers modes portrait, qui avaient tendance à transformer le fond en une surface uniformément adoucie.
Tout cela doit fonctionner pendant que le téléphone filme en 4K
La contrainte la plus brutale reste le temps de calcul.
Samsung précise que le traitement doit fonctionner sur un flux vidéo 4K en temps réel.
À chaque image, le système doit donc effectuer suffisamment d’analyse pour estimer profondeur et contours, suivre le sujet et reconstruire le rendu optique sans laisser la file de traitement prendre du retard.
La vidéo transforme rapidement une technique acceptable sur une photo en problème thermique.
Exécuter la chaîne complète des dizaines de fois par seconde augmente consommation et chaleur, particulièrement dans un appareil aussi fin qu’un smartphone pliable.
L’équipe a donc volontairement abandonné certains calculs imperceptibles
Samsung dit avoir dû choisir où consacrer les ressources disponibles.
Les traitements considérés comme importants pour la qualité visuelle ont été préservés, tandis que d’autres calculs ont été réduits lorsqu’ils apportaient peu de différence perceptible.
C’est une réalité souvent masquée par l’expression « IA embarquée ».
Un modèle peut théoriquement produire un résultat plus sophistiqué avec davantage de calcul. Sur un téléphone, il doit également terminer avant l’image suivante et rester suffisamment efficace pour ne pas vider la batterie ou provoquer une montée en température excessive.
Le meilleur algorithme mobile n’est donc pas nécessairement celui qui effectue le plus d’opérations.
La profondeur simulée et la profondeur optique restent deux choses différentes
Samsung parle d’un rendu inspiré des objectifs professionnels, pas d’une transformation physique du module photo.
Un vrai objectif à grande ouverture produit sa profondeur de champ au moment où la lumière traverse l’optique et atteint le capteur.
Le smartphone capture d’abord une image avec ses propres caractéristiques optiques, puis tente d’identifier les plans et de reconstruire une apparence différente.
Cela signifie que les erreurs possibles restent spécifiques au calcul : détourage incorrect, profondeur mal estimée ou bokeh qui ne réagit pas comme prévu sur un objet complexe.
L’avantage est inverse : le rendu peut être ajusté après coup et évoluer selon des règles qu’un objectif physique fixe ne pourrait pas modifier après l’enregistrement.
Le Fold8 devient donc une sorte de caméra à optique partiellement logicielle
La photographie computationnelle existe depuis longtemps sur smartphone, mais Portrait Video montre jusqu’où son rôle se déplace.
Le logiciel ne se contente plus de corriger bruit, exposition ou couleurs produits par le capteur.
Il essaie de reproduire une caractéristique entière du système optique : profondeur de champ, transition entre plans et apparence du bokeh.
Une partie du « choix d’objectif » devient donc une fonction de traitement.
Pour l’utilisateur, cela signifie qu’un même module peut produire plusieurs interprétations de profondeur sans changer physiquement d’ouverture ou d’optique.
Samsung donne aussi quelques indices sur les conditions où l’illusion fonctionne le mieux
Le constructeur recommande des arrière-plans contenant de petites sources lumineuses et présentant suffisamment de profondeur pour rendre le bokeh visible.
Une lumière placée derrière ou sur le côté du sujet peut également mieux souligner les cheveux et les contours.
Ces conseils ressemblent finalement beaucoup à ceux donnés avec un véritable objectif lumineux.
C’est révélateur : même lorsque le flou est calculé, une scène qui fournit des indices de profondeur et des sources lumineuses adaptées reste plus facile à rendre de manière crédible.
Le logiciel peut simuler l’optique, mais il ne peut pas rendre toute composition également intéressante.
Le prochain progrès des caméras smartphone pourrait donc être moins visible sur la fiche technique
Les générations précédentes ont beaucoup communiqué sur la taille des capteurs, les mégapixels et les niveaux de zoom.
Ici, aucune de ces caractéristiques n’explique vraiment le changement.
La nouveauté repose sur un modèle de profondeur, une analyse de contours, des données dérivées de véritables objectifs et une chaîne de traitement suffisamment efficace pour fonctionner continuellement.
C’est beaucoup plus difficile à résumer qu’un capteur de 200 mégapixels.
Mais c’est aussi une tendance plus profonde : le rendu d’un smartphone dépend de moins en moins uniquement de l’optique qu’il possède et de plus en plus de l’optique que son logiciel essaie de reconstruire.