Test : NVIDIA Image Scaling, ou comment gagner des FPS sur tous les GPU ?

    Faisons le point sur les technologies d’upscaling : le DLSS

    Chez NVIDIA il y a deux technologies : le DLSS et l’Image Scaling et chez AMD nous avons le FSR. Regardons comment elles fonctionnent.

    Le DLSS, acronyme de Deep Learning Super Sampling est une technologie qui repose sur l’intelligence artificielle qui utilise les Tensor Cores des cartes graphiques NVIDIA RTX. Elle peut donc être utilisée uniquement sur les GPU compatibles. Celle-ci apprend continuellement et NVIDIA vient de présenter la version DLSS 2.3. Une version qui prend place par exemple dans Cyberpunk 2077.

    Cette technologie utilise un processus consistant à prédire avec précision une image haute définition comme du 4K à partir d’une image à définition inférieure comme du 1080p. Ceci en augmentant les FPS, le processus utilise l’IA et les données du moteur de jeu pour fournir une qualité d’image 4K native. Pour ceci, l’algorithme doit prédire 6,2 millions de pixels supplémentaires (8,2 millions le 4K et 2 millions le 1080p). Forcément, plus le DLSS a d’informations sur les pixels et meilleur en sera les résultats, c’est pour cela que nous parlons d’une technologie qui apprend sans cesse et qui voit de nouvelles versions arrivées.

    Le DLSS permet d’obtenir une excellente qualité d’image en utilisant quatre entrées différentes pour déterminer l’image finale affichée à l’écran :

    1. L’image de définition inférieure rendue par le moteur de jeu (par exemple 1080p).
    2. Les vecteurs de mouvement d’une même image, générés par le moteur de jeu. Les vecteurs de mouvement indiquent à l’algorithme dans quelle direction les objets de la scène se déplacent d’une image à l’autre.
    3. La sortie haute définition du précédent cadre amélioré DLSS (4K).
    4. Une grande base de données d’images d’une définition de 16K de différents types de contenu de jeu pour entraîner le réseau d’IA.

    Un type spécial de réseau d’IA, appelé auto-encodeur convolutif, prend l’image actuelle basse définition, les vecteurs de mouvement et l’image précédente à haute résolution pour déterminer pixel par pixel comment générer une nouvelle image à plus haute définition.

    En examinant les vecteurs de mouvement et la sortie haute résolution précédente, le DLSS peut suivre les objets d’une image à l’autre, offrant une stabilité en mouvement et réduisant les artefacts de scintillement et d’éclatement. Ce processus est connu sous le nom de « temporal feedback », car il utilise le passé pour informer l’avenir.

    Avec l’accès aux images et vecteurs de mouvement antérieurs, le DLSS peut suivre chaque pixel et prélever plusieurs échantillons du même pixel à travers les images (appelé suréchantillonnage temporel), offrant ainsi une meilleure qualité de détail et de bord que les solutions de mise à l’échelle traditionnelle.

    En s’entraînant sur un vaste ensemble de données d’images d’une définition 16K, l’algorithme apprend à prédire les images haute résolution avec une plus grande précision. Et grâce à une formation continue sur les superordinateurs de NVIDIA, DLSS peut apprendre à gérer de nouvelles classes de contenu comme le feu et la fumée en passant par les effets de particules. Tout ceci à un rythme que les ingénieurs codant à la main pour les algorithmes non IA ne peuvent tout simplement pas suivre.

    Avec les cartes graphiques GeForce RTX et leurs Tensor Cores délivrant jusqu’à 285 téraflops de puissance IA dédiée, le DLSS peut traiter en temps réel les images dans un jeu 3D. C’est pour ceci que nous regardons les impacts sur le visuel des jeux sur lesquels nous faisons des tests de performance avec nos cartes graphiques, comme ce que nous avons fait par exemple sur Battlefield 2042 ou encore les Gardiens de la Galaxie récemment.

    L’Image Scaling : la technologie de mise à l’échelle spatiale pour concurrencer le FSR d’AMD

    Maintenant que nous savons comment fonctionne le DLSS, comment fonctionne l’Image scaling ? Celle-ci ne repose pas sur une intelligence artificielle, donc pas besoin spécifiquement des Tensor Cores. De ce fait, cette technologie est aussi compatible avec les cartes graphiques GTX et même les AMD Radeon. Cette technologie d’upscaling spatial existe depuis un moment sous un pilote nommé NVIDIA Image Scaling and Sharpening et vient d’être mise à jour par NVIDIA.

    Pour comprendre comment cela fonctionne, regardons l’image ci-dessous. On voit que le DLSS se base sur trois images (une actuelle et deux précédentes) cumulant plus de 6 millions de pixels avec un algorithme d’Intelligence Artificielle pour restituer une image de 3,5 millions de pixels. L’Image Scaling lui en face n’a qu’une image de 2,2 millions de pixels et un algorithme fixe qui va générer l’image de 3,5 millions de pixels (1440p).

    L’Image Scaling est en fait très proche du FSR d’AMD dans le fonctionnement. La différence principale réside dans le fait qu’AMD réalise la mise à l’échelle et la netteté en deux étapes distinctes et que NVIDIA réalise ces actions dans la même étape.

    En prochaine page, passons à la conclusion.

    Lire la suite

    6 Commentaires

    1. Bonjour.

      Félicitation pour cet article.
      J’ai adoré, puis saisir les différences et nuances de chaque technologies est facile et limpide.

      Pas compris la possible utilité pour de la retouche photo.
      Par contre, pour le montage vidéo, peut-être utile pour gagner de l’espace de stockage ou pour de la diffusion sur le net (pour une question de taille d’image et de poids) ?
      Si vous pouviez éclaircir ma lanterne.

      • Hello, alors, je pense que tu parles de ICAT, l’outil qui te permet de comparer des images/vidéos. Il s’agit seulement d’un outil permettant d’afficher côte à côté des images et vidéos afin de les comparer facilement visuellement (side by side ou en split). Pour le coup c’est moi qui ne comprend pas ce qui t’a fais penser qu’il permettrait de gagner de l’espace de stockage. Dis-moi si un passage n’est pas totalement clair, je détaillerais un peu plus si besoin.

    2. C’est le paragraphe dans la conclusion, où vous parlez d’une possible utilité en retouche photo et montage vidéo. Après si c’est juste pour comparer pour je ne sais quoi de bench mais inutile en pratique (non exploitable pour de l’impression photo ou diffusion vidéo).
      Pour le poids et donc le stockage. Je supposais qu’une image upscalée prenne moins de place qu’une image native, comme choisir différents niveaux de compression / qualité. Avec un gain de place à la clé. Il faut aussi que ledit logiciel prenne en charge cette technologie. Déjà que, a part les logiciels pro, l’accélération matériel reste très faiblement voire pas du tout utilisé.
      En jeux vidéo, c’est clairement intéressant pour les possesseurs de NVidia gtx et AMD Radeon, là pas de soucis.

    3. En effet, c’est uniquement pour comparer visuellement des images, le logiciel n’a aucun autre but. Par exemple, si je veux montrer à quelqu’un des retouches que j’ai faites sur une photo en mode avant/après, ce logiciel sera parfait pour bien montrer les différences.

      L’ICAT est juste un outil de comparaison d’image, il faut vraiment prendre son nom au pied de la lettre. L’Image Scaling c’est pas l’ICAT, Image Scaling ce n’est une technologie qui te permet de gagner en performance dans des jeux et ici on s’est justement servi de ICAT pour regarder l’impact de cette technologie sur la qualité visuelle des jeux.

      • Là c’est définitivement clair. Merci beaucoup. Je suis parti trop loin ! J’avais rien compris.
        Donc, si équipé NVidia, j’utilise les technologies DLSS dans les jeux compatibles et CUDA dans les logiciels compatibles (accélération matériel).

    4. Merci pour toutes ces infos claires.
      Si je résume, l utilisateur investit dans un écran 4k et après upscaler l’image car les cartes graphiques ne suivent pas. Autant rester sur un bon écran 1080p natif!
      Un bon écran 27″ en 1080p à 120Hz ou 144Hz cest aussi bien et une bonne 1080ti ça passe crème.
      A l’époque de Doom, Duke Nukem 3d sous Dos si on arrivait à afficher du 320 on était très content.

    LAISSER UN COMMENTAIRE

    Please enter your comment!
    Please enter your name here

    Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.