SeedVR2 : passer une vidéo de 480p à 1080p en local

👁 119 lectures

J’ai testé SeedVR2 comme dernière étape de traitement d’une vidéo générée par IA, après correction de la synchronisation labiale. La variante 7B fp8 a fait passer la vidéo de 832 × 480 à 1872 × 1080, en 1034 secondes de calcul pour 20 secondes de contenu. La comparaison avant-après montre surtout des changements autour du visage, des lunettes et des vêtements. C’est une finition utile pour un plan sélectionné, mais pas une solution pour corriger toutes les erreurs de génération.

D’où vient la vidéo en 480p

Le point de départ était un extrait de la chanson « Quand je joue à ma façon » (titre traduit du polonais), également utilisé pour comparer des modèles de synchronisation labiale. L’image a d’abord été générée avec Seedance 2.5 via une API. J’ai ensuite traité la vidéo avec InfiniteTalk en local, en mode V2V. Cette étape a amélioré la synchronisation des mouvements de bouche avec le chant, mais a produit une vidéo en 832 × 480. Le test a été réalisé en polonais.

Ce choix d’ordre répondait à un objectif précis. Seedance a fourni une base visuellement attrayante, mais a obtenu un score de synchronisation de 0,153. Après traitement par InfiniteTalk V2V, le résultat est passé à 0,366. Je me suis occupé de la résolution seulement ensuite. Agrandir plus tôt un plan que je n’avais pas encore validé aurait pu me faire perdre du temps à améliorer les détails d’une vidéo qui aurait de toute façon nécessité un nouveau traitement.

J’ai donc choisi un extrait prêt à être finalisé, plutôt que l’ensemble brut des générations. C’est une méthode que je reprendrais pour un montage plus long : évaluer d’abord la scène, les expressions et la synchronisation avec la musique, puis passer au traitement de l’image, plus coûteux en calcul. Un upscaler ne peut pas déterminer si le plan lui-même convient à la chanson.

SeedVR2 7B fp8 : résultats du test

Je considère ce temps comme le résultat de cette exécution précise sur ma propre carte RTX 4090, et non comme une garantie de performances pour n’importe quelle vidéo. La durée, les dimensions, la gestion de la mémoire ou les paramètres de traitement peuvent modifier le comportement de l’ensemble de la tâche. Le rapport ne comprend pas de série d’essais qui permettrait de décrire ces effets avec des chiffres.

Le terme « 1080p » mérite aussi une précision. Dans ce cas, il désigne la hauteur de l’image ; le résultat réel mesure 1872 × 1080. Je ne remplace pas la largeur par une valeur conventionnelle et je ne prétends pas que l’image a été recadrée. Lors de l’intégration de la vidéo à un projet de montage, je vérifierais son adaptation au canevas pour éviter d’étirer le personnage.

Avant-après : ce que montre la comparaison

Dans la comparaison, l’image de gauche est plus floue. Les contours des lunettes, les bords du chapeau et la zone autour de la bouche présentent des transitions moins nettes. À droite, les montures, la barbe et la texture du sweat sont plus faciles à distinguer. La différence est particulièrement visible lorsque je me concentre sur le visage, plutôt que sur les couleurs générales de la scène.

Je ne présente pas cela comme la récupération de détails réels à partir d’un enregistrement original. La vidéo a été générée, et SeedVR2 reconstruit les détails. Une texture plus nette peut sembler convaincante sans reproduire fidèlement quelque chose qui existait avant la génération. Pour un visage, je vérifie donc surtout la cohérence du personnage, la forme de la bouche et l’apparence des lunettes.

Une comparaison fixe suffit à montrer la lisibilité des détails sur une image choisie. Elle ne permet toutefois pas, à elle seule, de confirmer la stabilité en mouvement. Je n’en déduis ni l’absence de scintillement dans toute la vidéo ni une parfaite uniformité entre toutes les images. Cette distinction évite de juger une vidéo uniquement à partir d’une capture attrayante.

Comment intégrer l’upscaling dans ComfyUI

La famille d’outils utilisée dispose d’une intégration ComfyUI-SeedVR2_VideoUpscaler. Le workflow décrit utilise SeedVR2LoadDiTModel, SeedVR2LoadVAEModel et SeedVR2VideoUpscaler. Il mentionne séparément SeedVR2TorchCompileSettings, qui est facultatif. Je ne considère pas ce dernier comme un fichier de poids supplémentaire à télécharger.

Dans la pratique, je relie la vidéo d’entrée validée au chargeur du modèle et du VAE appropriés, puis je règle la hauteur de sortie. Mes notes de test indiquent l’appel d’un utilitaire local : python klip.py upscale <klip.mp4> 1080. Il s’agit de l’interface du script utilisé pour le test, et non d’une commande universelle disponible après la simple installation de l’extension.

Je ne fournis pas de préréglage complet comme s’il avait été testé, car le rapport n’en contient pas. Il confirme la variante 7B fp8, la résolution, la durée et la place de cette étape dans le processus. Une fiche antérieure de l’outil décrit également les fichiers de la variante 3B. Je ne confonds pas la taille de ces points de contrôle avec celle du modèle utilisé pour le test.

Mémoire et paramètres : pistes ou résultats mesurés ?

La fiche de SeedVR2 décrit le déchargement vers le processeur, le remplacement de blocs et le traitement par tuiles du VAE comme des moyens de limiter la pression sur la mémoire de la carte graphique. J’en tiens compte lors de la conception de mon propre graphe, sans leur attribuer de gain de temps précis. Le test ne compare pas différents paramètres et ne mesure pas l’utilisation maximale de la mémoire vidéo ou de la mémoire vive.

En cas de manque de mémoire, je commencerais par séparer les étapes de travail et limiter le nombre de modèles chargés simultanément. Je vérifierais ensuite les paramètres d’échange de blocs, la taille du lot traité et les dimensions de l’image de sortie. Ce sont des pistes de diagnostic tirées de la documentation, pas une liste de problèmes survenus lors de l’exécution décrite. Je ne les présente pas comme des corrections que j’aurais effectuées.

Pour une vidéo plus longue, je répartirais le travail par plans validés. Une quantité de mémoire vidéo disponible ne prouve pas que l’ensemble tiendra dans la mémoire système. Je ne réduirais pas non plus la taille des lots sans vérifier les conséquences sur la cohérence temporelle. Économiser de la mémoire n’a de sens que si le résultat reste exploitable au montage.

Ce que l’upscaling n’a pas amélioré lors du test

Je ne dispose pas d’une mesure séparée montrant une amélioration de la synchronisation après SeedVR2. Le tableau des résultats pour cette étape renvoie à la valeur antérieure. Ma conclusion reste donc limitée : InfiniteTalk V2V a amélioré la synchronisation labiale, tandis que SeedVR2 a augmenté la résolution et modifié les détails de l’image. Je ne transforme pas ces résultats en promesse de correction automatique du chant.

Je n’attribue pas non plus à l’upscaler un changement de fréquence d’images. L’interpolation des images est une tâche distincte, décrite dans la documentation avec RIFE. Elle ne faisait pas partie de ce test de SeedVR2. De même, une meilleure netteté ne corrige pas automatiquement les mains, un instrument erroné ou un mouvement peu convaincant. J’évalue ces problèmes avant de choisir une vidéo à finaliser.

Coût et licence : les critères à prendre en compte

L’étape d’upscaling a sollicité du matériel local, et le relevé de coût mentionne l’électricité. Je n’ai pas mesuré la consommation, donc je ne donne pas de prix par vidéo. Le processus complet comprenait auparavant Seedance, un service payant : parler d’« upscaling local » ne signifie pas que la vidéo finale a été produite sans dépense lors des étapes précédentes.

Dans le relevé d’origine, le dépôt de l’intégration SeedVR2 et le projet officiel SeedVR sont indiqués sous licence Apache-2.0. J’ai vérifié ces informations séparément des paramètres du test. Pour choisir des poids et des extensions supplémentaires, je vérifie les conditions applicables à chaque composant. Les droits sur le code ne remplacent pas non plus les droits sur les images et la musique que je traite.

Questions fréquentes

SeedVR2 a-t-il produit une vidéo en 1080p ?

Oui, le résultat mesure 1872 × 1080. J’indique les dimensions complètes, car la seule mention de la résolution cible ne décrit pas les proportions. À l’export, je vérifierais que la vidéo s’adapte au projet sans étirer le visage.

La variante 7B fp8 est-elle meilleure que la 3B ?

Je ne les ai pas comparées directement sur cette vidéo. Le rapport documente l’utilisation de 7B fp8. Je ne déduis pas un classement de qualité ou de vitesse du seul nom d’un modèle plus grand.

Peut-on se contenter d’évaluer une seule image ?

Non. J’ai vérifié les détails sur une image, mais il faut regarder la vidéo en mouvement et l’écouter avant de valider tout le plan. En particulier autour de la bouche, une image plus nette peut rendre une erreur antérieure encore plus visible.

Quand réutiliserais-je SeedVR2 ?

Après avoir validé la scène et l’avoir visionnée, si la faible résolution limite l’utilisation de la vidéo au montage. Ce test justifie cette étape de finition, mais ne donne pas de raison d’agrandir chaque version générée sans la sélectionner au préalable.

La vidéo du test a été générée avec Seedance, puis a bénéficié d’une correction locale de la synchronisation labiale dans ComfyUI. Je présente d’autres modèles à exécuter sur son propre matériel dans le guide L’IA en local.

// lire la suiteKandinsky 6.0 Video : générer une vidéo avec son en localBenchmarksYuE2 : test de 4 générateurs de musique par IA en localBenchmarksGemma 4 31B en local sur RTX 4090 : performances et VRAMBenchmarks