Tutorial remasterización de video -ComfyUI- Básico
Tutoriales / Cursos - ernestleft
2024-06-11 06:10:04
Tutorial remasterización de video en ComfyUI - Básico
Introducción:
Hola amigos de Identi, en el día de hoy les vengo a compartir una guia básica hecha por mí, para que los que no saben al respecto aprendan a remasterizar sus videos de forma especializada para cada tipo de problema que buscamos resolver, hay herramientas más sencillas de utilizar como Waifu2x-Extension-GUI y otras de pago como Topaz Video AI, si eres de las personas que buscan solo poner el video de entrada y obtener un resultado, esta guia no es para ti y mejor utiliza las herramientas antes mencionadas, en cambio esta guia es para todo el que quiere profundizar en como estas herramientas hacen ese trabajo de remasterización y poder personalizar este proceso para lograr un mejor resultado de acuerdo al material siendo procesado en ese momento.
Utilizaremos ComfyUI, una herramienta de código abierto que por su forma de trabajar por nodos a abarcado desde la generación de imágenes con IA, a generación de audio y LLMs y no deja de crecer.
Que necesitas?
(Buscar con google si necesitan link, es por lo general el primer resultado.)
-Es recomendable una tarjeta gráfica, ComfyUI puede funcionar con el CPU pero toma considerablemente una mayor cantidad de tiempo y se necesitará más RAM.
Esta guía fue realizada con una vieja Nvidia 1060 3GB.
-ComfyUI
Es la principal herramienta que utilizaremos, está en github.
-Openmodeldb
Aqui es la base de datos, el catálogo por así decirlo. Donde podemos elegir los modelos que vamos a utilizar.
-ComfyUI-Manager
Esta extensión para Comfyui ayuda en una infinidad de tareas dentro de comfyui desde encontrar nodos no instalados e instalarlos, hasta encontrar modelos, loras, controlnets y demás.
-rgthree-comfy
Principalmente para utilizar la herramienta para comparar imágenes.
-ComfyUI-VideoHelperSuite
Cargar videos en forma de batch de imagenes (algo asi como poner las imagenes en fila para ser procesadas una a una). Tambien sirve para guardar los videos entre muchas otras cosas.
Cómo empezar?
-Descarga ComfyUI, instala ComfyUI-Manager, y en ComfyUI-Manager instala rgthree-comfy.
Siguiendo las instrucciones de sus respectivos repositorios no deberían tener problema en tener todo funcionando.
-Recomiendo usar la configuración "--force-fp16" en "run_nvidia_gpu.bat" ya que evita conflictos de si el modelo esta en fp16 y el sampler en fp32, etc.
-Limpia el workflow inicial
(ya que no vamos a generar imágenes desde 0)
-Prepara el video que quieres procesar, de ser un video largo, lo mejor es separar por escenas, pero si sabes que la calidad es constante y no tiene problemas en tramos especifico del video, entonces puedes utilizar "Load Video (Upload)" de "VideoHelperSuite", que les permite cargar el video. Con doble click se busca.
cargas el video con:
hacer los ajustes necesarios usando el "frame load cap" a "1" osea una imagen y si necesitan avanzar la imagen a otro momento usan "skip first frames", devolver a 0 para cuando quieres procesar todo el video.
-Encontrar el modelo correcto.
Hay todo tipo de modelos, unos son "1x" esto quiere decir que no hacen la imagen más grande, si tienes por ejemplo 720p al momento de entrar, saldrá de los mismos 720p pero con la imagen procesada para la finalidad del modelo, ya sea reducir ruido, reducir bleeding o más.
Ejemplos de 1x:
1x-VHS-Sharpen
Es recomendado para agregar detalles a cintas que no presentan deterioro, pero les falta detalle.
Agrega detalles a la piel.
1x-BleedOut-Compact
Reduce el aura oscura que se presenta en contornos y líneas en caricaturas antiguas.
Hay modelos 2x, 4x (muy buenos) y hasta 16x (no muy buenos por el momento.. a mi parecer).
Ejemplos de 2x:
2x-Pooh-V4
Aumenta al doble del tamaño mientras mantiene los detalles.
2x-Evangelion-dat2
Aumenta al doble del tamaño y mantiene las líneas definidas.
2x-ModernSpanimationV1
Aumenta al doble del tamaño mientras reduce lo borroso.
Ejemplos de 4x:
4x-Textures-GTAV-rgt-s
Aumenta cuatro veces el tamaño de la imagen original.
4x-ClearRealityV1
Aumenta cuatro veces el tamaño de la imagen original, ideado para imágenes realistas.
4x-LexicaDAT2-otf
Aumenta cuatro veces el tamaño de la imagen original y agrega detalles.
Ejemplos de 16x:
16x-ESRGAN
Aumenta 16 veces el tamaño de la imagen original.
-Todo modelo que te interesa debe ir guardado en el directorio de "ComfyUI - models - upscale_models" antes de que inicies ComfyUI, en caso de que recién lo descargues, debes refrescar la página para que aparezcan.
-Ahora carga tu model upscaler
-Ahora carga tu imagen/video al model upscaler
-Compara la entrada y la salida de imagen, lo más sensato es comenzar con un frame y utilizar el nodo "Image Comparer (rgthree)" de rgthree-comfy .
-Ahora presionar "queue prompt"
-Cuando tienen el resultado en una imagen y les satisface, agregan "Video Combine"
-No olvidar devolver "frame_load_cap" a 0 en "Load Video (Upload)" para cuando quieres procesar todo el video.
-Para hacer coincidir los fps del video de entrada y de salida para evitar desfases de audio, al nodo "Video Combine" le pueden convertir a entrada el apartado "frame_rate"
-y le pasan directamente la información del video inicial, también pueden elegir guardar en distintos formatos.
-puedes encadenar (unir uno tras otro) los "Upscale Image (using Model)" para en un solo proceso, hacer distintos trabajos de restauración.
-Puedes deshabilitar cualquier nodo seleccionado presionando ctr+b o menú click derecho y "bypass".
Conclusión:
ComfyUI es una herramienta multi-propósito que funciona como base, para utilizar una gama aún más amplia de herramientas desarrolladas por los usuarios, que le da virtualmente aplicaciones infinitas.
Puedes encontrar nodos para aplicar LUTs (syllebra/bilbox-comfyui), para transcribir (ForeignGods/ComfyUI-Mana-Nodes), para corrección de color (kijai/ComfyUI-KJNodes), y si seguimos en la lista no terminamos.
Aclaración:
-Puedes hacer un video tutorial?
No. Hay muchos en youtube.
-Por que mi ComfyUI no se ve igual al tuyo?
Mi ComfyUI tiene mas de 40 Extensiones/Nodos adicionales que modifican/facilitan varias funciones.
Descarga:
Adjunto un archivo .json con el que puedes cargar el workflow (flujo de trabajo) que utilizamos en el tutorial. Tomar este workflow como no más que una guía y explora por ti mismo.
Para abrir el workflow solamente se arrastra a la ventana de ComfyUI. (no la de cmd).
Introducción:
Hola amigos de Identi, en el día de hoy les vengo a compartir una guia básica hecha por mí, para que los que no saben al respecto aprendan a remasterizar sus videos de forma especializada para cada tipo de problema que buscamos resolver, hay herramientas más sencillas de utilizar como Waifu2x-Extension-GUI y otras de pago como Topaz Video AI, si eres de las personas que buscan solo poner el video de entrada y obtener un resultado, esta guia no es para ti y mejor utiliza las herramientas antes mencionadas, en cambio esta guia es para todo el que quiere profundizar en como estas herramientas hacen ese trabajo de remasterización y poder personalizar este proceso para lograr un mejor resultado de acuerdo al material siendo procesado en ese momento.
Utilizaremos ComfyUI, una herramienta de código abierto que por su forma de trabajar por nodos a abarcado desde la generación de imágenes con IA, a generación de audio y LLMs y no deja de crecer.
Que necesitas?
(Buscar con google si necesitan link, es por lo general el primer resultado.)
-Es recomendable una tarjeta gráfica, ComfyUI puede funcionar con el CPU pero toma considerablemente una mayor cantidad de tiempo y se necesitará más RAM.
Esta guía fue realizada con una vieja Nvidia 1060 3GB.
-ComfyUI
Es la principal herramienta que utilizaremos, está en github.
Cita: Mostrar
-Openmodeldb
Aqui es la base de datos, el catálogo por así decirlo. Donde podemos elegir los modelos que vamos a utilizar.
Cita: Mostrar
-ComfyUI-Manager
Esta extensión para Comfyui ayuda en una infinidad de tareas dentro de comfyui desde encontrar nodos no instalados e instalarlos, hasta encontrar modelos, loras, controlnets y demás.
Cita: Mostrar
-rgthree-comfy
Principalmente para utilizar la herramienta para comparar imágenes.
Cita: Mostrar
-ComfyUI-VideoHelperSuite
Cargar videos en forma de batch de imagenes (algo asi como poner las imagenes en fila para ser procesadas una a una). Tambien sirve para guardar los videos entre muchas otras cosas.
Cita: Mostrar
Cómo empezar?
-Descarga ComfyUI, instala ComfyUI-Manager, y en ComfyUI-Manager instala rgthree-comfy.
Siguiendo las instrucciones de sus respectivos repositorios no deberían tener problema en tener todo funcionando.
-Recomiendo usar la configuración "--force-fp16" en "run_nvidia_gpu.bat" ya que evita conflictos de si el modelo esta en fp16 y el sampler en fp32, etc.
-Limpia el workflow inicial
(ya que no vamos a generar imágenes desde 0)
-Prepara el video que quieres procesar, de ser un video largo, lo mejor es separar por escenas, pero si sabes que la calidad es constante y no tiene problemas en tramos especifico del video, entonces puedes utilizar "Load Video (Upload)" de "VideoHelperSuite", que les permite cargar el video. Con doble click se busca.
cargas el video con:
hacer los ajustes necesarios usando el "frame load cap" a "1" osea una imagen y si necesitan avanzar la imagen a otro momento usan "skip first frames", devolver a 0 para cuando quieres procesar todo el video.
-Encontrar el modelo correcto.
Hay todo tipo de modelos, unos son "1x" esto quiere decir que no hacen la imagen más grande, si tienes por ejemplo 720p al momento de entrar, saldrá de los mismos 720p pero con la imagen procesada para la finalidad del modelo, ya sea reducir ruido, reducir bleeding o más.
Ejemplos de 1x:
1x-VHS-Sharpen
Es recomendado para agregar detalles a cintas que no presentan deterioro, pero les falta detalle.
1xSkinContrast-HighAlternative-SuperUltraCompactCita: Mostrar
Agrega detalles a la piel.
Cita: Mostrar
1x-BleedOut-Compact
Reduce el aura oscura que se presenta en contornos y líneas en caricaturas antiguas.
1x-Bendel-HalftoneCita: Mostrar
Cita: Mostrar
Hay modelos 2x, 4x (muy buenos) y hasta 16x (no muy buenos por el momento.. a mi parecer).
Ejemplos de 2x:
2x-Pooh-V4
Aumenta al doble del tamaño mientras mantiene los detalles.
Cita: Mostrar
2x-Evangelion-dat2
Aumenta al doble del tamaño y mantiene las líneas definidas.
Cita: Mostrar
2x-ModernSpanimationV1
Aumenta al doble del tamaño mientras reduce lo borroso.
Cita: Mostrar
Ejemplos de 4x:
4x-Textures-GTAV-rgt-s
Aumenta cuatro veces el tamaño de la imagen original.
Cita: Mostrar
4x-ClearRealityV1
Aumenta cuatro veces el tamaño de la imagen original, ideado para imágenes realistas.
Cita: Mostrar
4x-LexicaDAT2-otf
Aumenta cuatro veces el tamaño de la imagen original y agrega detalles.
Cita: Mostrar
Ejemplos de 16x:
16x-ESRGAN
Aumenta 16 veces el tamaño de la imagen original.
Cita: Mostrar
-Todo modelo que te interesa debe ir guardado en el directorio de "ComfyUI - models - upscale_models" antes de que inicies ComfyUI, en caso de que recién lo descargues, debes refrescar la página para que aparezcan.
-Ahora carga tu model upscaler
-Ahora carga tu imagen/video al model upscaler
-Compara la entrada y la salida de imagen, lo más sensato es comenzar con un frame y utilizar el nodo "Image Comparer (rgthree)" de rgthree-comfy .
-Ahora presionar "queue prompt"
-Cuando tienen el resultado en una imagen y les satisface, agregan "Video Combine"
-No olvidar devolver "frame_load_cap" a 0 en "Load Video (Upload)" para cuando quieres procesar todo el video.
-Para hacer coincidir los fps del video de entrada y de salida para evitar desfases de audio, al nodo "Video Combine" le pueden convertir a entrada el apartado "frame_rate"
-y le pasan directamente la información del video inicial, también pueden elegir guardar en distintos formatos.
-puedes encadenar (unir uno tras otro) los "Upscale Image (using Model)" para en un solo proceso, hacer distintos trabajos de restauración.
-Puedes deshabilitar cualquier nodo seleccionado presionando ctr+b o menú click derecho y "bypass".
Conclusión:
ComfyUI es una herramienta multi-propósito que funciona como base, para utilizar una gama aún más amplia de herramientas desarrolladas por los usuarios, que le da virtualmente aplicaciones infinitas.
Puedes encontrar nodos para aplicar LUTs (syllebra/bilbox-comfyui), para transcribir (ForeignGods/ComfyUI-Mana-Nodes), para corrección de color (kijai/ComfyUI-KJNodes), y si seguimos en la lista no terminamos.
Aclaración:
-Puedes hacer un video tutorial?
No. Hay muchos en youtube.
-Por que mi ComfyUI no se ve igual al tuyo?
Mi ComfyUI tiene mas de 40 Extensiones/Nodos adicionales que modifican/facilitan varias funciones.
Descarga:
Adjunto un archivo .json con el que puedes cargar el workflow (flujo de trabajo) que utilizamos en el tutorial. Tomar este workflow como no más que una guía y explora por ti mismo.
Tutorial para descargar con Jdownloder
Para abrir el workflow solamente se arrastra a la ventana de ComfyUI. (no la de cmd).
Otras publicaciones
video_library