Hace tiempo que NVIDIA nos sorprende con diversas aplicaciones de sus procesadores gráficos en el ámbito de la inteligencia artificial, y una nueva red neuronal es ahora capaz de generar vídeos a cámara lenta realmente llamativos de vídeos convencionales.
Es cierto que en los últimos tiempos muchos smartphones ofrece modos de grabació na cámara súperlenta (el Xperia XZ2 es uno de los referentes aquí), pero la tecnología de NVIDIA consigue ir más allá y ralentizar cualquier vídeo creando fotogramas de la nada por interpolación. El resultado, como podéis ver en el siguiente vídeo, es realmente fantástico.
Creando fotogramas (casi) de la nada
Los responsables de NVIDIA han colaborado con científicos de la Universidad de Massachusetts en Amherst y la Universidad de California en Merced para crear una red neuronal no supervisada capaz de crear un número arbitrario de fotogramas intermedios que permiten "crear la ilusión" de que las tomas se han grabado a cámara lenta.
Esa red neuronal de convolución (CNN) se encarga de estimar el patrón de movimiento de los diferentes objetos de la escena entre un fotograma y otro del vídeo original, a partir de lo cual se genera uno o varios fotogramas intermedios con los que se simula el efecto de cámara lenta.
Los creadores del algoritmo incluso alimentaron esta red con vídeos a cámara lenta del canal de YouTube The Slow Mo Guys, y tras entrenar al sistema con 11.000 vídeos de todo tipo lograron obtener un algoritmo realmente llamativo a la hora de generar esos vídeos a cámara lenta (o vídeos aún más a cámara lenta a partir de vídeos que ya lo estaban) desde una fuente de vídeo en velocidad normal.
Parece no obstante que esta tecnología no será fácil que llegue a los hogares: no está optimizada y hacer que funcione en tiempo real es hoy por hoy muy complejo. De hecho, los investigadores creen que para cuando quisieran presentarla para el público general esperan que ya esté presente en dispositivos y aplicaciones que se beneficien del proceso en la nube.
Vía | VentureBeat
En Xataka | En NVIDIA creen que la ley de Moore ha muerto: sus GPUs son la alternativa en muchos campos
Ver 16 comentarios
16 comentarios
Bacon.exe
Pues a ver si remasterizan todo Star Wars a 60 fps
jorgecrce
Que pasada. Evidentemente tardará en llegar a usos demosticos, pero es genial para aplicaciones en televisión, deportes, o incluso investigaciones policiales. Enhorabuena al equipo de Nvidia.
josemicoronil
Dentro de no demasiado tiempo seguramente veremos sistemas de compresión de vídeo usando eso, especialmente cuando tengamos un ancho de banda limitado y queramos comprimir vídeo 8K ó 16K con 10 bits de profundidad de color y HDR, y eso prácticamente está a la vuelta de la esquina.
Un saludo !
srtarec
En un futuro la interpolacion borrara el interes de tener tarjetas de gama alta ya que moveras a 240 fps lo que sea con una grafica poco potente..o ya se puede pero no conviene para seguir haciendo viable la venta de tarjetas graficas?? mmm no se porque la verdad tampoco soy un experto en el tema, que opinais?
Usuario desactivado
"Casi perfectos"
Pues debo tener una vista envidiable porque anda que no noto la interpolación cutre salchichera xD
A mi me parece de todo menos perfecto.
blackmix
Esto ya existe en forma de plugins y desde hace unos cuentos años.
pableta
Esto existe de hace 8 años y se llama twixtor. https://vimeo.com/13557939
applepro
Esto ya lo puedes hacer con la aplicación Final Cut y su herramienta de Flujo Óptico... no veo muy bien el avance
JuanAnt
Impresionante!
nadadenada
Campo de aplicación: Cine, televisión, publicidad y espectáculos diversos.