OpenAI ha presentado Sora, su nuevo modelo impulsado por Inteligencia Artificial (IA) generativa capaz de crear escenas realistas de vídeo de hasta 60 segundos a partir de instrucciones de texto, con un resultado detallado, un movimiento de cámara complejo y múltiples personajes con emociones.
La tecnológica estadounidense pretende continuar avanzando en las capacidades de la IA, en concreto, entrenando modelos que ayuden a las personas a resolver problemas que requieran interacción con el mundo real. Para ello, ha estado trabajando en formas de enseñar a la IA a comprender y simular el mundo físico en movimiento.
Como resultado, OpenAI ha presentado Sora, su nuevo modelo de IA de texto a vídeo, con el que permite la creación de vídeos realistas de hasta un minuto de duración a partir de las indicaciones de texto que aporte el usuario.
Así, tal y como ha detallado la compañía en su web y ha compartido a través de una publicación en X (antigua Twitter), Sora permite la creación de vídeos con escenas «altamente detalladas», así como con un movimiento de cámara «complejo» y la integración de múltiples personajes que, incluso, muestran emociones.
Para la creación de estos vídeos, los usuarios tan solo deberán escribir una serie de indicaciones detallando qué características tiene que incluir la escena, como los personajes y las acciones que llevarán a cabo, el entorno, el clima, y los movimientos de cámara que se deban recrear.
Por ejemplo, uno de los vídeos de muestra que ha compartido OpenAI tiene las siguientes indicaciones: primer plano del parpadeo del ojo de una mujer de 24 años, de pie en Marrakech durante el atardecer, película cinematográfica rodada en 70mm, profundidad de campo, colores vivos, cinematográfico.
En concreto, la compañía dirigida por Sam Altman ha subrayado que el modelo puede llevar a cabo escenas tan precisas porque no solo comprende lo que el usuario solicita en sus indicaciones de texto, sino que también es capaz de comprender cómo existen esas cosas en el mundo físico.
Siguiendo esta línea, se ha de tener en cuenta su amplio conocimiento del lenguaje, lo que permite que Sora interprete todas las indicaciones de texto con «precisión», por ejemplo, creando personajes realistas que expresan «emociones vibrantes».
Introducing Sora, our text-to-video model.
Sora can create videos of up to 60 seconds featuring highly detailed scenes, complex camera motion, and multiple characters with vibrant emotions. https://t.co/7j2JN27M3W
Prompt: “Beautiful, snowy… pic.twitter.com/ruTEWn87vf
— OpenAI (@OpenAI) February 15, 2024
Incluso, Sora es capaz de generar un vídeo a partir de una imagen fija existente, animando el contenido de la imagen con precisión y sin perder detalle. De la misma forma, también permite alargar la duración de un vídeo existente o completar algunos fotogramas.
En cuanto a su funcionamiento, Sora genera un vídeo a partir de otros vídeos que, según OpenAI, parecen «ruido estático». De esta manera, el modelo lo transforma gradualmente eliminando el ruido en muchos pasos, hasta llegar a la visualización de las imágenes realistas.
Asimismo, al igual que los modelos GPT, utiliza una «arquitectura de transformador» con la que, según la compañía, se desbloquea un rendimiento de escalado superior. Concretamente, las imágenes del vídeo se representan como «colecciones de unidades de datos más pequeñas», a las que se refiere como parches. Así, cada parche es el equivalente a un token en GPT.
Por el momento, el uso del nuevo modelo solo está disponible para los miembros del equipo rojo de OpenAI, el equipo dedicado a la investigación del servicio, de cara a ponerlo a prueba y comprobar qué fallos presenta y cuáles son sus posibles riesgos.
Igualmente, Sora también está siendo probado por un grupo de artistas visuales, diseñadores y cineastas, de cara a conocer las posibles mejoras del modelo y hacer que sea lo más útil posible para los profesionales creativos, según ha explicado la compañía.
De hecho, tal y como ha compartido OpenAI, el modelo todavía presenta algunas dificultades para representar cuestiones relacionadas con el espacio, la física o las acciones de causa y efecto. Por ejemplo, si se detalla que en el vídeo debe aparecer una persona mordiendo una galleta, es posible que la galleta aparezca posteriormente en otra escena sin el mordisco.
De la misma forma, también pueden surgir errores como que el modelo mezcle la izquierda con la derecha, o que no sea capaz de seguir una trayectoria de cámara específica.
MEDIDAS DE SEGURIDAD FRENTE A CONTENIDO ENGAÑOSO O DAÑINO
Con todo ello, OpenAI ha subrayado que están tomando varias medidas de seguridad que implementarán en Sora antes de que el modelo esté disponible de forma general para más usuarios. Para ello, están trabajando junto al equipo rojo, que también dispone de expertos en áreas de desinformación, contenido que incita al odio y perjuicios.
Por otra parte, la compañía de Altman está desarrollando herramientas para detectar contenido engañoso. Se trata de una serie de funciones que permitirán clasificar los vídeos generados por Sora, para identificarlos frente a otro tipo de vídeos o vídeos reales. Una de estas funciones es la implementación de metadatos de C2PA, un estándar que verifica el origen del contenido y la información relacionada.
Además de todo ello, actualmente también se están utilizando los métodos de seguridad que ya utilizan otros productos de la tecnológica impulsados por DALL·E 3 que, según ha dicho, también son aplicables a Sora.
Estos métodos de seguridad verifican y rechazan las solicitudes de ingreso de texto que infrinjan las políticas de uso, como es el caso de cuestiones relacionadas con violencia extrema, contenido sexual, imágenes de odio o imágenes personales. Igualmente, también disponen de clasificadores de imágenes que revisan los fotogramas de cada vídeo para garantizar que se cumplan las políticas de la compañía, antes de mostrarlo al usuario.
