Chimera permite generar vídeos con personajes que hablan, gesticulan y expresan emociones utilizando Eleven v4 y Seedance 2.5
ElevenLabs continúa ampliando sus herramientas más allá de la generación de voces.
La compañía ha presentado Chimera, un nuevo flujo de trabajo dentro de ElevenCreative que permite convertir un personaje en un vídeo en el que habla, gesticula y expresa diferentes emociones a partir de unas instrucciones escritas por el usuario.
La principal novedad no está en un nuevo modelo de inteligencia artificial, sino en combinar dentro de una misma herramienta dos tecnologías diferentes: Eleven v4, responsable de generar la voz, y Seedance 2.5, utilizado para crear el vídeo.
El usuario puede partir de la imagen de un personaje, escribir lo que quiere que diga, seleccionar su voz y definir cómo debe interpretar la escena.
Chimera se encarga posteriormente de combinar todos esos elementos para producir el vídeo.
Hasta ahora este tipo de trabajo normalmente obligaba a generar la voz por un lado, producir o animar el personaje por otro y posteriormente sincronizar ambos elementos.
ElevenLabs quiere reducir todo ese proceso a un único flujo creativo.
De una imagen a un personaje hablando
El funcionamiento de Chimera comienza con la creación del personaje.
El usuario puede proporcionar una imagen existente o crear el personaje que posteriormente aparecerá en el vídeo. A partir de ahí se introduce el diálogo que queremos que pronuncie y se selecciona o diseña una voz adecuada.
Aquí entra en funcionamiento Eleven v4. El modelo de voz de ElevenLabs permite introducir indicaciones para modificar la interpretación del texto. Podemos pedir que determinadas palabras se pronuncien susurrando, gritando, riendo o con otras expresiones.
No se trata simplemente de convertir texto en audio. El objetivo es proporcionar una interpretación que después pueda trasladarse al personaje que aparece en pantalla.
La voz también dirige la interpretación del personaje
Esta es precisamente una de las partes más interesantes de Chimera.
La información emocional generada mediante Eleven v4 se utiliza junto al vídeo producido mediante Seedance 2.5 para conseguir que la interpretación visual resulte coherente con la voz.
Si el personaje susurra, ríe o grita, el objetivo es que su comportamiento en pantalla acompañe esa interpretación.
Seedance se ocupa además de elementos relacionados con la generación del vídeo, como los movimientos del personaje, el entorno, la iluminación o el comportamiento de la cámara.
El resultado pretende que imagen y sonido parezcan formar parte de una misma actuación, en lugar de simplemente colocar posteriormente una pista de audio sobre un vídeo generado mediante inteligencia artificial.
Chimera simplifica uno de los procesos más complicados del vídeo con IA
La sincronización entre diferentes herramientas se ha convertido en uno de los principales problemas de los nuevos flujos creativos mediante inteligencia artificial.
Podemos utilizar una herramienta para generar una imagen, otra para convertirla en vídeo, una tercera para crear la voz y posteriormente otra solución para conseguir una sincronización labial convincente.
Cada paso añade tiempo y aumenta la posibilidad de que el resultado final no sea coherente.
La propuesta de Chimera consiste precisamente en reunir buena parte de ese proceso dentro de ElevenCreative.
El usuario proporciona los materiales y las instrucciones y la plantilla organiza los diferentes modelos necesarios para obtener el resultado.
Esto también reduce la barrera de entrada para personas que quieren crear vídeos mediante inteligencia artificial pero no quieren aprender a configurar diferentes herramientas y trasladar archivos continuamente entre ellas.
ElevenLabs utiliza Seedance 2.5 para generar el vídeo
Hay una diferencia importante que conviene aclarar. Chimera no es un nuevo modelo de generación de vídeo desarrollado por ElevenLabs.
La compañía utiliza su tecnología Eleven v4 para generar la voz y recurre a Seedance 2.5, desarrollado por ByteDance, para la parte visual.
Chimera es la plantilla o flujo de trabajo que conecta ambas tecnologías dentro de ElevenCreative.
Esta estrategia resulta especialmente interesante porque muestra hacia dónde están evolucionando muchas plataformas de inteligencia artificial: en lugar de intentar desarrollar internamente todos los modelos necesarios, pueden combinar diferentes tecnologías especializadas y ofrecer al usuario un único proceso.
Lo importante deja de ser qué modelo estamos utilizando en cada momento y pasa a ser conseguir el resultado final sin tener que preocuparnos por toda la infraestructura que funciona detrás.
Vídeos cortos pensados para redes sociales y contenido digital
Chimera está especialmente orientado a la creación de clips relativamente cortos.
Seedance 2.5 permite trabajar con vídeos cuya duración puede situarse entre unos pocos segundos y aproximadamente medio minuto, dependiendo de la configuración y de la duración del audio generado.
Esto hace que la herramienta pueda resultar especialmente interesante para publicaciones en redes sociales, anuncios, pequeños vídeos explicativos, personajes virtuales o contenido promocional.
También abre posibilidades para crear presentadores digitales sin necesidad de grabar físicamente a una persona cada vez que queremos producir una nueva pieza.
Un creador podría mantener siempre el mismo personaje y la misma voz y limitarse a modificar el guion de cada vídeo.
Crear personajes virtuales empieza a ser mucho más sencillo
Este es probablemente el aspecto más interesante de Chimera.
Hasta hace poco, mantener un personaje digital consistente que además hablase de forma convincente requería conocimientos técnicos y varias herramientas.
Ahora podemos acercarnos a un proceso mucho más sencillo: crear el personaje, asignarle una voz, escribir un guion y describir cómo queremos que se comporte.
Esto puede tener aplicaciones evidentes para empresas y creadores.
Una marca podría desarrollar un personaje virtual para sus redes sociales. Una empresa podría utilizar un avatar para explicar productos. Un creador podría producir pequeñas historias sin actores ni grabaciones.
Incluso determinados vídeos formativos podrían generarse a partir de un guion sin necesidad de preparar una sesión de grabación.
La calidad y consistencia entre generaciones seguirán siendo factores importantes, especialmente cuando pretendamos mantener exactamente el mismo personaje durante numerosos vídeos, pero el proceso necesario para intentarlo es cada vez más accesible.
Chimera está disponible dentro de ElevenCreative
Chimera puede utilizarse como una plantilla dentro de ElevenCreative.
El usuario introduce los elementos necesarios, puede consultar previamente el coste estimado de la generación y posteriormente acceder al resultado desde el historial de la plataforma.
Las plantillas pueden explorarse desde los diferentes planes de ElevenLabs, aunque para realizar generaciones de vídeo es necesaria una suscripción de pago.
También existen limitaciones geográficas relacionadas con los modelos utilizados. Seedance 2.5, por ejemplo, no está disponible actualmente para los usuarios de ElevenLabs situados en Estados Unidos.
ElevenLabs ya no quiere dedicarse solamente a generar voces
El lanzamiento también permite ver claramente cómo está evolucionando ElevenLabs.
La compañía se hizo conocida principalmente por la calidad de sus voces generadas mediante inteligencia artificial. Pero la voz puede convertirse ahora en una pieza dentro de algo mucho mayor.
Chimera utiliza precisamente esa ventaja para entrar en la creación audiovisual.
ElevenLabs no necesita desarrollar necesariamente el mejor generador de vídeo si puede combinar sus modelos de voz con tecnologías como Seedance y ofrecer una experiencia sencilla desde una única plataforma.
Para el usuario, además, la diferencia puede ser enorme.
Ya no necesitamos pensar en generar una voz, descargarla, crear posteriormente un vídeo y conseguir que ambos elementos encajen.
Podemos pensar simplemente en algo mucho más natural: crear un personaje, escribir lo que queremos que diga y dejar que la inteligencia artificial lo interprete.