Cómo mantener la consistencia de un personaje en imágenes generadas por IA

Que el personaje se vea distinto en cada imagen se debe a que los modelos de difusión tratan cada prompt como una instancia nueva e aislada, sin memoria de las salidas anteriores. Se fuerza la consistencia controlando la ruta de generación, proporcionando referencias visuales y escribiendo descriptores estructurales que anclen las características de identidad.

La causa raíz: por qué los modelos de difusión tratan cada prompt como una instancia nueva

Los modelos de difusión no tienen un estado persistente. Al generar una imagen, el modelo parte de ruido aleatorio y sigue una ruta determinada por el prompt, la semilla aleatoria y los pesos internos del modelo. Si no se controlan estas variables, el modelo interpretará la descripción de manera ligeramente distinta en cada intento.

El problema no es que el modelo «olvide» al personaje. Es que el modelo no tiene el concepto de un personaje como entidad persistente. Solo sabe cómo generar una imagen que coincida con una descripción de texto. Si la descripción es ambigua, el modelo rellena los vacíos con sus propios sesgos estadísticos. Si se describe a una «mujer de pelo rojo», una generación podría colocarle el pelo a la izquierda, otra a la derecha, y otra podría cambiar por completo la textura del cabello. El modelo no está siendo inconsistente; está siendo fiel a una instrucción vaga.

Para resolverlo, hay que pasar de describir un personaje a especificar uno. Esto requiere tres palancas: la semilla, la imagen de referencia y el descriptor estructural.

Las tres palancas de la consistencia: semilla, imagen de referencia y descriptores estructurales

La semilla es el número aleatorio que determina el patrón de ruido inicial. Si se mantiene fija, el modelo sigue la misma ruta por el espacio de ruido. Sin embargo, si se cambia el prompt aunque sea ligeramente, la ruta diverge. La semilla por sí sola no es suficiente.

La imagen de referencia es un anclaje visual. Se proporciona una imagen del personaje y se pide al modelo que la use como guía para la identidad y el estilo. Esto es más potente que el texto porque elude la ambigüedad del lenguaje. El modelo puede ver la forma específica de la nariz, el corte de la chaqueta y el color de los ojos.

El descriptor estructural es una descripción precisa y geométrica de las características de identidad del personaje. En lugar de decir «guay», se dice «gafas asimétricas, lente izquierda agrietada, lente derecha intacta». Esto le da al modelo un objetivo estable al que apuntar.

Uso de valores de semilla para bloquear la ruta de generación

Si se utiliza una herramienta que permite establecer un valor de semilla, como Midjourney o Stable Diffusion, se puede bloquear la ruta de generación. Se comienza con una semilla que produzca una buena imagen base. Luego, se mantiene esa semilla fija mientras se refina el prompt. Esto asegura que los cambios en el prompt no provoquen que el modelo se desvíe hacia una interpretación completamente distinta.

Sin embargo, hay que tener en cuenta que las semillas son frágiles. Si se cambia la relación de aspecto, la versión del modelo o la estructura del prompt, la semilla puede dejar de producir el mismo resultado. Se debe tratar la semilla como un control local, no global. Funciona dentro de una ventana estrecha de parámetros.

Implementación de flujos de trabajo imagen-a-imagen para refinamiento iterativo

El método más fiable para mantener la consistencia es el refinamiento iterativo mediante flujos de trabajo imagen-a-imagen. Se comienza con una buena imagen del personaje. Luego, se utiliza esa imagen como referencia para la siguiente generación. Se ajusta el prompt para cambiar la escena, la pose o la iluminación, manteniendo intactas las características de identidad del personaje.

Herramientas como Adobe Firefly, Krea y Runway se recurren para este tipo de tarea. Permiten subir una imagen específica del personaje y guiar la nueva generación basándose en esa entrada visual. Al usar estas herramientas, se juzga la salida según qué tan bien preserve las características de identidad específicas que importan: la forma de la cara, el estilo de la ropa, la paleta de colores. Si la salida se desvía, se aumenta el peso de la imagen de referencia o se ajustan los descriptores estructurales.

Escritura de descriptores estructurales que anclan las características de identidad

El prompt debe contener descriptores estructurales imposibles de malinterpretar. Se evitan adjetivos subjetivos, como «hermoso», «guay» o «misterioso». En su lugar, se usan descriptores geométricos y específicos.

• «Pelo corto, recortado, con flequillo recto» es mejor que «pelo corto».
• «Una chaqueta de cuero con cuello alto y sin capucha» es mejor que «una chaqueta».
• «Ojos que están muy separados y ligeramente caídos» es mejor que «ojos tristes».

Estos descriptores anclan la identidad. Le dan al modelo un objetivo estable. Si se utiliza Stable Diffusion o ComfyUI, se pueden combinar estos descriptores con el entrenamiento LoRA en conjuntos de datos específicos del personaje. Esto permite que el modelo aprenda los rasgos visuales específicos del personaje y los aplique de manera consistente en diferentes escenas.

Errores comunes: depender demasiado de los nombres frente a especificar poco la geometría

El error más común es depender de un nombre. Si se nombra al personaje «Alice», el modelo no tiene idea de quién es Alice. Generará a una mujer genérica. El nombre es insignificante para el modelo.

El segundo error es especificar poco la geometría. Si se dice «una mujer de ojos azules», el modelo variará la forma de los ojos, el tamaño de las pupilas y el ángulo de la mirada. Hay que especificar la geometría: «ojos en forma de almendra con un leve pliegue del párpado superior».

No se debe confundir identidad con estilo. La identidad es el núcleo estable: la cara, el pelo, el tipo de cuerpo. El estilo es lo variable: la iluminación, el fondo, la pose. El prompt debe separar estos dos elementos. Las características de identidad deben describirse con precisión. Las características de estilo pueden dejarse más abiertas.

Flujo de trabajo: generar una hoja de personaje antes de crear la escena

Antes de crear cualquier escena, se genera una hoja de personaje. Esto es un conjunto de imágenes que muestran al personaje desde múltiples ángulos: frontal, lateral, posterior y primer plano. Se usa una semilla fija y una imagen de referencia fija para generarlas. Se refinan los prompts hasta que la hoja de personaje sea consistente.

Una vez que se tiene una hoja de personaje consistente, se utiliza como referencia para todas las generaciones posteriores. Al crear una escena, se usará la imagen de la hoja de personaje como entrada de referencia. Se ajustará el prompt para describir la escena, pero se mantendrán las características de identidad ancladas por los descriptores estructurales.

Este flujo de trabajo es aplicable entre herramientas. Ya sea que se use Leonardo.ai por sus capacidades de entrenamiento de modelos o DALL-E 3 para la ingeniería detallada de prompts, el principio es el mismo: establecer la identidad primero, luego variar la escena. Si se omite la hoja de personaje, se gastará más tiempo corrigiendo inconsistencias que creando contenido.