Cum să menții consistența personajelor în imaginile generate cu inteligență artificială

Personajele tale arată diferit în fiecare imagine deoarece modelele de difuzie tratează fiecare prompt ca pe o instanță nouă, izolată, fără memorie a ieșirilor anterioare. Forțezi consistența controlând calea de generare, oferind imagini de referință și scriind descriptori structurali care ancorează trăsăturile de identitate.

Cauza principală: de ce modelele de difuzie tratează fiecare prompt ca pe o instanță nouă

Modelele de difuzie nu au o stare persistentă. Când generezi o imagine, modelul pornește de la zgomot aleatoriu și urmează o cale determinată de promptul tău, de sămânța aleatorie și de ponderile interne ale modelului. Dacă nu controlezi aceste variabile, modelul va interpreta descrierea ta într-un mod ușor diferit de fiecare dată.

Problema nu este că modelul „uită” personajul tău. Este că modelul nu are conceptul de personaj ca entitate persistentă. Știe doar să genereze o imagine care să corespundă unei descrieri textuale. Dacă descrierea ta este ambiguă, modelul completează golurile cu propriile sale biasuri statistice. Dacă descrii o „femeie cu păr roșcat”, o generare îi poate plasa părul în stânga, alta în dreapta, iar alta poate schimba complet textura părului. Modelul nu este inconsistent; este fidel unei instrucțiuni vagi.

Pentru a rezolva acest lucru, trebuie să treci de la descrierea unui personaj la specificarea unui personaj. Acest lucru necesită trei pârghii: sămânța, imaginea de referință și descriptorul structural.

Cele trei pârghii ale consistenței: sămânța, imaginea de referință și descriptorii structurali

Sămânța este numărul aleatoriu care determină modelul inițial de zgomot. Dacă menții sămânța fixă, modelul urmează aceeași cale prin spațiul de zgomot. Totuși, dacă modifici promptul chiar și ușor, calea diverge. Doar sămânța nu este suficientă.

Imaginea de referință este o ancoră vizuală. Furnizezi o imagine a personajului și ceri modelului să o folosească drept ghid pentru identitate și stil. Aceasta este mai puternică decât textul deoarece ocolește ambiguitatea limbajului. Modelul poate vedea forma specifică a nasului, tăietura jachetei și culoarea ochilor.

Descriptorul structural este o descriere geometrică precisă a trăsăturilor de identitate ale personajului. În loc să spui „cool”, spui „ochelari asimetrici, lentila stângă crăpată, lentila dreaptă intactă”. Acest lucru oferă modelului o țintă stabilă spre care să se orienteze.

Utilizarea valorilor seed pentru a bloca calea de generare

Dacă utilizezi un instrument care îți permite să setezi o valoare seed, cum ar fi Midjourney sau Stable Diffusion, poți bloca calea de generare. Începe cu un seed care produce o imagine de bază bună. Apoi, păstrează acel seed fix în timp ce rafinezi promptul. Acest lucru asigură faptul că modificările din prompt nu determină modelul să devieze către o interpretare complet diferită.

Totuși, ține cont că seed-urile sunt fragile. Dacă modifici raportul de aspect, versiunea modelului sau structura promptului, seed-ul s-ar putea să nu mai producă același rezultat. Tratează seed-ul ca pe un control local, nu global. Funcționează într-o fereastră îngustă de parametri.

Implementarea fluxurilor de lucru imagine-în-imagine pentru rafinare iterativă

Cea mai fiabilă metodă pentru menținerea consistenței este rafinarea iterativă folosind fluxuri de lucru imagine-în-imagine. Începi cu o imagine bună a personajului. Apoi folosești acea imagine ca imagine de referință pentru următoarea generare. Ajustezi promptul pentru a modifica scena, poza sau iluminarea, păstrând intacte trăsăturile de identitate ale personajului.

Pentru acest tip de sarcină se apelează la instrumente precum Adobe Firefly, Krea și Runway. Acestea îți permit să încarci o imagine specifică a personajului și să ghidezi noua generare pe baza acelui input vizual. Când utilizezi aceste instrumente, judecă rezultatul în funcție de cât de bine păstrează trăsăturile specifice de identitate care te interesează: forma feței, stilul îmbrăcămintei, paleta cromatică. Dacă rezultatul deviază, crește greutatea imaginii de referință sau strânge descriptorii structurali.

Scrierea descriptorilor structurali care ancorează trăsăturile de identitate

Promptul tău trebuie să conțină descriptori structurali imposibil de interpretat greșit. Evită adjectivele subiective, cum ar fi „beautiful”, „cool” sau „mysterious”. În schimb, folosește descriptori geometrici și specifici.

• „Păr scurt, tuns, cu breton drept” este mai bun decât „păr scurt”.
• „O geacă de piele cu guler înalt și fără glugă” este mai bună decât „o geacă”.
• „Ochi larg depărtați și ușor căzuți” este mai bun decât „ochi triști”.

Acești descriptori ancorează identitatea. Oferă modelului o țintă stabilă. Dacă utilizați Stable Diffusion sau ComfyUI, puteți combina acești descriptori cu antrenamentul LoRA pe seturi de date specifice personajelor. Acest lucru permite modelului să învețe trăsăturile vizuale specifice ale personajului dumneavoastră și să le aplice în mod consecvent în diferite scene.

Greșeli frecvente: dependența excesivă de nume versus sub-specificarea geometriei

Cea mai frecventă greșeală este să te bazezi pe un nume. Dacă îți numești personajul "Alice", modelul nu știe cine este Alice. Va genera o femeie generică. Numele nu are nicio semnificație pentru model.

A doua greșeală este sub-specificarea geometriei. Dacă spui "o femeie cu ochi albaștri", modelul va varia forma ochilor, dimensiunea pupilelor și unghiul privirii. Trebuie să specifici geometria: "ochi în formă de migdală cu o ușoară pleoapă superioară căzută".

Nu confunda identitatea cu stilul. Identitatea este nucleul stabil: fața, părul, constituția corporală. Stilul este variabila: iluminarea, fundalul, poziția. Promptul tău trebuie să le separe pe cele două. Trăsăturile de identitate trebuie descrise cu precizie. Trăsăturile de stil pot rămâne mai deschise.

Flux de lucru: generarea unei fișe de personaj înainte de crearea scenei

Înainte de a crea orice scenă, generează o fișă de personaj. Aceasta este un set de imagini care îți arată personajul din mai multe unghiuri: frontal, lateral, din spate și prim-plan. Folosește o sămânță fixă și o imagine de referință fixă pentru a le genera. Rafinează prompturile până când fișa de personaj este consecventă.

Odată ce ai o fișă de personaj consecventă, folosește-o ca referință pentru toate generațiile ulterioare. Când creezi o scenă, vei folosi imaginea din fișa de personaj ca intrare de referință. Vei ajusta promptul pentru a descrie scena, dar vei menține trăsăturile de identitate ancorate de descriptorii structurali.

Acest flux de lucru este aplicabil în toate instrumentele. Fie că folosești Leonardo.ai pentru capacități de antrenare a modelelor sau DALL-E 3 pentru inginerie detaliată a prompturilor, principiul este același: stabilește mai întâi identitatea, apoi variază scena. Dacă sari peste fișa de personaj, vei petrece mai mult timp corectând inconsecvențele decât creând conținut.