Ako udržať konzistentnosť postavy naprieč obrázkami generovanými pomocou AI

Vaše postavy vyzerajú na každom obrázku inak, pretože difúzne modely považujú každý prompt za novú, izolovanú inštanciu bez pamäte na predchádzajúce výstupy. Konzistentnosť vynútite riadením cesty generovania, poskytnutím vizuálnych referencií a písaním štrukturálnych deskriptorov, ktoré ukotvujú identifikačné črty.

Kľúčová príčina: prečo difúzne modely považujú každý prompt za novú inštanciu

Difúzne modely nemajú trvalý stav. Pri generovaní obrázka začína model od náhodného šumu a nasleduje cestu určenú vaším promptom, náhodným seedom a vnútornými váhami modelu. Ak tieto premenné nebudete riadiť, model bude vašu opisnú časť interpretovať mierne odlišne pri každom pokuse.

Problémom nie je to, že model „zabúda“ vašu postavu. Je to tak, že model nemá koncept postavy ako trvalej entity. Vie len generovať obrázok, ktorý zodpovedá textovému opisu. Ak je váš opis nejednoznačný, model dopĺňa medzery svojimi vlastnými štatistickými sklonmi. Ak opíšete „červenovlasú ženu“, jedna generácia môže umiestniť jej vlasy na ľavú stranu, iná na pravú a ďalšia môže úplne zmeniť textúru vlasov. Model nie je nekonzistentný; je verný nejednoznačnému inštrukcii.

Na vyriešenie tohto problému musíte prejsť od opisovania postavy k jej špecifikovaniu. To si vyžaduje tri páky: seed, referenčný obrázok a štrukturálny deskriptor.

Tri páky konzistentnosti: seed, referenčný obrázok a štrukturálne deskriptory

Seed je náhodné číslo, ktoré určuje počiatočný vzor šumu. Ak ponecháte seed fixný, model bude nasledovať rovnakú cestu priestorom šumu. Ak však aj mierne zmeníte prompt, cesta sa rozchýli. Samotný seed nestačí.

Referenčný obrázok je vizuálna kotva. Poskytnete obrázok postavy a požiadate model, aby ho použil ako vodítko pre identitu a štýl. Toto je mocnejšie ako text, pretože obchádza nejednoznačnosť jazyka. Model môže vidieť konkrétny tvar nosa, strih bundy a farbu očí.

Štrukturálny opisovač je presný geometrický opis identifikačných prvkov postavy. Namiesto „cool“ použijete „asymetrické okuliare, ľavé sklo prasknuté, pravé sklo nepoškodené“. To modelu poskytne stabilný cieľ, na ktorý sa zamerať.

Použitie hodnôt seed na uzamknutie cesty generovania

Ak používate nástroj, ktorý umožňuje nastaviť hodnotu semena, napríklad Midjourney alebo Stable Diffusion, môžete uzamknúť cestu generovania. Začnite semenom, ktoré vytvára dobrý základný obrázok. Potom udržujte toto semeno fixné, zatiaľ čo upravujete svoj prompt. To zabezpečí, že zmeny vo vašom prompte nespôsobia, aby model prešiel do úplne odlišnej interpretácie.

Počítajte však s tým, že semená sú krehké. Ak zmeníte pomer strán, verziu modelu alebo štruktúru promptu, semeno už nemusí priniesť rovnaký výsledok. Poňímajte semeno ako lokálny, nie globálny nástroj na ovládanie. Funguje v úzkom rozsahu parametrov.

Implementácia workflowov image-to-image pre iteratívne zdokonaľovanie

Najspoľahlivejšou metódou na zachovanie konzistencie je iteratívne zdokonaľovanie pomocou workflowov image-to-image. Začnete s dobrou kvalitou obrázka postavy. Tento obrázok následne použijete ako referenčný obrázok pre ďalšiu generáciu. Upravíte prompt tak, aby sa zmenila scéna, póza alebo osvetlenie, pričom zachováte identifikačné prvky postavy.

Na tento typ úlohy sa používajú nástroje ako Adobe Firefly, Krea a Runway. Umožňujú nahrať konkrétny obrázok postavy a viesť novú generáciu na základe tohto vizuálneho vstupu. Pri používaní týchto nástrojov hodnotte výstup podľa toho, ako dobre zachováva konkrétne identifikačné črty, na ktorých vám záleží: tvar tváre, štýl oblečenia, farebná paleta. Ak sa výstup odchyľuje, zvýšte váhu referenčného obrázka alebo sprísnite svoje štrukturálne deskriptory.

Písanie štrukturálnych deskriptorov, ktoré ukotvujú identifikačné prvky

Váš prompt musí obsahovať štrukturálne popisovatele, ktoré nie je možné nesprávne pochopiť. Vyhnite sa subjektívnym prídavným menám, ako sú „beautiful“, „cool“ alebo „mysterious“. Namiesto toho používajte geometrické a konkrétne popisovatele.

• „Krátke, ostrihané vlasy s rovnou ofinou“ je lepšie ako „krátke vlasy“.
• „Kožená bunda s vysokým golierom bez kapucne“ je lepšie ako „bunda“.
• „Široko posadené a mierne klesajúce oči“ je lepšie ako „smutné oči“.

Tieto deskriptory ukotvujú identitu. Poskytujú modelu stabilný cieľ. Ak používate Stable Diffusion alebo ComfyUI, môžete tieto deskriptory kombinovať s tréningom LoRA na konkrétnych dátových súboroch postáv. To umožňuje modelu naučiť sa špecifické vizuálne črty vašej postavy a konzistentne ich aplikovať v rôznych scénach.

Časté chyby: prílišné spoliehanie sa na mená oproti nedostatočnému špecifikovaniu geometrie

Najčastejšou chybou je spoliehanie sa na meno. Ak svoju postavu nazvete "Alice", model nemá tušenie, kto je Alice. Vygeneruje generickú ženu. Meno je pre model bezvýznamné.

Druhou chybou je nedostatočné špecifikovanie geometrie. Ak napíšete "žena s modrými očami", model bude meniť tvar očí, veľkosť zreníc a uhol pohľadu. Musíte špecifikovať geometriu: "mandľovité oči s miernym prekrytím horného viečka".

Nemezajte si identitu so štýlom. Identita je stabilné jadro: tvár, vlasy, typ postavy. Štýl je premenná: osvetlenie, pozadie, póza. Váš prompt musí tieto dve veci oddeliť. Črty identity musia byť popísané presne. Črty štýlu môžu zostať voľnejšie.

Pracovný postup: generovanie hárky postáv pred vytváraním scény

Pred vytvorením akejkoľvek scény vygenerujte hároku postáv. Ide o súbor obrázkov, ktoré ukazujú vašu postavu z viacerých uhlov: spredu, zboku, zozadu a v detailnom zábere. Na ich generovanie použite fixný seed a fixný referenčný obrázok. Doladenie promptov vykonávajte, kým nie je hároka postáv konzistentná.

Keď máte konzistentnú hároku postáv, použite ju ako referenciu pre všetky ďalšie generovania. Pri vytváraní scény použijete obrázok z hároky ako vstupnú referenciu. Prispôsobíte prompt tak, aby opisoval scénu, ale črty identity zostanú ukotvené štrukturálnymi deskriptormi.

Tento pracovný postup je použiteľný naprieč nástrojmi. Či už používate Leonardo.ai pre možnosti tréningu modelov alebo DALL-E 3 pre podrobné inžinierstvo promptov, princíp je rovnaký: najprv establishujte identitu, potom menite scénu. Ak preskočíte hároku postáv, strávite viac času opravovaním nekonzistencií než vytváraním obsahu.