Jak zachovat konzistenci znaků u obrázků generovaných pomocí AI

Vaše postavy vypadají v každém obrázku jinak, protože difuzní modely považují každý prompt za novou, izolovanou instanci bez paměti na předchozí výstupy. Konzistenci dosáhnete řízením cesty generování, poskytováním vizuálních referencí a psaním strukturálních deskriptorů, které ukotvují identifikační prvky.

Příčina: proč difuzní modely považují každý prompt za novou instanci

Difúzní modely nemají trvalý stav. Při generování obrázku model začíná od náhodného šumu a postupuje podle cesty určené vaším promptem, náhodným semínkem a vnitřními váhami modelu. Pokud tyto proměnné nebudete řídit, model bude vaši interpretaci pokaždé mírně odlišný.

Problémem není to, že model „zapomene“ vaši postavu. Problémem je, že model nemá pojem o postavě jako o trvalé entitě. Ví pouze, jak vygenerovat obrázek odpovídající textovému popisu. Pokud je váš popis nejednoznačný, model doplní mezery svými statistickými zkresleními. Pokud popíšete „červenovlasou ženu“, jedna generace může umístit její vlasy doleva, jiná doprava a další může zcela změnit vizuální texturu vlasů. Model není nekonzistentní; je věrný neurčité instrukci.

K vyřešení tohoto problému je třeba přejít od popisování znaku k jeho přesnému zadání. Vyžaduje to tři páky: seed, referenční obrázek a strukturální deskriptor.

Tři páky konzistence: seed, referenční obrázek a strukturální deskriptory

Seed je náhodné číslo, které určuje počáteční vzor šumu. Pokud ponecháte seed fixní, model se bude ubírat stejnou cestou prostorem šumu. Pokud však i jen mírně změníte prompt, cesta se odchýlí. Samotný seed nestačí.

Referenční obrázek je vizuální kotva. Poskytnete obrázek postavy a požádáte model, aby ho použil jako vodítko pro identitu a styl. To je účinnější než text, protože to obchází nejednoznačnost jazyka. Model dokáže vidět konkrétní tvar nosu, střih bundy a barvu očí.

Strukturní deskriptor je přesný geometrický popis identifických rysů postavy. Místo „cool“ řeknete „asymetrické brýle, levé sklo rozbité, pravé sklo neporušené“. To modelu poskytne stabilní cíl.

Použití hodnot seed k uzamčení cesty generování

Pokud používáte nástroj, který umožňuje nastavit hodnotu seedu, například Midjourney nebo Stable Diffusion, můžete zafixovat cestu generování. Začněte se seedem, který vytvoří kvalitní základní obrázek. Poté tento seed ponechte beze změny a upravujte svůj prompt. Tím zajistíte, že změny promptu navedou model k zcela odlišné interpretaci.

Počítejte však s tím, že semena jsou křehká. Pokud změníte poměr stran, verzi modelu nebo strukturu promptu, semeno již nemusí produkovat stejný výsledek. Používejte semeno jako lokální, nikoli globální prvek řízení. Funguje v úzkém rozmezí parametrů.

Implementace workflowů image-to-image pro iterativní zdokonalování

Nejspolehlivější metodou pro zachování konzistence je iterativní zdokonalování pomocí workflow image-to-image. Začnete s dobrou fotografií postavy. Tu pak použijete jako referenční obrázek pro další generaci. Upravíte prompt tak, aby se změnila scéna, póza nebo osvětlení, přičemž identifikátory postavy zůstanou zachovány.

Pro tento typ práce se využívají nástroje jako Adobe Firefly, Krea a Runway. Umožňují nahrát konkrétní obrázek postavy a řídit novou generaci na základě tohoto vizuálního vstupu. Při používání těchto nástrojů hodnotte výstup podle toho, jak dobře zachovává konkrétní identifikační rysy, na kterých vám záleží: tvar obličeje, styl oblečení a barevnou paletu. Pokud se výstup odchyluje, zvyšte váhu referenčního obrázku nebo zpřesněte své strukturální deskriptory.

Psaní strukturálních deskriptorů, které ukotvují rysy identity

Váš prompt musí obsahovat strukturální popisní výrazy, které nelze špatně pochopit. Vyhněte se subjektivním přídavným jménům, jako jsou „beautiful“, „cool“ nebo „mysterious“. Místo toho používejte geometrické a konkrétní popisné výrazy.

• „Krátké, ostříhané vlasy s rovnou ofinou“ je lepší než „krátké vlasy“.
• „Kožená bunda s vysokým límcem a bez kapuce“ je lepší než „bunda“.
• „Široce posazené a mírně pokleslé oči“ je lepší než „smutné oči“.

Tyto deskriptory ukotvují identitu. Poskytují modelu stabilní cíl. Pokud používáte Stable Diffusion nebo ComfyUI, můžete tyto deskriptory kombinovat s tréninkem LoRA na specifických datech postav. To umožňuje modelu naučit se specifické vizuální rysy vaší postavy a konzistentně je aplikovat v různých scénách.

Časté chyby: přílišné spoléhání na jména versus nedostatečné specifikování geometrie

Nejčastější chybou je spoléhání na jméno. Pokud svou postavu nazvete "Alice", model nemá tušení, kdo Alice je. Vygeneruje obecnou ženu. Jméno je pro model bezvýznamné.

Druhou chybou je nedostatečné specifikování geometrie. Pokud napíšete "žena s modrýma očima", model bude měnit tvar očí, velikost zornic a úhel pohledu. Musíte specifikovat geometrii: "mandlovité oči s mírným zakrytím horního víčka".

Nezaměňujte identitu se stylem. Identita je stabilní jádro: obličej, vlasy, typ postavy. Styl je proměnná: osvětlení, pozadí, póza. Váš prompt musí tyto dvě věci oddělit. Vlastnosti identity musí být popsány přesně. Vlastnosti stylu mohou zůstat volnější.

Pracovní postup: vygenerování listu postavy před vytvořením scény

Než vytvoříte jakoukoli scénu, vygenerujte list postavy. Jedná se o sadu obrázků, které ukazují vaši postavu z různých úhlů: zepředu, z boku, zezadu a v detailu. K jejich vygenerování použijte fixní seed a fixní referenční obrázek. Doladujte prompty, dokud nebude list postavy konzistentní.

Až budete mít konzistentní list postavy, použijte ho jako referenci pro všechny následující generování. Při vytváření scény použijte obrázek z listu postavy jako vstupní referenci. Prompt upravíte tak, aby popisoval scénu, ale vlastnosti identity zůstanou ukotveny strukturálními deskriptory.

Tento pracovní postup je použitelný napříč nástroji. Ať už používáte Leonardo.ai pro možnosti trénování modelů, nebo DALL-E 3 pro podrobné inženýrství promptů, princip je stejný: nejprve stanovte identitu, poté měňte scénu. Pokud přeskočíte list postavy, strávíte více času opravováním nekonzistencí než vytvářením obsahu.