Hogyan tartsd fenn a karakterek konzisztenciáját AI-generált képeken

A karaktereid minden képen másképp néznek ki, mert a diffúziós modellek minden promptot új, izolált példányként kezelnek, előzmények emléke nélkül. A konzisztenciát úgy kényszerítheted ki, hogy irányítod a generálási folyamatot, vizuális referenciákat adsz meg, és olyan strukturális leírókat használsz, amelyek rögzítik az identitásjellemzőket.

Az alapvető ok: miért kezeli minden diffúziós modell a promptokat új példányként

A diffúziós modelleknek nincs állandó állapotuk. Amikor képet generálsz, a modell véletlen zajból indul ki, és a prompt, a véletlen seed és a modell belső súlyai által meghatározott útvonalat követ. Ha nem irányítod ezeket a változókat, a modell minden alkalommal kissé másképp értelmezi a leírásodat.

A probléma nem az, hogy a modell „elfelejti” a karaktert. Hanem az, hogy a modellnek nincs fogalma a karakterről mint állandó entitásról. Csak azt tudja, hogyan generáljon olyan képet, amely megfelel egy szöveges leírásnak. Ha a leírásod homályos, a modell a saját statisztikai elfogultságaival tölti ki a hézagokat. Ha egy „vörös hajú nőt” írsz le, az egyik generálásnál a haja balra eshet, a másiknál jobbra, egy harmadiknál pedig teljesen megváltozhat a haj textúrája. A modell nem inkonzisztens; hűséges egy homályos utasításhoz.

Ennek megoldásához át kell térned a karakter leírásáról a karakter specifikálására. Ehhez három beavatkozási pont szükséges: a seed, a referenciakép és a strukturális leíró.

A konzisztencia három beavatkozási pontja: seed, referenciakép és strukturális leírók

A seed az a véletlen szám, amely meghatározza a kiindulási zajmintát. Ha a seedet rögzíted, a modell ugyanazt az útvonalat követi a zajtérben. Ha azonban még csak kicsit is módosítod a promptot, az útvonal eltér. A seed önmagában nem elég.

A referenciakép vizuális horgony. Megadsz egy képet a karakterről, és kéred a modellt, hogy használja azt útmutatóként az identitás és a stílus szempontjából. Ez erősebb, mint a szöveg, mert megkerüli a nyelv homályosságát. A modell látja az orr konkrét formáját, a kabát szabását és a szemek színét.

A strukturális leíró a karakter identitásjellemzőinek precíz, geometriai leírása. Ahelyett, hogy „menő”-t mondana, azt mondja: „aszimmetrikus szemüveg, bal lencse repedt, jobb lencse ép”. Ez stabil célpontot biztosít a modell számára.

Generálási folyamat rögzítése seed értékek használatával

Ha olyan eszközt használ, amely lehetővé teszi a seed érték beállítását, például a Midjourney vagy a Stable Diffusion, rögzítheti a generálási folyamatot. Kezdjen egy olyan seeddel, amely jó alapképet hoz létre. Ezután tartsa ezt a seedet rögzített állapotban, miközben finomítja a promptját. Ez biztosítja, hogy a prompt változtatásai ne vezessenek a modellt egy teljesen eltérő értelmezés felé.

Azonban tartsa szem előtt, hogy a seedek törékenyek. Ha megváltoztatja a képarányt, a modellverziót vagy a prompt felépítését, a seed már nem biztos, hogy ugyanazt az eredményt hozza. Kezelje a seedet helyi, nem globális vezérlőként. Szűk paramétertartományban működik.

Képről képre munkafolyamatok megvalósítása az iteratív finomhangoláshoz

A legmegbízhatóbb módszer a konzisztencia fenntartására az iteratív finomhangolás kép-képhez munkafolyamatok alkalmazásával. Egy jó minőségű képpel kezd a karakterről. Ezt a képet használja referenciaként a következő generáláshoz. A promptot úgy igazítja, hogy megváltoztassa a jelenetet, a pózt vagy a megvilágítást, miközben a karakter identitásjellemzőit érintetlenül hagyja.

Az Adobe Firefly, a Krea és a Runway az ilyen feladatokhoz ideális eszközök. Lehetővé teszik egy konkrét karakterkép feltöltését, és az új generálást ezen vizuális bemenet alapján irányítják. Ezek használatakor azt értékelje, hogy a kimenet mennyire őrzi meg az Ön számára fontos identitásjellemzőket: az arc formáját, az öltözet stílusát, a színpalettát. Ha a kimenet eltér, növelje a referenciakép súlyát, vagy szigorítsa a strukturális leírókat.

Strukturális leírók írása, amelyek rögzítik az identitásjellemzőket

A promptnak olyan strukturális leírásokat kell tartalmaznia, amelyek nem félreérthetők. Kerülje a szubjektív jelzőket, mint a „beautiful”, „cool” vagy „mysterious”. Ehelyett használjon geometriai és konkrét leírásokat.

• "Rövid, nyírt haj egyenes frufruval" jobb, mint "rövid haj".
• "Magas gallérú, kapucni nélküli bőrdzseki" jobb, mint "dzseki".
• "Széles távolságra lévő, enyhén lefelé húzódó szemek" jobbak, mint "szomorú szemek".

These leírók rögzítik az identitást. Stabil célpontot adnak a modellnek. Ha Stable Diffusiont vagy ComfyUI-t használ, kombinálhatja ezeket a leírókat LoRA tanítással konkrét karakter-adathalmazokon. Ez lehetővé teszi, hogy a modell megtanulja a karakter specifikus vizuális jegyeit, és konzisztensen alkalmazza őket különböző jelenetekben.

Gyakori hibák: túl sokat támaszkodni a nevekre versus túl kevés geometriai specifikáció

A leggyakoribb hiba a névre való támaszkodás. Ha a karaktert „Alice”-nek nevezi, a modell nem tudja, ki Alice. Egy általános nőt fog generálni. A név értelmetlen a modell számára.

A második hiba a geometria alulspecifikálása. Ha azt mondja: „kék szemű nő”, a modell változtatni fogja a szemek formáját, a pupillák méretét és a tekintet szögét. Meg kell adnia a geometriát: „mandula alakú szemek, a felső szemhéj enyhe redőzöttségével.”

Ne keverje össze az identitást a stílussal. Az identitás a stabil mag: az arc, a haj, a testalkat. A stílus a változó: a megvilágítás, a háttér, a póz. A promptnak szét kell választania ezt a kettőt. Az identitásjegyeket precízen kell leírni. A stílusjegyek nyitottabbak maradhatnak.

Munkafolyamat: karakterlap generálása a jelenetkészítés előtt

Mielőtt bármilyen jelenetet készítene, generáljon egy karakterlapot. Ez egy képkészlet, amely a karaktert több szögből mutatja: elölről, oldalról, hátulról és közelről. Használjon rögzített seedet és rögzített referenciaképet ezek generálásához. Finomítsa a promptokat, amíg a karakterlap konzisztens nem lesz.

Ha megvan a konzisztens karakterlap, használja azt referenciaként minden后续 generáláshoz. Amikor jelenetet készít, a karakterlap képét használja referenciabemenetként. A promptot a jelenet leírására igazítja, de az identitásjegyeket a strukturális leírókkal rögzíti.

Ez a munkafolyamat eszközfüggetlen. Függetlenül attól, hogy a Leonardo.ai-t használja modelltanítási képességek miatt, vagy a DALL-E 3-at részletes promptmérnökséghez, az elv ugyanaz: először rögzítse az identitást, majd variálja a jelenetet. Ha kihagyja a karakterlapot, több időt fog a konzisztenciahiányok javítására fordítani, mint tartalomkészítésre.