Kako održati doslednost lika na slikama generisanim pomoću veštačke inteligencije

Vaši likovi izgledaju drugačije na svakoj slici jer difuzioni modeli tretiraju svaki upit kao novu, izolovanu instancu bez sećanja na prethodne izlaze. Doslednost postižete kontrolisanjem puta generisanja, pružanjem vizuelnih referenci i korišćenjem strukturnih deskriptora koji učvršćuju identifikacione karakteristike.

Osnovni uzrok: zašto difuzioni modeli tretiraju svaki upit kao novu instancu

Difuzioni modeli nemaju trajno stanje. Kada generišete sliku, model počinje od nasumičnog šuma i prati putanju određenu vašim upitom, nasumičnim sjemenom i internim težinama modela. Ako ne kontrolišete ove promenljive, model će svaki put malo drugačije interpretirati vaš opis.

Problem nije u tome što model „zaboravlja“ vaš lik. Problem je u tome što model nema pojam lika kao trajnog entiteta. On samo zna kako da generiše sliku koja odgovara tekstualnom opisu. Ako je vaš opis dvosmislen, model popunjava praznine svojim statističkim pristrasnostima. Ako opišete „ženu crvene kose“, jedna generacija može postaviti njenu kosu na levo, druga na desno, a treća može potpuno promeniti teksturu kose. Model nije nedosledan; on je veran neodređenoj instrukciji.

Da biste ovo rešili, morate preći sa opisivanja lika na precizno definisanje lika. To zahteva tri poluge: sjeme, referentnu sliku i strukturni deskriptor.

Tri poluge doslednosti: sjeme, referentna slika i strukturni deskriptori

Sjeme je nasumičan broj koji određuje početni obrazac šuma. Ako držite sjeme fiksnim, model prati istu putanju kroz prostor šuma. Međutim, ako čak i malo promenite upit, putanja se razilazi. Samo sjeme nije dovoljno.

Referentna slika je vizuelno sidro. Pružate sliku lika i tražite od modela da je koristi kao vodič za identitet i stil. Ovo je moćnije od teksta jer zaobilazi dvosmislenost jezika. Model može videti specifičan oblik nosa, kroj jakne i boju očiju.

Strukturni deskriptor je precizan, geometrijski opis identifikacionih karakteristika lika. Umesto da kažete „kul“, kažete „asimetrične naočare, levo sočivo puklo, desno sočivo neoštećeno“. Ovo modelu daje stabilnu metu ka kojoj treba da teži.

Korišćenje vrednosti seed-a za zaključavanje puta generisanja

Ako koristite alat koji omogućava podešavanje vrednosti sjemena, kao što su Midjourney ili Stable Diffusion, možete zaključati putanju generisanja. Počnite sa sjemenom koje daje dobru osnovnu sliku. Zatim držite to sjeme fiksnim dok poboljšavate upit. To osigurava da promene u upitu ne nateraju model da skrene u potpuno drugačiju interpretaciju.

Međutim, budite svesni da su seed vrednosti osetljive. Ako promenite odnos stranica, verziju modela ili strukturu upita, seed možda više neće dati isti rezultat. Tretirajte seed kao lokalnu kontrolu, a ne globalnu. On funkcioniše u uskom opsegu parametara.

Implementiranje tokova rada „slika u sliku“ za iterativno usavršavanje

Najpouzdaniji metod za održavanje doslednosti je iterativno usavršavanje pomoću tokova rada od slike do slike. Počinjete sa dobrom slikom lika. Tu sliku zatim koristite kao referentnu sliku za sledeće generisanje. Prilagođujete upit da biste promenili scenu, pozu ili osvetljenje, pri čemu identifikacione karakteristike lika ostaju očuvane.

Alati poput Adobe Firefly, Krea i Runway koriste se za ovakve zadatke. Oni omogućavaju da otpremite sliku određenog lika i usmerite novo generisanje na osnovu tog vizuelnog ulaza. Kada koristite ove alate, ocenite izlaz na osnovu toga koliko dobro čuva konkretne karakteristike identiteta koje su vam važne: oblik lica, stil odeće, paletu boja. Ako izlaz odstupi, povećajte težinu referentne slike ili precizirajte svoje strukturne deskriptore.

Pisanje strukturnih deskriptora koji učvršćuju karakteristike identiteta

Vaš upit mora sadržati strukturne opise koje je nemoguće pogrešno protumačiti. Izbegavajte subjektivne prideve, kao što su "beautiful," "cool," ili "mysterious." Umesto toga, koristite geometrijske i precizne opise.

• „Kratka, ošišana kosa sa ravnim šiškom“ bolje je od „kratka kosa“.
• „Kožna jakna sa visokom kragnom i bez haube“ bolje je od „jakna“.
• „Široko postavljene oči koje su blago spuštene“ bolje je od „tužne oči“.

Ovi deskriptori učvršćuju identitet. Oni modelu daju stabilnu metu. Ako koristite Stable Diffusion ili ComfyUI, ove deskriptore možete kombinovati sa LoRA obukom na specifičnim skupovima podataka likova. To omogućava modelu da nauči specifične vizuelne osobine vašeg lika i dosledno ih primenjuje u različitim scenama.

Česte greške: preterano oslanjanje na imena naspram nedovoljnog preciziranja geometrije

Najčešća greška je oslanjanje na ime. Ako svom liku date ime "Alice", model nema pojma ko je Alice. Generisaće generičku ženu. Ime nema značenja za model.

Druga greška je nedovoljno preciziranje geometrije. Ako kažete "žena plavih očiju", model će menjati oblik očiju, veličinu zenica i ugao pogleda. Morate precizirati geometriju: "bademaste oči sa blagim naborom gornjeg kapka."

Ne mešajte identitet sa stilom. Identitet je stabilno jezgro: lice, kosa, tip tela. Stil je promenljiva: osvetljenje, pozadina, poza. Vaš upit mora razdvojiti ove dve stvari. Karakteristike identiteta moraju biti opisane precizno. Karakteristike stila mogu ostati otvorenije.

Tok rada: generisanje lista likova pre kreiranja scene

Pre nego što kreirate bilo koju scenu, generišite list likova. To je skup slika koji prikazuje vaš lik iz više uglova: spreda, sa strane, otpozadi i krupni kadar. Koristite fiksni seed i fiksnu referentnu sliku za njihovo generisanje. Usavršavajte upite dok list likova ne bude dosledan.

Kada dobijete dosledan list likova, koristite ga kao referencu za sva naknadna generisanja. Kada kreirate scenu, koristićete sliku sa lista likova kao ulaznu referencu. Prilagodićete upit da opiše scenu, ali ćete držati karakteristike identiteta učvršćene strukturnim deskriptorima.

Ovaj tok rada primenjiv je u različitim alatima. Bilo da koristite Leonardo.ai zbog mogućnosti obuke modela ili DALL-E 3 zbog detaljnog inženjeringa upita, princip je isti: prvo uspostavite identitet, a zatim menjajte scenu. Ako preskočite list likova, potrošiće više vremena na ispravljanje nekonzistentnosti nego na kreiranje sadržaja.