Kako ohraniti doslednost likov pri slikah, ustvarjenih z umetno inteligenco

Vaši liki so na vsaki sliki videti drugače, ker difuzijski modeli vsak poziv obravnavajo kot novo, izolirano instanco brez spomina na prejšnje izhode. Doslednost zagotovite z nadzorom poti generiranja, zagotavljanjem vizualnih referenc in zapisovanjem strukturnih opisov, ki sidrajo značilnosti identitete.

Vzrok težave: zakaj difuzijski modeli vsak poziv obravnavajo kot novo instanco

Difuzijski modeli nimajo trajnega stanja. Ko ustvarite sliko, model začne z naključnim šumom in sledi poti, ki jo določajo vaš poziv, naključno seme in notranje uteži modela. Če teh spremenljivk ne nadzorujete, bo model vaš opis vsakič nekoliko drugače interpretiral.

Težava ni v tem, da model "pozabi" vaš lik. Težava je v tem, da model nima pojma o liku kot trajnem entiteti. Ve le, kako ustvariti sliko, ki ustreza besedilnemu opisu. Če je vaš opis dvoumen, bo model vrzeli zapolnil s svojimi statističnimi pristranskostmi. Če opišete "žensko z rdečimi lasmi", lahko ena generacija lase postavi na levo, druga na desno, tretja pa popolnoma spremeni teksturo las. Model ni nedosleden; zvest je dvoumnemu navodilu.

Da to rešite, morate preiti od opisovanja lika k specifikaciji lika. To zahteva tri vzvode: seme, referenčno sliko in strukturni opis.

Trije vzvodi doslednosti: seme, referenčna slika in strukturni opisi

Seme je naključno število, ki določa začetni vzorec šuma. Če seme ohranite fiksno, model sledi isti poti skozi prostor šuma. Vendar pa se pot razhodi, če poziv spremenite tudi le za malenkost. Samo seme ni dovolj.

Referenčna slika je vizualno sidro. Zagotovite sliko lika in model zaprosite, naj jo uporabi kot vodilo za identiteto in slog. To je močnejše od besedila, ker obide dvoumnost jezika. Model lahko vidi specifično obliko nosu, kroj jakne in barvo oči.

Strukturni opisnik je natančen, geometrijski opis identifikacijskih značilnosti lika. Namesto "kul" napišite "asimetrična očala, leva leča razpokana, desna leča cela". To modelu zagotovi stabilno ciljno točko.

Uporaba vrednosti semena za zaklepanje poti generiranja

Če uporabljate orodje, ki omogoča nastavitev vrednosti semena, kot sta Midjourney ali Stable Diffusion, lahko zaklenete pot generiranja. Začnite s semenom, ki ustvari dobro osnovno sliko. Nato to seme pustite fiksno, medtem ko izboljšujete svoj poziv. To zagotavlja, da spremembe v vašem pozivu ne povzročijo, da model zablodi v popolnoma drugačno interpretacijo.

Vendar pa se zavedajte, da so semena občutljiva. Če spremenite razmerje stranic, različico modela ali strukturo poziva, seme morda ne bo več dalo enakega rezultata. Obravnavajte seme kot lokalni nadzor, ne kot globalnega. Deluje v ozkem oknu parametrov.

Izvajanje potekov dela s sliko v sliko za iterativno izboljševanje

Najbolj zanesljiva metoda za ohranjanje doslednosti je iterativno izboljševanje s poteki dela s sliko v sliko. Začnete z dobro sliko lika. Nato to sliko uporabite kot referenčno sliko za naslednje generiranje. Prilagodite poziv za spremembo prizora, poze ali osvetlitve, hkrati pa ohranite identifikacijske značilnosti lika.

Za tovrstna dela se posega po orodjih, kot so Adobe Firefly, Krea in Runway. Omogočajo nalaganje določene slike lika in usmerjanje novega generiranja na podlagi tega vizualnega vhoda. Ko uporabljate ta orodja, ocenite izhod glede na to, kako dobro ohranja specifične identifikacijske značilnosti, ki so vam pomembne: obliko obraza, slog oblačil, barvno paleto. Če izhod odstopa, povečajte težo referenčne slike ali zaostrite svoje strukturne opisnike.

Pisanje strukturnih opisnikov, ki sidrajo identifikacijske značilnosti

Vaš poziv mora vsebovati strukturne opisnike, ki jih ni mogoče napačno razumeti. Izogibajte se subjektivnim pridevnikom, kot so "lep", "kul" ali "misteriozen". Namesto tega uporabljajte geometrijske in specifične opisnike.

• "Kratki, pristriženi lasje s ravnim čopom" je bolje kot "kratki lasje".
• "Usnjena jakna z visokim ovratnikom in brez kapuce" je bolje kot "jakna".
• "Oči, ki so široko razmaknjene in rahlo spustene" je bolje kot "žalostne oči."

These deskriptorji sidrajo identiteto. Modelu zagotovijo stabilno ciljno točko. Če uporabljate Stable Diffusion ali ComfyUI, lahko te deskriptorje kombinirate s treningom LoRA na specifičnih naborih podatkov o likih. To modelu omogoča, da se nauči specifičnih vizualnih lastnosti vašega lika in jih dosledno uporablja v različnih prizorih.

Pogoste napake: preveliko zanašanje na imena v nasprotju s premalo natančno geometrijo

Najpogostejša napaka je zanašanje na ime. Če svojemu liku nadenete ime "Alice", model ne ve, kdo je Alice. Ustvari bo generično žensko. Ime je za model brez pomena.

Druga napaka je premalo natančna geometrija. Če rečete "ženska z modrimi očmi", bo model variiral obliko oči, velikost zenbic in kot pogleda. Natančno morate določiti geometrijo: "mandljevasto oblikovane oči z rahlim prekrivanjem zgornje veje".

Ne zamenjujte identitete s slogom. Identiteta je stabilno jedro: obraz, lasje, telesna zgradba. Slog je spremenljivka: osvetlitev, ozadje, poza. Vaš poziv mora ločiti ti dve stvari. Lastnosti identitete je treba natančno opisati. Lastnosti sloga lahko pustite bolj odprte.

Potek dela: generiranje lista lika pred ustvarjanjem prizora

Preden ustvarite kakršen koli prizor, generirajte list lika. To je nabor slik, ki prikazujejo vaš lik z več strani: spredaj, s strani, od zadaj in v bližnjem kadru. Za generiranje teh slik uporabite fiksno seme in fiksno referenčno sliko. Pozive izboljšujte, dokler list lika ni dosleden.

Ko imate dosleden list lika, ga uporabite kot referenco za vse nadaljnje generiranja. Ko ustvarjate prizor, boste sliko lista lika uporabili kot vhodno referenco. Poziv boste prilagodili za opis prizora, vendar boste lastnosti identitete sidrali s strukturnimi deskriptorji.

Ta potek dela je uporaben v različnih orodjih. Ne glede na to, ali uporabljate Leonardo.ai za zmogljivosti treninga modelov ali DALL-E 3 za podrobno oblikovanje pozivov, je princip enak: najprej vzpostavite identiteto, nato variirajte prizor. Če preskočite list lika, boste porabili več časa za popravljanje nedoslednosti kot za ustvarjanje vsebine.