Näin ylläpidät hahmojen yhdenmukaisuutta tekoälykuvageneraattoreissa

Hahmosi näyttävät erilaisilta jokaisessa kuvassa, koska diffuusiomallit käsittelevät jokaisen kehotteen uutena, erillisenä instanssina ilman muistia aiemmista tuloksista. Saat yhdenmukaisuuden aikaan hallitsemalla generointipolkua, tarjoamalla visuaalisia referenssejä ja kirjoittamalla rakenteellisia kuvauksia, jotka ankkuroivat identiteetin tuntomerkit.

Juurisyy: miksi diffuusiomallit käsittelevät jokaisen kehotteen uutena instanssina

Diffuusiomalleilla ei ole pysyvää tilaa. Kun generoit kuvan, malli aloittaa satunnaisesta kohinasta ja seuraa polkua, joka määräytyy kehotteesi, satunnaisen siemenluvun ja mallin sisäisten painojen perusteella. Jos et hallitse näitä muuttujia, malli tulkitsee kuvauksesi hieman eri tavalla joka kerta.

Ongelma ei ole siinä, että malli "unohtaa" hahmosi. Vaan siinä, että mallilla ei ole käsitystä hahmosta pysyvänä entiteettinä. Se tietää vain, miten generoida kuva, joka vastaa tekstikuvausta. Jos kuvauksesi on epämääräinen, malli täydentää aukot omilla tilastollisilla harhoillaan. Jos kuvailet "punatukkaista naista", yksi generointi voi sijoittaa hänen hiuksensa vasemmalle, toinen oikealle ja kolmas voi muuttaa hiusten visuaalisen tekstuuri kokonaan. Malli ei ole epäjohdonmukainen; se on uskollinen epämääräiselle ohjeelle.

Ratkaisuksi sinun on siirryttävä hahmon kuvailemisesta hahmon määrittämiseen. Tämä vaatii kolme vipua: siemenluku, referenssikuva ja rakenteellinen kuvaus.

Yhdenmukaisuuden kolme vipua: siemenluku, referenssikuva ja rakenteelliset kuvaukset

Siemenluku on satunnainen numero, joka määrää aloituskohinakuviota. Jos pidät siemenluvun kiinteänä, malli seuraa samaa polkua kohina-avaruudessa. Jos kuitenkin muutostat kehotetta edes hieman, polku poikkeaa. Pelkkä siemenluku ei riitä.

Referenssikuva on visuaalinen ankkuri. Toimitat kuvan hahmosta ja pyydät mallia käyttämään sitä ohjeena identiteetille ja tyylille. Tämä on tehokkaampaa kuin teksti, koska se kiertää kielen epämääräisyyden. Malli voi nähdä nenän tarkat muodot, takin leikkauksen ja silmien värin.

Rakenteellinen kuvaus on hahmon tuntopiirteiden tarkka, geometrinen esitys. Sen sijaan, että sanoisit ”cool”, sanot ”epäsymmetriset silmälasit, vasen linssi halkeillut, oikea linssi ehjä”. Tämä antaa mallille vakaan kohteen, johon tähdätä.

Siemenarvojen käyttö generointipolun lukitsemiseen

Jos käytät työkalua, jossa voit asettaa siemenarvon, kuten Midjourney tai Stable Diffusion, voit lukita generointipolun. Aloita siemenellä, joka tuottaa hyvän peruskuvan. Pidä sitten tämä siemen kiinteänä hienosäätäessäsi kehotetta. Tämä varmistaa, että muutokset kehotteessa eivät saa mallia harhailemaan täysin erilaiseen tulkintaan.

Huomaa kuitenkin, että siemenet ovat herkkiä. Jos vaihdat kuvasuhdetta, malliversiota tai kehotteen rakennetta, siemen ei välttämättä enää tuota samaa tulosta. Käsittele siementä paikallisena kontrollina, ei globaalina. Se toimii kapealla parametrien alueella.

Kuvasta-kuvaan-työkulujen toteuttaminen iteratiiviseen hienosäätöön

Luotettavin tapa yhdenmukaisuuden ylläpitämiseksi on iteratiivinen hienosäätö kuvasta-kuvaan-työkulujen avulla. Aloitat hyvästä hahmokuvasta. Käytät sitten tätä kuvaa referenssikuvana seuraavassa generoinnissa. Säädät kehotetta muuttaaksesi näytelmää, asentoa tai valaistusta pitäen hahmon tuntopiirteet ennallaan.

Tämänlaisiin tehtäviin valitaan työkaluja kuten Adobe Firefly, Krea ja Runway. Niillä voit ladata tietyn hahmokuvan ja ohjata uutta generointia tämän visuaalisen syötteen perusteella. Kun käytät näitä työkaluja, arvioi tulosta sen perusteella, kuinka hyvin se säilyttää ne tietyt tuntopiirteet, jotka ovat sinulle tärkeitä: kasvojen muoto, vaatteiden tyyli, väripaletti. Jos tulos poikkeaa, lisää referenssikuvan painoarvoa tai tarkenna rakenteellisia kuvauksia.

Identiteettipiirteitä ankkuroivien rakenteellisten kuvausten kirjoittaminen

Kehotteen on sisällettävä rakenteellisia kuvauksia, jotka ovat mahdottomia tulkita väärin. Vältä subjektiivisia adjektiiveja, kuten ”beautiful”, ”cool” tai ”mysterious”. Käytä sen sijaan geometrisia ja tarkkoja kuvauksia.

• ”Lyhyet, lyhyesti leikatut hiukset suoralla otsahiuksella” on parempi kuin ”lyhyet hiukset”.
• ”Nahkatakki korkealla kauluksella ja ilman huppuja” on parempi kuin ”takki”.
• ”Leveästi asetetut ja hieman alaspäin kääntyneet silmät” on parempi kuin ”surulliset silmät”.

Nämä kuvaukset ankkuroivat identiteetin. Ne antavat mallille vakaan kohteen. Jos käytät Stable Diffusionia tai ComfyUI:ta, voit yhdistää nämä kuvaukset LoRA-koulutukseen tietyillä hahmotietojoukoilla. Tämän ansiosta malli oppii hahmosi tarkat visuaaliset piirteet ja soveltaa niitä johdonmukaisesti eri kohtauksissa.

Yleisimmät virheet: nimiin luottaminen vs. geometrian alimääritys

Yleisin virhe on luottaa nimeen. Jos nimeät hahmosi "Alice", malli ei tiedä, kuka Alice on. Se luo yleisluonteisen naisen. Nimi on mallille merkityksetön.

Toinen virhe on geometrian alimääritys. Jos sanot "sinisilmäinen nainen", malli vaihtelee silmien muotoa, pupillien kokoa ja katseen kulmaa. Sinun on määriteltävä geometria: "mantelinmuotoiset silmät, joissa yläluomessa lievä laskos."

Älä sekoita identiteettiä tyyliin. Identiteetti on vakaa ydin: kasvot, hiukset, vartalon malli. Tyyli on muuttuva osa: valaistus, tausta, asento. Kehotteen erottaa nämä kaksi. Identiteetin piirteet on kuvattava tarkasti. Tyylilliset piirteet voidaan jättää avoimemmiksi.

Työnkulku: hahmolomakkeen luominen ennen kohtauksen luomista

Luo hahmolomake ennen minkään kohtauksen luomista. Tämä on joukko kuvia, jotka esittävät hahmosi eri kulmista: edestä, sivusta, takaa ja lähikuvana. Käytä kiinteää siementä ja kiinteää referenssikuvaa näiden luomiseen. Hienosäädä kehotteita, kunnes hahmolomake on johdonmukainen.

Kun sinulla on johdonmukainen hahmolomake, käytä sitä referenssinä kaikissa myöhemmissä luonneissa. Kun luot kohtauksen, käytä hahmolomakkeen kuvaa referenssinä. Säädät kehotetta kuvaamaan kohtausta, mutta pidät identiteetin piirteet ankkuroituna rakenteellisilla kuvauksilla.

Tämä työnkulku on sovellettavissa eri työkaluissa. Olipa kyseessä Leonardo.ai mallikoulutusominaisuuksiin tai DALL-E 3 tarkkaan kehotteenmuotoiluun, periaate on sama: luo ensin identiteetti, vaihtele sitten kohtausta. Jos ohitat hahmolomakkeen, käytät enemmän aikaa epäsuhtien korjaamiseen kuin sisällön luomiseen.