Hoe je karakterconsistentie behoudt bij AI-gegenereerde afbeeldingen

Je personages zien er in elke afbeelding anders uit omdat diffusiemodellen elke prompt behandelen als een nieuwe, geïsoleerde instantie zonder geheugen van eerdere outputs. Je dwingt consistentie af door het generatiepad te sturen, visuele referenties te bieden en structurele beschrijvingen te schrijven die identiteitskenmerken verankeren.

De oorzaak: waarom diffusiemodellen elke prompt als een nieuwe instantie behandelen

Diffusiemodellen hebben geen persistente staat. Wanneer je een afbeelding genereert, begint het model met willekeurige ruis en volgt een pad dat bepaald wordt door je prompt, de willekeurige seed en de interne gewichten van het model. Als je deze variabelen niet stuurt, zal het model je beschrijving elke keer iets anders interpreteren.

Het probleem is niet dat het model je personage "vergeet". Het is dat het model geen concept heeft van een personage als een persistente entiteit. Het weet alleen hoe het een afbeelding moet genereren die overeenkomt met een tekstbeschrijving. Als je beschrijving ambigu is, vult het model de gaten op met zijn eigen statistische voorkeuren. Als je een "roodharige vrouw" beschrijft, kan het ene generatieresultaat haar haar aan de linkerkant plaatsen, het andere aan de rechterkant, en weer een ander kan de haarstructuur volledig veranderen. Het model is niet inconsistent; het is trouw aan een vage instructie.

Om dit op te lossen, moet je overstappen van het beschrijven van een personage naar het specificeren van een personage. Dit vereist drie hefbomen: de seed, het referentiebeeld en de structurele beschrijving.

De drie hefbomen voor consistentie: seed, referentiebeeld en structurele beschrijvingen

De seed is het willekeurige getal dat het startpatroon van de ruis bepaalt. Als je de seed vasthoudt, volgt het model hetzelfde pad door de ruisruimte. Als je echter zelfs maar een klein beetje aan de prompt verandert, wijkt het pad af. De seed alleen is niet voldoende.

Het referentiebeeld is een visueel anker. Je biedt een afbeelding van het personage aan en vraagt het model deze te gebruiken als leidraad voor identiteit en stijl. Dit is krachtiger dan tekst omdat het de ambiguïteit van taal omzeilt. Het model kan de specifieke vorm van de neus, de snit van de jas en de kleur van de ogen zien.

De structurele beschrijving is een precieze, geometrische omschrijving van de identiteitskenmerken van het personage. In plaats van "cool" te zeggen, zeg je "asymmetrische bril, linker lens gebroken, rechter lens intact." Dit geeft het model een stabiel doel om op te richten.

Seed-waarden gebruiken om het generatiepad te vergrendelen

Als je een tool gebruikt waarmee je een seed-waarde kunt instellen, zoals Midjourney of Stable Diffusion, kun je het generatiepad vergrendelen. Begin met een seed die een goede basismeerbeeld oplevert. Houd die seed vervolgens vast terwijl je je prompt verfijnt. Dit zorgt ervoor dat wijzigingen in je prompt het model niet laten afdwalen naar een volledig andere interpretatie.

Houd er echter rekening mee dat seeds fragiel zijn. Als je de aspectratio, de modelversie of de promptstructuur wijzigt, produceert de seed mogelijk niet meer hetzelfde resultaat. Beschouw de seed als een lokale controle, niet als een globale. Het werkt binnen een smal venster van parameters.

Image-to-image-workflows implementeren voor iteratieve verfijning

De meest betrouwbare methode om consistentie te behouden is iteratieve verfijning met behulp van image-to-image-workflows. Je begint met een goed beeld van het personage. Je gebruikt dat beeld vervolgens als referentie voor de volgende generatie. Je past de prompt aan om de scène, pose of belichting te wijzigen, terwijl de identiteitskenmerken van het personage intact blijven.

Tools zoals Adobe Firefly, Krea en Runway worden hiervoor gebruikt. Hiermee kun je een specifiek personagebeeld uploaden en de nieuwe generatie sturen op basis van die visuele input. Beoordeel bij het gebruik van deze tools het resultaat op hoe goed het de specifieke identiteitskenmerken behoudt die voor jou belangrijk zijn: de vorm van het gezicht, de stijl van de kleding, het kleurenpalet. Als het resultaat afwijkt, verhoog je het gewicht van het referentiebeeld of verfijn je je structurele beschrijvingen.

Structurele beschrijvingen schrijven die identiteitskenmerken verankeren

Je prompt moet structurele beschrijvingen bevatten die niet verkeerd geïnterpreteerd kunnen worden. Vermijd subjectieve bijvoeglijke naamwoorden zoals "beautiful," "cool" of "mysterious." Gebruik in plaats daarvan geometrische en specifieke beschrijvingen.

• "Kort, geknipt haar met een rechte pony" is beter dan "kort haar."
• "Een leren jas met een hoge kraag en zonder capuchon" is beter dan "een jas."
• "Ogen die breed uit elkaar staan en iets naar beneden wijzen" is beter dan "droevige ogen."

Deze beschrijvingen verankeren de identiteit. Ze geven het model een stabiel doelwit. Als je Stable Diffusion of ComfyUI gebruikt, kun je deze beschrijvingen combineren met LoRA-training op specifieke karakterdatasets. Hierdoor leert het model de specifieke visuele kenmerken van je personage en past het deze consistent toe in verschillende scènes.

Veelgemaakte fouten: te veel vertrouwen op namen versus te weinig specificeren van geometrie

De meest gemaakte fout is vertrouwen op een naam. Als je je personage "Alice" noemt, heeft het model geen idee wie Alice is. Het genereert een generieke vrouw. De naam betekent niets voor het model.

De tweede fout is het te weinig specificeren van geometrie. Als je "een vrouw met blauwe ogen" zegt, zal het model de vorm van de ogen, de grootte van de pupillen en de hoek van de blik variëren. Je moet de geometrie specificeren: "amandelvormige ogen met een lichte overhang van het bovenste ooglid."

Verwar identiteit niet met stijl. Identiteit is de stabiele kern: het gezicht, het haar, het lichaamstype. Stijl is de variabele: de belichting, de achtergrond, de pose. Je prompt moet deze twee scheiden. De identiteitskenmerken moeten met precisie worden beschreven. De stijlelementen kunnen meer open blijven.

Workflow: een charactersheet genereren voordat je scènes aanmaakt

Voordat je een scène aanmaakt, genereer je een charactersheet. Dit is een set afbeeldingen die je personage vanuit meerdere hoeken tonen: vooraanzicht, zijaanzicht, achterkant en close-up. Gebruik een vaste seed en een vast referentiebeeld om deze te genereren. Verfijn de prompts totdat de charactersheet consistent is.

Zodra je een consistente charactersheet hebt, gebruik je deze als referentie voor alle volgende generaties. Wanneer je een scène aanmaakt, gebruik je de afbeelding van de charactersheet als referentie-invoer. Je past de prompt aan om de scène te beschrijven, maar houdt de identiteitskenmerken verankerd via de structurele beschrijvingen.

Deze workflow is toepasbaar in verschillende tools. Of je nu Leonardo.ai gebruikt voor modeltrainingsmogelijkheden of DALL-E 3 voor gedetailleerde prompt-engineering, het principe is hetzelfde: stel eerst de identiteit vast, variëer daarna de scène. Als je de charactersheet overslaat, ben je meer tijd kwijt aan het corrigeren van inconsistenties dan aan het maken van content.