Paano Panatilihin ang Pagkakapareho ng Karakter sa mga Larawang Ginawa ng AI

Magkaiba ang itsura ng iyong mga character sa bawat larawan dahil itinuturing ng mga diffusion model ang bawat prompt bilang bagong, hiwalay na instance na walang alaala sa mga naunang output. Pinipilit mo ang pagkakapareho sa pamamagitan ng pagkontrol sa daan ng pagbuo, pagbibigay ng mga larawang sanggunian, at pagsulat ng mga structural descriptor na nag-aangkor sa mga katangian ng identity.

Ang ugat ng dahilan: bakit itinuturing ng mga diffusion model ang bawat prompt bilang bagong instance

Walang permanenteng estado ang mga diffusion model. Kapag bumubuo ka ng larawan, nagsisimula ang model mula sa random noise at sinusunod ang landas na tinutukoy ng iyong prompt, ng random seed, at ng mga internal weights ng model. Kung hindi mo kontrolado ang mga variable na ito, iba-iba ang pag-unawa ng model sa iyong paglalarawan sa bawat beses.

Ang problema ay hindi na nakakalimutan ng modelo ang iyong karakter. Ang problema ay wala itong konsepto ng karakter bilang isang persistent na entity. Alam lamang nito kung paano bumuo ng larawan na tumutugma sa isang paglalarawan ng teksto. Kung malabo ang iyong paglalarawan, punan ng modelo ang mga puwang gamit ang sarili nitong statistical biases. Kung ilalarawan mo ang isang "babaeng may pulang buhok," maaaring ilagay ng isang henerasyon ang buhok niya sa kaliwa, ng isa sa kanan, at ng isa pa ay maaaring baguhin nang tuluyan ang tekstura ng buhok. Hindi inconsistent ang modelo; ito ay tapat sa isang malabong instruksyon.

Upang malutas ito, kailangan mong lumipat mula sa paglalarawan ng isang karakter patungo sa pagtukoy ng isang karakter. Kinakailangan nito ang tatlong lever: ang seed, ang larawang sanggunian, at ang structural descriptor.

Ang tatlong lever ng pagkakapareho: seed, larawang sanggunian, at mga structural descriptor

Ang seed ang random na numero na tumutukoy sa simula ng pattern ng ingay. Kung panatilihing fixed ang seed, sinusunod ng modelo ang parehong daan sa espasyo ng ingay. Gayunpaman, kung baguhin ang prompt kahit kaunti, nag-iiba ang daan. Hindi sapat ang seed lamang.

Ang larawang sanggunian ay isang biswal na anchor. Magbibigay ka ng larawan ng karakter at hihilingin sa model na gamitin ito bilang gabay para sa pagkakakilanlan at estilo. Mas makapangyarihan ito kaysa teksto dahil nililimitahan nito ang kalituhan ng wika. Makikita ng model ang tiyak na hugis ng ilong, ang hiwa ng jaket, at ang kulay ng mga mata.

Ang structural descriptor ay isang eksaktong, heometrikong paglalarawan ng mga katangian ng pagkakakilanlan ng karakter. Sa halip na sabihing "cool," sabihin mong "asymmetrical eyewear, left lens cracked, right lens intact." Nagbibigay ito sa model ng isang matatag na target na atingin.

Paggamit ng seed values upang i-lock ang generation path

Kung gumagamit ka ng tool na nagpapahintulot sa iyo na itakda ang isang seed value, tulad ng Midjourney o Stable Diffusion, maaari mong i-lock ang generation path. Magsimula sa isang seed na nagbubuo ng magandang base image. Pagkatapos, panatilihing fixed ang seed habang pinapino ang iyong prompt. Tinitiyak nito na ang mga pagbabago sa iyong prompt ay hindi magdudulot ng paglayo ng model sa isang ganap na ibang interpretasyon.

Gayunpaman, isaalang-alang na fragile ang mga seed. Kung baguhin mo ang aspect ratio, ang bersyon ng model, o ang istruktura ng prompt, maaaring hindi na magbubuo ng parehong resulta ang seed. Tingnan ang seed bilang isang lokal na kontrol, hindi global. Gumagana ito sa loob ng isang makitid na window ng mga parameter.

Pag-implement ng image-to-image workflows para sa iterative refinement

Ang pinakamapagkakatiwalaang paraan upang mapanatili ang consistency ay ang iterative refinement gamit ang image-to-image workflows. Magsisimula ka sa isang magandang larawan ng karakter. Ginagamit mo ang larawang iyon bilang reference para sa susunod na generation. Ina-adjust mo ang prompt upang baguhin ang scene, pose, o lighting, habang pinapanatiling buo ang mga katangian ng pagkakakilanlan ng karakter.

Ang mga tool tulad ng Adobe Firefly, Krea, at Runway ang hinahanap para sa ganitong uri ng trabaho. Pinapayagan ka nilang mag-upload ng isang partikular na larawan ng karakter at gabayan ang bagong generation batay sa visual input na iyon. Kapag ginagamit mo ang mga tool na ito, husgahan ang output batay sa kung gaano kahusay nito napapanatili ang mga partikular na katangian ng pagkakakilanlan na iyong pinahahalagahan: ang hugis ng mukha, ang istilo ng damit, ang color palette. Kung lumiligtas ang output, palakasin ang weight ng reference image o ipikit ang iyong mga structural descriptors.

Pagsulat ng structural descriptors na nag-a-anchor sa mga katangian ng pagkakakilanlan

Ang iyong prompt ay dapat na naglalaman ng mga structural descriptors na imposible maling intindihin. Iwasan ang mga adjective na subjective, tulad ng "beautiful," "cool," o "mysterious." Sa halip, gumamit ng mga descriptor na heometrikong eksakto.

• Mas mainam ang "Short, cropped hair with a straight fringe" kaysa sa "short hair."
• Mas mainam ang "A leather jacket with a high collar and no hood" kaysa sa "a jacket."
• Mas mainam ang "Eyes that are wide-set and slightly downturned" kaysa sa "sad eyes."

Ang mga deskriptor na ito ang nag-aangkla sa pagkakakilanlan. Binibigyan nito ang modelo ng isang matatag na target. Kung ginagamit mo ang Stable Diffusion o ComfyUI, maaari mong pagsamahin ang mga deskriptor na ito sa pag-training ng LoRA sa mga tiyak na dataset ng karakter. Pinapayagan nito ang modelo na matutunan ang mga tiyak na katangiang biswal ng iyong karakter at ipatupad ang mga ito nang konsistente sa iba't ibang eksena.

Mga karaniwang pagkakamali: sobrang pag-asa sa pangalan vs. kulang na paglalarawan sa heometriya

Ang pinakakaraniwang pagkakamali ay ang pag-asa sa pangalan. Kung tinatawag mong "Alice" ang iyong karakter, walang alam ang model kung sino si Alice. Gagawin nitong generic na babae ang resulta. Walang kahulugan ang pangalan para sa model.

Ang ikalawang pagkakamali ay ang kulang na paglalarawan sa heometriya. Kung sasabihin mong "isang babae na may asul na mata," magbabago ang hugis ng mata, laki ng pupil, at anggulo ng tingin. Kailangan mong tukuyin ang heometriya: "matamis na hugis na mata na may bahagyang hooding sa itaas na talukap."

Huwalang ipalit ang identity sa style. Ang identity ang stable core: ang mukha, buhok, at uri ng katawan. Ang style ang variable: ilaw, background, at pose. Kailangang hiwalayin ng iyong prompt ang dalawang ito. Ang mga feature ng identity ay dapat ilarawan nang may katumpakan. Ang mga feature ng style ay maaaring mas bukas.

Workflow: pagbuo ng character sheet bago ang paglikha ng eksena

Bago gumawa ng anumang eksena, bumuo muna ng character sheet. Ito ay isang set ng mga larawan na nagpapakita ng iyong karakter mula sa iba't ibang anggulo: harap, gilid, likod, at close-up. Gumamit ng fixed seed at fixed reference image sa pagbuo nito. Ayusin ang mga prompts hanggang sa maging consistent ang character sheet.

Kapag mayroon ka nang consistent na character sheet, gamitin ito bilang iyong reference sa lahat ng susunod na pagbuo. Kapag gumagawa ka ng eksena, gagamitin ang larawan ng character sheet bilang reference input. Aayusin ang prompt upang ilarawan ang eksena, ngunit panatilihin ang mga feature ng identity na nakaka-anchor sa pamamagitan ng mga structural descriptors.

Ang workflow na ito ay aplikable sa iba't ibang tools. Kahit ginagamit mo ang Leonardo.ai para sa kakayahan sa pag-train ng model o DALL-E 3 para sa detalyadong prompt engineering, ang prinsipyo ay pareho: itakda muna ang identity, pagkatapos ay baguhin ang eksena. Kung lalaktawan mo ang character sheet, mas marami ang oras na gagastusin mo sa pag-aayos ng inconsistencies kaysa sa paglikha ng content.