Cara Mengekalkan Konsistensi Karakter Merentas Imej Dijana oleh AI

Karakter anda kelihatan berbeza dalam setiap imej kerana model difusi menganggap setiap prompt sebagai satu contoh baharu dan terasing tanpa memori tentang output sebelumnya. Anda memaksa konsistensi dengan mengawal laluan penjanaan, menyediakan rujukan visual, dan menulis penerangan struktur yang menambat ciri-ciri identiti.

Punca utama: mengapa model difusi menganggap setiap prompt sebagai contoh baharu

Model difusi tidak mempunyai keadaan kekal. Apabila anda menjana imej, model bermula daripada hingar rawak dan mengikuti laluan yang ditentukan oleh prompt anda, benih rawak, dan pemberat dalaman model. Jika anda tidak mengawal pemboleh ubah ini, model akan mentafsir penerangan anda dengan cara yang sedikit berbeza setiap kali.

Masalahnya bukan kerana model "lupa" karakter anda. Sebaliknya, model tidak mempunyai konsep tentang karakter sebagai entiti kekal. Ia hanya tahu cara menjana imej yang sepadan dengan penerangan teks. Jika penerangan anda kabur, model mengisi kekosongan dengan bias statistiknya sendiri. Jika anda menerangkan "wanita berambut merah", satu penjanaan mungkin meletakkan rambutnya di kiri, satu lagi di kanan, dan satu lagi mungkin mengubah tekstur rambut sepenuhnya. Model tidak tidak konsisten; ia setia kepada arahan yang samar.

Untuk menyelesaikan ini, anda mesti beralih daripada menerangkan karakter kepada menentukan karakter. Ini memerlukan tiga tuas: benih, imej rujukan, dan penerangan struktur.

Tiga tuas konsistensi: benih, imej rujukan, dan penerangan struktur

Benih ialah nombor rawak yang menentukan corak hingar permulaan. Jika anda mengekalkan benih tetap, model mengikuti laluan yang sama melalui ruang hingar. Walau bagaimanapun, jika anda mengubah prompt walaupun sedikit, laluan itu akan menyimpang. Benih sahaja tidak mencukupi.

Imej rujukan ialah sauh visual. Anda menyediakan imej karakter dan meminta model menggunakannya sebagai panduan untuk identiti dan gaya. Ini lebih berkesan daripada teks kerana ia mengelakkan kekaburan bahasa. Model dapat melihat bentuk spesifik hidung, potongan jaket, dan warna mata.

Penerang struktur ialah huraan geometri yang tepat mengenai ciri identiti aksara. Sebaliknya daripada mengatakan "cool", anda mengatakan "cermin mata asimetri, kanta kiri retak, kanta kanan utuh". Ini memberikan model sasaran yang stabil untuk disasarkan.

Menggunakan nilai benih untuk mengunci laluan penjanaan

Jika anda menggunakan alat yang membenarkan anda menetapkan nilai benih, seperti Midjourney atau Stable Diffusion, anda boleh mengunci laluan penjanaan. Mulakan dengan benih yang menghasilkan imej asas yang baik. Kemudian, kekalkan benih tersebut tetap semasa anda memperhalusi prompt anda. Ini memastikan bahawa perubahan dalam prompt anda tidak menyebabkan model menyimpang ke tafsiran yang sama sekali berbeza.

Walau bagaimanapun, sedarlah bahawa benih adalah rapuh. Jika anda mengubah nisbah aspek, versi model, atau struktur prompt, benih mungkin tidak lagi menghasilkan hasil yang sama. Layani benih sebagai kawalan setempat, bukan kawalan global. Ia berfungsi dalam tetingkap parameter yang sempit.

Melaksanakan aliran kerja imej-ke-imej untuk penambahbaikan berulang

Kaedah paling boleh dipercayai untuk mengekalkan konsistensi ialah penambahbaikan berulang menggunakan aliran kerja imej-ke-imej. Anda bermula dengan imej watak yang baik. Kemudian, anda menggunakan imej tersebut sebagai rujukan untuk penjanaan seterusnya. Anda laraskan prompt untuk mengubah suasana, pose, atau pencahayaan, sambil mengekalkan ciri identiti watak tanpa perubahan.

Alat seperti Adobe Firefly, Krea, dan Runway digunakan untuk kerja jenis ini. Alat ini membolehkan anda memuat naik imej watak tertentu dan membimbing penjanaan baharu berdasarkan input visual tersebut. Apabila anda menggunakan alat ini, nilaikan keluaran berdasarkan sejauh mana ia mengekalkan ciri identiti tertentu yang anda ambil berat: bentuk muka, gaya pakaian, dan palet warna. Jika keluaran menyimpang, tingkatkan berat imej rujukan atau perketatkan penerangan struktur anda.

Menulis penerangan struktur yang menambat ciri identiti

Prompt anda mesti mengandungi penerangan struktur yang tidak boleh disalah tafsir. Elakkan kata sifat yang subjektif, seperti "beautiful," "cool," atau "mysterious." Sebaliknya, gunakan penerangan yang geometrik dan khusus.

• "Rambut pendek yang dipotong dengan fringe lurus" lebih baik daripada "rambut pendek."
• "Jaket kulit dengan kolar tinggi tanpa hud" lebih baik daripada "jaket."
• "Mata yang terletak jauh antara satu sama lain dan sedikit menurun" lebih baik daripada "mata sedih."

Penerangan ini menjadi asas identiti. Ia memberikan model sasaran yang stabil. Jika anda menggunakan Stable Diffusion atau ComfyUI, anda boleh menggabungkan penerangan ini dengan latihan LoRA pada set data watak tertentu. Ini membolehkan model mempelajari ciri-ciri visual khusus watak anda dan menerapkannya secara konsisten merentas pelbagai adegan.

Kesilapan biasa: terlalu bergantung pada nama vs. kurang spesifikasi geometri

Kesilapan paling biasa ialah bergantung pada nama. Jika anda menamakan watak anda "Alice", model tidak tahu siapa Alice. Ia akan menjana seorang wanita generik. Nama tersebut tidak bermakna bagi model.

Kesilapan kedua ialah kurang spesifikasi geometri. Jika anda menyatakan "seorang wanita bermata biru", model akan mengubah bentuk mata, saiz pupil, dan sudut pandangan. Anda mesti menentukan geometrinya: "mata berbentuk badam dengan sedikit kelopak atas yang melengkung."

Jangan kelirukan identiti dengan gaya. Identiti adalah teras stabil: muka, rambut, jenis badan. Gaya adalah pemboleh ubah: pencahayaan, latar belakang, pose. Prompt anda mesti memisahkan kedua-duanya. Ciri-ciri identiti mesti diterangkan dengan tepat. Ciri-ciri gaya boleh dibiarkan lebih terbuka.

Aliran kerja: menjana helaian watak sebelum penciptaan adegan

Sebelum anda mencipta sebarang adegan, jana helaian watak. Ini ialah sekumpulan imej yang menunjukkan watak anda dari pelbagai sudut: hadapan, sisi, belakang, dan jarak dekat. Gunakan seed tetap dan imej rujukan tetap untuk menjana imej-imej ini. Halusi prompt sehingga helaian watak itu konsisten.

Setelah anda mempunyai helaian watak yang konsisten, gunakan ia sebagai rujukan untuk semua penjanaan seterusnya. Apabila anda mencipta adegan, gunakan imej helaian watak sebagai input rujukan. Anda akan menyesuaikan prompt untuk menerangkan adegan, tetapi anda akan mengekalkan ciri-ciri identiti yang dikekalkan oleh penerangan struktur.

Aliran kerja ini boleh digunakan merentas pelbagai alat. Sama ada anda menggunakan Leonardo.ai untuk keupayaan latihan model atau DALL-E 3 untuk kejuruteraan prompt terperinci, prinsipnya sama: tetapkan identiti dahulu, kemudian ubah adegan. Jika anda melangkau helaian watak, anda akan menghabiskan lebih banyak masa membaiki ketidakkonsistenan daripada mencipta kandungan.