วิธีรักษาความสม่ำเสมอของตัวละครในภาพที่สร้างด้วย AI

ตัวละครของคุณดูแตกต่างกันในทุกภาพเพราะโมเดลแบบ diffusion มองแต่ละคำสั่งเป็นอินสแตนซ์ใหม่ที่แยกอิสระ โดยไม่มีความจำจากผลลัพธ์ก่อนหน้า คุณสามารถบังคับความสม่ำเสมอได้โดยควบคุมเส้นทางของการสร้าง จัดเตรียมภาพอ้างอิง และเขียนคำอธิบายเชิงโครงสร้างที่ยึดคุณลักษณะของตัวตน

สาเหตุหลัก: ทำไมโมเดลแบบ diffusion ถึงมองทุกคำสั่งเป็นอินสแตนซ์ใหม่

โมเดลแบบ diffusion ไม่มีสถานะถาวร เมื่อคุณสร้างภาพ โมเดลจะเริ่มจากสัญญาณรบกวนแบบสุ่มและเดินตามเส้นทางที่กำหนดโดยคำสั่งของคุณ, ค่า seed แบบสุ่ม, และน้ำหนักภายในของโมเดล หากคุณไม่ควบคุมตัวแปรเหล่านี้ โมเดลจะตีความคำอธิบายของคุณในแบบที่แตกต่างเล็กน้อยทุกครั้ง

ปัญหาไม่ได้อยู่ที่โมเดล "ลืม" ตัวละครของคุณ แต่อยู่ที่โมเดลไม่มีแนวคิดเรื่องตัวละครในฐานะเอนทิตีถาวร มันรู้เพียงวิธีสร้างภาพที่ตรงกับคำอธิบายข้อความ หากคำอธิบายของคุณคลุมเครือ โมเดลจะเติมเต็มช่องว่างด้วยอคติทางสถิติของมันเอง หากคุณอธิบาย "ผู้หญิงผมแดง" การสร้างหนึ่งครั้งอาจวางผมไว้ด้านซ้าย อีกครั้งวางไว้ด้านขวา หรืออาจเปลี่ยนพื้นผิวเส้นผมทั้งหมด โมเดลไม่ได้ขาดความสม่ำเสมอ แต่กำลังซื่อสัตย์ต่อคำสั่งที่คลุมเครือ

เพื่อแก้ปัญหานี้ คุณต้องเปลี่ยนจากการ "อธิบาย" ตัวละครเป็นการ "ระบุรายละเอียด" ตัวละคร ซึ่งต้องใช้สามกลไกหลัก: seed, ภาพอ้างอิง, และคำอธิบายเชิงโครงสร้าง

สามกลไกของความสม่ำเสมอ: seed, ภาพอ้างอิง, และคำอธิบายเชิงโครงสร้าง

Seed คือตัวเลขสุ่มที่กำหนดรูปแบบสัญญาณรบกวนเริ่มต้น หากคุณคงค่า seed ไว้คงที่ โมเดลจะเดินตามเส้นทางเดิมผ่านพื้นที่สัญญาณรบกวน อย่างไรก็ตาม หากคุณเปลี่ยนคำสั่งแม้เพียงเล็กน้อย เส้นทางก็จะเบี่ยงเบนไป Seed เพียงอย่างเดียวไม่เพียงพอ

ภาพอ้างอิงคือจุดยึดทางสายตา คุณจัดเตรียมภาพของตัวละครและขอให้โมเดลใช้เป็นแนวทางสำหรับตัวตนและสไตล์ วิธีนี้มีประสิทธิภาพกว่าข้อความเพราะหลีกเลี่ยงความคลุมเครือของภาษา โมเดลสามารถเห็นรูปทรงเฉพาะของจมูก, ทรงของแจ็กเก็ต, และสีของดวงตาได้

ตัวอธิบายโครงสร้างคือการบรรยายลักษณะเฉพาะของตัวละครอย่างแม่นยำและเชิงเรขาคณิต แทนที่จะใช้คำว่า "เท่" ให้ใช้ "แว่นตาแบบไม่สมมาตร เลนส์ซ้ายร้าว เลนส์ขวาสมบูรณ์" ซึ่งช่วยให้โมเดลมีเป้าหมายที่ชัดเจนและเสถียร

การใช้ค่า seed เพื่อล็อกเส้นทางของการสร้างภาพ

หากคุณใช้เครื่องมือที่อนุญาตให้กำหนดค่า seed ได้ เช่น Midjourney หรือ Stable Diffusion คุณสามารถล็อกเส้นทางของการสร้างภาพได้ เริ่มจาก seed ที่ให้ภาพพื้นฐานที่ดี จากนั้นคงค่า seed นั้นไว้ขณะปรับแต่ง prompt วิธีนี้ช่วยให้มั่นใจว่าการเปลี่ยนแปลงใน prompt จะไม่ทำให้โมเดลตีความหมายเปลี่ยนไปอย่างสิ้นเชิง

อย่างไรก็ตาม ควรตระหนักว่าค่า seed มีความเปราะบาง หากคุณเปลี่ยนอัตราส่วนภาพ เวอร์ชันของโมเดล หรือโครงสร้างของ prompt ค่า seed อาจไม่ให้ผลลัพธ์เดิมอีกต่อไป ให้มองว่า seed เป็นตัวควบคุมเฉพาะที่ ไม่ใช่ตัวควบคุมทั่วไป โดยมันจะทำงานภายในขอบเขตของพารามิเตอร์ที่แคบเท่านั้น

การนำเวิร์กโฟลว์แบบ image-to-image มาใช้เพื่อปรับปรุงแบบซ้ำ ๆ

วิธีที่เชื่อถือได้ที่สุดในการรักษาความสอดคล้องคือการปรับปรุงแบบซ้ำ ๆ โดยใช้เวิร์กโฟลว์แบบ image-to-image คุณเริ่มจากภาพตัวละครที่ดี จากนั้นใช้ภาพนั้นเป็นอ้างอิงสำหรับการสร้างครั้งถัดไป คุณปรับ prompt เพื่อเปลี่ยนฉาก ท่าทาง หรือแสง โดยยังคงลักษณะเฉพาะของตัวละครไว้เหมือนเดิม

เครื่องมืออย่าง Adobe Firefly, Krea และ Runway เหมาะกับงานลักษณะนี้ เครื่องมือเหล่านี้ช่วยให้คุณสามารถอัปโหลดภาพตัวละครเฉพาะและชี้นำการสร้างใหม่โดยอาศัยอินพุตทางภาพนั้น เมื่อใช้เครื่องมือเหล่านี้ ให้ประเมินผลลัพธ์จากความสามารถในการรักษาลักษณะเฉพาะที่คุณให้ความสำคัญ: รูปทรงของใบหน้า สไตล์ของเสื้อผ้า และชุดสี หากผลลัพธ์เริ่มเบี่ยงเบน ให้เพิ่มน้ำหนักของภาพอ้างอิงหรือทำให้ตัวอธิบายโครงสร้างของคุณชัดเจนยิ่งขึ้น

การเขียนตัวอธิบายโครงสร้างเพื่อตรึงลักษณะเฉพาะของตัวละคร

Prompt ของคุณต้องมีตัวอธิบายโครงสร้างที่ตีความได้ตรงไปตรงมาและหลีกเลี่ยงความกำกวม หลีกเลี่ยงคำคุณศัพท์ที่เป็นอัตวิสัย เช่น "สวยงาม" "เท่" หรือ "ลึกลับ" ให้ใช้ตัวอธิบายที่เชิงเรขาคณิตและเจาะจงแทน

• "ผมสั้นตัดเสมอ มีหน้าม้าตรง" ดีกว่า "ผมสั้น"
• "แจ็กเก็ตหนังคอสูง ไม่มีฮู้ด" ดีกว่า "แจ็กเก็ต"
• "ดวงตาห่างกันเล็กน้อยและหางตาตกเล็กน้อย" ดีกว่า "ตาเศร้า"

คำอธิบายเหล่านี้ช่วยกำหนดเอกลักษณ์ให้ชัดเจน และมอบเป้าหมายที่มั่นคงให้กับโมเดล หากคุณใช้ Stable Diffusion หรือ ComfyUI คุณสามารถผสมผสานคำอธิบายเหล่านี้กับการเทรน LoRA บนชุดข้อมูลตัวละครเฉพาะได้ ซึ่งช่วยให้โมเดลเรียนรู้ลักษณะภาพเฉพาะของตัวละครของคุณและนำไปใช้อย่างสม่ำเสมอในทุกฉาก

ข้อผิดพลาดที่พบบ่อย: การพึ่งพาชื่อมากเกินไปกับการกำหนดรายละเอียดทางเรขาคณิตน้อยเกินไป

ข้อผิดพลาดที่พบบ่อยที่สุดคือการพึ่งพาชื่อ หากคุณตั้งชื่อตัวละครว่า "Alice" โมเดลจะไม่รู้ว่า Alice คือใคร มันจะสร้างภาพผู้หญิงทั่วไปขึ้นมา ชื่อจึงไม่มีความหมายสำหรับโมเดล

ข้อผิดพลาดที่สองคือการกำหนดรายละเอียดทางเรขาคณิตน้อยเกินไป หากคุณระบุว่า "a woman with blue eyes" โมเดลจะเปลี่ยนแปลงรูปทรงของดวงตา ขนาดของม่านตา และมุมของสายตา คุณต้องระบุรายละเอียดทางเรขาคณิตให้ชัดเจน เช่น "almond-shaped eyes with a slight hooding of the upper lid."

อย่าสับสนระหว่างอัตลักษณ์กับสไตล์ อัตลักษณ์คือแกนหลักที่คงที่: ใบหน้า ผม และรูปร่าง สไตล์คือส่วนที่เปลี่ยนแปลงได้: แสง พื้นหลัง และท่าทาง คำสั่งของคุณต้องแยกสองส่วนนี้ให้ชัดเจน คุณลักษณะด้านอัตลักษณ์ต้องถูกอธิบายอย่างแม่นยำ ในขณะที่คุณลักษณะด้านสไตล์สามารถปล่อยให้มีความยืดหยุ่นมากขึ้นได้

ขั้นตอนการทำงาน: สร้างชีตตัวละครก่อนการสร้างฉาก

ก่อนที่คุณจะสร้างฉากใดๆ ให้สร้างชีตตัวละครก่อน นี่คือชุดของภาพที่แสดงตัวละครของคุณจากหลายมุม: ด้านหน้า ด้านข้าง ด้านหลัง และภาพระยะใกล้ ใช้ seed ที่คงที่และภาพอ้างอิงที่คงที่เพื่อสร้างภาพเหล่านี้ ปรับปรุงคำสั่งจนกว่าชีตตัวละครจะมีความสม่ำเสมอ

เมื่อคุณมีชีตตัวละครที่สม่ำเสมอแล้ว ให้ใช้เป็นภาพอ้างอิงสำหรับการสร้างภาพในครั้งต่อๆ ไป เมื่อคุณสร้างฉาก คุณจะใช้อาภาพจากชีตตัวละครเป็นอินพุตอ้างอิง คุณจะปรับคำสั่งเพื่ออธิบายฉาก แต่คุณจะคงคุณลักษณะด้านอัตลักษณ์ไว้โดยใช้ตัวอธิบายเชิงโครงสร้าง

ขั้นตอนการทำงานนี้สามารถนำไปใช้ได้กับเครื่องมือต่างๆ ไม่ว่าคุณจะใช้ Leonardo.ai สำหรับความสามารถในการเทรนโมเดล หรือ DALL-E 3 สำหรับวิศวกรรมคำสั่งอย่างละเอียด หลักการยังคงเหมือนเดิม: กำหนดอัตลักษณ์ก่อน จากนั้นจึงเปลี่ยนแปลงฉาก หากคุณข้ามขั้นตอนการสร้างชีตตัวละคร คุณจะเสียเวลาไปกับการแก้ไขความไม่สอดคล้องมากกว่าการสร้างเนื้อหา