การจัดโครงสร้างพรอมต์สำหรับการสร้างวิดีโอด้วย AI

จัดโครงสร้างพรอมต์ของคุณโดยให้ความสำคัญกับความสอดคล้องเชิงเวลาเหนือรายละเอียดเชิงพื้นที่ เพื่อให้แน่ใจว่าการเคลื่อนไหวและตรรกะของกล้องมีความเสถียรตลอดระยะเวลาของคลิป ความเคลื่อนไหวที่สอดคล้องและความต่อเนื่องของฉากไม่ได้ขึ้นอยู่กับรายละเอียดขององค์ประกอบภาพทุกส่วนในเฟรม แต่ขึ้นอยู่กับนิยามอย่างชัดเจนว่าวัตถุเคลื่อนที่อย่างไร กล้องมองไปที่ใด และสภาพแวดล้อมคงอยู่หรือเปลี่ยนแปลงอย่างไรเมื่อเวลาผ่านไป

ทำไมโมเดลวิดีโอถึงล้มเหลว: ความสอดคล้องเชิงเวลาเทียบกับรายละเอียดเชิงพื้นที่

โมเดลจากข้อความสู่วิดีโอทำงานยากเพราะต้องสร้างลำดับของเฟรมที่ดูเหมือนวิดีโอต่อเนื่อง ไม่ใช่ภาพนิ่งหลายภาพ ความล้มเหลวส่วนใหญ่เกิดขึ้นเมื่อโมเดลมุ่งเน้นความอุดมสมบูรณ์ของภาพในแต่ละเฟรมโดยละเลยข้อจำกัดเชิงตรรกะของการเคลื่อนไหว หากคุณอธิบายฉากที่ซับซ้อนด้วยรายละเอียดเชิงพื้นที่สูง เช่น ถนนที่มีผู้คนหนาแน่นพร้อมสถาปัตยกรรมที่ประณีตและตัวละครหลายตัวที่มีปฏิสัมพันธ์กัน โมเดลมักจะจัดสรรทรัพยากรการคำนวณเพื่อเรนเดอร์รายละเอียดเหล่านั้นในแต่ละเฟรม ส่งผลให้การเคลื่อนไหวระหว่างเฟรมไม่สม่ำเสมอ วัตถุเปลี่ยนรูปทรงไปมา หรือการจัดวางฉากเปลี่ยนแปลงอย่างไม่คาดคิดจากวินาทีหนึ่งไปอีกวินาทีหนึ่ง

ปัญหาหลักคือรายละเอียดเชิงพื้นที่เป็นแบบคงที่ ในขณะที่การเคลื่อนไหวเป็นแบบไดนามิก โมเดลที่มุ่งเน้นให้พื้นผิวของอาคารถูกต้องในเฟรมแรกอาจล้มเหลวในการติดตามตำแหน่งของอาคารนั้นในเฟรมที่สิบ เพื่อให้ได้ความสอดคล้อง คุณต้องยอมรับว่าพรอมต์ของคุณไม่สามารถอธิบายทุกพิกเซลของฉากได้ แทนที่จะทำเช่นนั้น คุณต้องอธิบาย *วิถี* ของฉาก เป้าหมายไม่ใช่การสร้างภาพนิ่งที่สมบูรณ์แบบซึ่งบังเอิญมีการเคลื่อนไหว แต่เป้าหมายคือการสร้างวิถีการเคลื่อนไหวที่ยังคงดูสมเหตุสมผลทางสายตาแม้ว่ารายละเอียดจะถูกทำให้เรียบง่ายลงบ้างก็ตาม

ลำดับชั้นขององค์ประกอบในพรอมต์วิดีโอ

เมื่อสร้างพรอมต์ คุณต้องกำหนดลำดับชั้นขององค์ประกอบอย่างชัดเจน เนื่องจากโมเดลวิดีโอให้น้ำหนักกับแต่ละด้านของคำอธิบายไม่เท่ากัน โดยทั่วไปลำดับชั้นจะเรียงตามนี้:

• Subject: ใครหรืออะไรคือจุดสนใจหลัก ต้องชัดเจนไม่คลุมเครือ หากเป็นบุคคล ให้ระบุบทบาทและสถานะ
• Action: สิ่งที่จุดสนใจกำลังทำ นี่คือองค์ประกอบที่สำคัญที่สุดสำหรับความต่อเนื่องของการเคลื่อนไหว
• Environment: บริบทของฉาก ควรกว้างและคงที่ ไม่ควรละเอียดหรือเปลี่ยนแปลงบ่อย
• Camera: วิธีที่ผู้ชมรับรู้ฉากนี้ ซึ่งกำหนดองค์ประกอบและการเคลื่อนไหวของเฟรม

หากคุณกลบการเคลื่อนไหวไว้ใต้คำอธิบายสภาพแวดล้อมหลายชั้น โมเดลจะเสียความต่อเนื่องของการเคลื่อนไหว คำสั่งควรเริ่มด้วยตรรกะของการเคลื่อนไหว ไม่ใช่รายละเอียดด้านความสวยงาม

การอธิบายการเคลื่อนไหว: คำกริยา ทิศทาง และตัวบ่งชี้ระยะเวลา

การเคลื่อนไหวในคำสั่งวิดีโอถูกกำหนดโดยคำกริยาเฉพาะ ตัวบ่งชี้ทิศทาง และเครื่องหมายเวลา หลีกเลี่ยงคำคลุมเครือเช่น "moves" หรือ "acts" ให้ใช้คำอธิบายทางกายภาพที่แม่นยำแทน

• Verbs: ใช้คำกริยาที่แสดงการกระทำและทางกายภาพ เช่น "Walks," "runs," "turns," "raises," "drops" คำเหล่านี้บ่งบอกถึงเวกเตอร์ของการเคลื่อนไหวที่ชัดเจน คำกริยาแบบถูกกระทำหรือเชิงนามธรรมเช่น "exists," "is present," หรือ "expresses emotion" ไม่เหมาะกับการแปลงเป็นข้อมูลการเคลื่อนไหว
• Direction: ระบุเวกเตอร์ของการเคลื่อนไหวเทียบกับกล้องหรือสภาพแวดล้อม "Moves left to right across the frame" ชัดเจนกว่า "moves across the frame" และ "Turns toward the camera" ชัดเจนกว่า "turns around" ทิศทางช่วยยึดตรรกะเชิงพื้นที่ของฉาก
• Duration: ระบุจังหวะ เช่น "Slowly," "abruptly," "gradually" คำเหล่านี้ช่วยให้โมเดลจัดสรรน้ำหนักเวลาให้กับการกระทำ การเคลื่อนไหวช้าช่วยให้มีความสอดคล้องระหว่างเฟรมมากขึ้น ส่วนการเคลื่อนไหวเร็วเสี่ยงต่อการเบลอหรือกระโดด จึงต้องควบคุมจุดเริ่มต้นและจุดจบอย่างเข้มงวด

ภาษาของกล้อง: การแปลงศัพท์ทาง cinematography เป็นคำสั่งสำหรับโมเดล

โมเดลวิดีโอเข้าใจศัพท์มาตรฐานทาง cinematography แต่เฉพาะเมื่อคุณใช้เป็นคำสั่ง ไม่ใช่คำอธิบาย แทนที่จะพูดว่า "the scene looks like a movie" ให้ใช้การเคลื่อนไหวของกล้องที่เฉพาะเจาะจง

• Static Shot: "Fixed camera," "locked-off shot." นี่คือโหมดที่เสถียรที่สุดสำหรับฉากที่ซับซ้อน เนื่องจากช่วยตัดการเคลื่อนไหวของกล้องออก ทำให้โมเดลสามารถโฟกัสเฉพาะการเคลื่อนไหวของวัตถุได้
• Tracking Shot: "Camera follows subject," "tracking shot." ใช้เมื่อวัตถุเคลื่อนที่อย่างต่อเนื่อง การเคลื่อนไหวของกล้องต้องสอดคล้องกับการเคลื่อนไหวของวัตถุ
• Pan/Tilt: "Pan left," "tilt up." เป็นการเคลื่อนไหวเล็กน้อยที่มีประโยชน์สำหรับการเปิดเผยส่วนต่าง ๆ ของสภาพแวดล้อมโดยไม่ทำให้วัตถุเสียความเสถียร
• Zoom: "Slow zoom in." ใช้ด้วยความระมัดระวัง การซูมจะเปลี่ยนมุมมอง ซึ่งอาจทำให้เกิดความบิดเบือนของมุมมองหากโมเดลตีความความลึกของฉากผิดพลาด

หลีกเลี่ยงการเคลื่อนไหวกล้องแบบผสมในคลิปสั้น ๆ เพียงหนึ่งเดียว การรวมการแพน การซูม และการกระทำของวัตถุเข้าด้วยกัน มักนำไปสู่การเปลี่ยนแปลงเชิงพื้นที่ที่ไม่สอดคล้องกัน เลือกการเคลื่อนไหวของกล้องหลักเพียงหนึ่งอย่าง และคงการกระทำของวัตถุให้ง่าย

การหลีกเลี่ยง Temporal Drift: การยึดฉากให้คงที่ระหว่างเฟรม

Temporal drift เกิดขึ้นเมื่อการจัดวางฉากเปลี่ยนแปลงเล็กน้อยจากเฟรมหนึ่งไปอีกเฟรมหนึ่ง ทำให้วัตถุหาย เปลี่ยนตำแหน่ง หรือเปลี่ยนรูป เพื่อป้องกันสิ่งนี้ ให้ยึดฉากโดยใช้จุดอ้างอิงที่คงที่

อธิบายสภาพแวดล้อมโดยใช้องค์ประกอบที่คงที่และไม่เปลี่ยนแปลง "ผนังสีขาวที่มีประตูสีแดงหนึ่งบาน" มีความเสถียรกว่า "ห้องที่มีสีสันหลากหลายพร้อมของตกแต่งต่าง ๆ" ยิ่งมีตัวแปรในสภาพแวดล้อมน้อย ฉากก็จะยิ่งเสถียรขึ้น หากจำเป็นต้องรวมองค์ประกอบที่มีการเคลื่อนไหว ให้แน่ใจว่าองค์ประกอบเหล่านั้นมีความสำคัญรองจากวัตถุหลัก

นอกจากนี้ ให้กำหนดสถานะเริ่มต้นและสถานะสิ้นสุดอย่างชัดเจน หากคลิปมีความยาวห้าวินาที ต้องรู้ตำแหน่งของวัตถุอย่างแม่นยำ ณ วินาทีที่ 0 และวินาทีที่ 5 โมเดลจะทำการอินเทอร์โพเลตระหว่างสถานะเหล่านี้ หากสถานะเริ่มต้นและสถานะสิ้นสุดไม่ชัดเจน การอินเทอร์โพเลตจะมีความวุ่นวาย

ข้อผิดพลาดทั่วไป: การอธิบายสถานะสิ้นสุดมากเกินไปเทียบกับอธิบายการเปลี่ยนผ่านน้อยเกินไป

ข้อผิดพลาดที่พบบ่อยคือการอธิบายผลลัพธ์สุดท้ายอย่างละเอียดสูง ในขณะที่ละเลยการเปลี่ยนผ่าน ตัวอย่างเช่น "แก้วแตกบนพื้น" อธิบายสถานะสิ้นสุดแต่ไม่ได้อธิบายการตก โมเดลอาจสร้างภาพแก้วที่แตกแล้วในเฟรมแรก หรือแก้วอาจหายไปโดยไม่มีการตก

ให้บรรยายการเปลี่ยนผ่านแทน เช่น "แก้วหล่นจากโต๊ะและแตกกระจายบนพื้น" วิธีนี้จะกำหนดเส้นทางของการเคลื่อนไหว โมเดลต้องสร้างกระบวนการหล่น ไม่ใช่แค่ผลลัพธ์สุดท้าย หากบรรยายการเปลี่ยนผ่านน้อยเกินไปจะเกิดอาการกระโดดข้ามตำแหน่ง หากบรรยายสถานะสุดท้ายมากเกินไปจะปรากฏขึ้นก่อนเวลาอันควร

การปรับปรุงแบบทำซ้ำ: ใช้คลิปสั้นเพื่อทดสอบตรรกะการเคลื่อนไหวก่อนการสร้างสรรค์เต็มรูปแบบ

อย่าพยายามสร้างสรรค์ลำดับที่ยาวและซับซ้อนในครั้งเดียว ให้เริ่มจากคลิปสั้นๆ ซึ่งมักมีความยาวสามถึงห้าวินาที เพื่อทดสอบตรรกะการเคลื่อนไหว

1. ทดสอบการกระทำของวัตถุ: สร้างสรรค์คลิปที่มีการกระทำหลักของวัตถุและกล้องนิ่ง ตรวจสอบว่าการเคลื่อนไหวสอดคล้องกันหรือไม่ หากวัตถุเปลี่ยนรูปหรือเคลื่อนไหวอย่างไม่เป็นธรรมชาติ ให้ปรับแก้คำกริยาและทิศทาง

2. เพิ่มการเคลื่อนที่ของกล้อง: เมื่อการเคลื่อนไหวของวัตถุเสถียรแล้ว ให้เพิ่มการเคลื่อนที่ของกล้อง ตรวจสอบว่าความเชื่อมโยงระหว่างวัตถุและกล้องมีเหตุผลหรือไม่ หากกล้องหลุดจากกรอบหรือมุมมองเปลี่ยนอย่างกะทันหัน ให้ลดความซับซ้อนของคำสั่งกล้อง

3. ปรับแต่งสภาพแวดล้อม: สุดท้าย ให้เพิ่มรายละเอียดของสภาพแวดล้อม หากฉากเลื่อนไหลหรือวัตถุขยับ ให้ลบรายละเอียดออกจากคำสั่งจนกว่าความเสถียรจะกลับมา

กระบวนการทำซ้ำนี้ช่วยให้คุณสามารถแยกตัวแปรได้ เมื่อความสอดคล้องล้มเหลว คุณจะทราบว่าข้อบกพร่องอยู่ที่การเคลื่อนไหวของวัตถุ ตรรกะของกล้อง หรือความซับซ้อนของสภาพแวดล้อม

เครื่องมืออย่าง Runway, Pika, Kling และ Haiper มักใช้ในกระบวนการทำซ้ำนี้ แต่ละเครื่องมือถูกเลือกใช้สำหรับความละเอียดอ่อนที่แตกต่างกันในการควบคุมการเคลื่อนไหวหรือความเสถียรของฉาก แต่วิธีการพื้นฐานยังคงเดิม: ทดสอบในส่วนเล็กๆ ปรับปรุงตรรกะ และขยายขนาดเฉพาะเมื่อเส้นทางของการเคลื่อนไหวมีความสอดคล้อง ประเมินผลลัพธ์จากว่าวัตถุยังคงเคลื่อนไหวได้อย่างสมจริงทางกายภาพหรือไม่ และโครงสร้างของฉากยังคงอยู่โดยไม่เปลี่ยนรูป