מבנה פרומפטים ליצירת וידאו בינה מלאכותית

בנו את הפרומפט שלכם על ידי מתן עדיפות לעקביות זמנית על פני פרטים מרחביים, תוך הבטחה שהתנועה ולוגיקת המצלמה נשארות יציבות לאורך כל משך הקליפ. תנועה קוהרנטית ורצף סצנות תלויים לא בתיאור כל אלמנט חזותי בפריים, אלא בהגדרה מפורשת של אופן תנועת הנושא, לאן המצלמה מכוונת, וכיצד הסביבה נשארת או משתנה לאורך זמן.

מדוע מודלי וידאו נכשלים: עקביות זמנית מול פרטים מרחביים

מודלים של טקסט לוידאו מתקשים כי עליהם לייצר רצף סמנטי של פריימים שנראים כוידאו רציף, ולא כסדרה של תמונות סטטיות. רוב הכשלים מתרחשים כאשר המודל ממקד את המשאבים בעושר החזותי של פריימים בודדים ומתעלם מהאילוצים הלוגיים של התנועה. אם תתארו סצנה מורכבת עם פרטים מרחביים עשירים – כמו רחוב הומה עם אדריכלות מסועדת ודמויות מרובות המגיבות זו לזו – המודל לרוב יקצה את משאבי החישוב שלו לרינדור הפרטים הללו בכל פריים. כתוצאה מכך, התנועה בין הפריימים הופכת בלתי יציבה, אובייקטים מתמזגים זה בזה, או פריסת הסצנה משתנה באופן בלתי צפוי משנייה לשנייה.

הבעיה המרכזית היא שהפרט המרחבי הוא סטטי, בעוד שהתנועה היא דינמית. מודל שמתמקד בדייקנות המרקם החזותי של בניין בפריים הראשון עלול להיכשל במעקב אחר מיקומו של הבניין בפריים העשירי. כדי להשיג עקביות, עליכם לקבל שהפרומפט שלכם לא יכול לתאר כל פיקסל בסצנה. במקום זאת, עליכם לתאר את *מסלול התנועה* של הסצנה. המטרה אינה ליצור תמונה סטטית מושלמת שנקרית לתנועה; המטרה היא ליצור מסלול תנועה שנשאר סביר חזותית גם אם הפרטים מפושטים מעט.

היררכיית אלמנטים בפרומפט לוידאו

בעת בניית הפרומפט, עליכם לבסס היררכיה ברורה של אלמנטים, שכן מודלי וידאו מעניקים משקל שונה להיבטים שונים של התיאור. ההיררכיה לרוב עוקבת אחר הסדר הבא:

• נושא: מי או מה הוא המוקד הראשי. חייב להיות חד-משמעי. אם הנושא הוא אדם, הגדירו את תפקידו ומצבו.
• פעולה: מה הנושא עושה. זהו היסוד הקריטי ביותר ללכידות התנועה.
• סביבה: הרקע. צריך להיות רחב ויציב, ולא מפורט ומשתנה.
• מצלמה: כיצד הצופה תופס את הסצנה. זה מכתיב את הרכב הפריים ואת התנועה.

אם תקברו את הפעולה מתחת לשכבות של תיאור סביבתי, המודל יאבד את חוט השני של התנועה. הפרומפט צריך להתחיל בלוגיקת התנועה, ולא בפרטים האסתטיים.

תיאור תנועה: פעלים, כיוון ורמזי משך זמן

תנועה בפרומפטים לוידאו מוגדרת על ידי פעלים ספציפיים, רמזי כיוון וסימני זמן. הימנעו ממונחים עמומים כמו "moves" או "acts". במקום זאת, השתמשו בתיאורים פיזיים מדויקים.

• פעלים: השתמשו בפעלים פעילים ופיזיים. "Walks," "runs," "turns," "raises," "drops." אלו מרמזים על וקטור תנועה ספציפי. פעלים סבילים או מופשטים כמו "exists," "is present," או "expresses emotion" אינם מתורגמים היטב לנתונים קינטיים.
• כיוון: ציינו את וקטור התנועה ביחס למצלמה או לסביבה. "Moves left to right across the frame" ברור יותר מ-"moves across the frame." "Turns toward the camera" ברור יותר מ-"turns around." כיווניות מעגנת את הלוגיקה המרחבית של הסצנה.
• משך: ציינו את הקצב. "Slowly," "abruptly," "gradually." מונחים אלו מסייעים למודל להקצות משקל זמני לפעולה. פעולה איטית מאפשרת עקביות גבוהה יותר בין פריים לפריים; פעולה מהירה מסכנת טשטוש או דילוגים, ולכן דורשת שליטה הדוקה יותר במצבי ההתחלה והסיום.

שפת מצלמה: תרגום מונחי צילום קולנועי להוראות מודל

מודלי וידאו מבינים טרמינולוגיה קולנועית סטנדרטית, אך רק אם משתמשים בה כפקודה, ולא כתיאור. במקום לומר "the scene looks like a movie," השתמשו בתנועות מצלמה ספציפיות.

• צילום סטטי: "מצלמה קבועה", "צילום נעול". זהו המצב היציב ביותר לסצנות מורכבות, שכן הוא מסיר תנועת מצלמה מהמשוואה ומאפשר למודל להתמקד אך ורק בתנועת הנושא.
• צילום מעקב: "המצלמה עוקבת אחר הנושא", "צילום מעקב". יש להשתמש בזה כאשר הנושא נע באופן רציף. תנועת המצלמה חייבת להיות צמודה לתנועת הנושא.
• הזזה/הטיה: "הזזה שמאלה", "הטיה למעלה". אלו תנועות עדינות שימושיות לחשיפת חלקים מהסביבה מבלי לערער את יציבות הנושא.
• זום: "זום איטי פנימה". יש להשתמש בזהירות. זום משנה את שדה הראייה, מה שעלול לגרום לעיוות פרספקטיבה אם המודל מפרש לא נכון את עומק הסצנה.

הימנעו מתנועות מצלמה מורכבות בקליפ קצר אחד. שילוב של הזזה, זום ופעולת נושא מוביל לעיתים קרובות להיסטים מרחביים לא עקביים. בחרו תנועת מצלמה ראשית אחת והשאירו את פעולת הנושא פשוטה.

הימנעות מסחיפה זמנית: עיגון הסצנה בין פריימים

סחיפה זמנית מתרחשת כאשר פריסת הסצנה משתנה באופן עדין מפריים לפריים, מה שגורם לעצמים להיעלם, להיסט או לעבור שינוי צורה. כדי למנוע זאת, יש לעגן את הסצנה באמצעות נקודות ייחוס סטטיות.

תארו את הסביבה באמצעות אלמנטים קבועים ובלתי משתנים. "קיר לבן עם דלת אדומה אחת" יציב יותר מ"חדר צבעוני עם קישוטים שונים". ככל שיש פחות משתנים בסביבה, כך הסצנה יציבה יותר. אם חייבים לכלול אלמנטים דינמיים, יש לוודא שהם משניים לנושא הראשי.

בנוסף, הגדירו בבירור את מצבי ההתחלה והסיום. אם הקליפ אורך חמש שניות, יש לדעת בדיוק היכן נמצא הנושא בשנייה אפס ובשנייה חמש. המודל מבצע אינטרפולציה בין מצבים אלו. אם מצבי ההתחלה והסיום אינם ברורים, האינטרפולציה תהיה כאוטית.

טעויות נפוצות: תיאור יתר של מצב הסיום מול תיאור חסר של המעבר

שגיאה תכופה היא תיאור התוצאה הסופית בפירוט רב תוך הזנחת המעבר. לדוגמה, "הכוס מתנפצת על הרצפה" מתאר את מצב הסיום אך לא את הנפילה. המודל עלול לייצר את הכוס כבר מנופצת בפריים הראשון, או שהכוס עלולה להיעלם מבלי ליפול.

במקום זאת, תארו את המעבר: "הכוס נופלת מהשולחן ונשברת על הרצפה." זה מספק את מסלול התנועה. המודל חייב לייצר את הנפילה, ולא רק את התוצאה. תיאור חסר של המעבר מוביל לטלפורטציה; תיאור יתר של מצב הסיום מוביל להופעה מוקדמת.

חידוד איטרטיבי: שימוש בקליפים קצרים לבדיקת לוגיקת תנועה לפני יצירה מלאה

אל תנסו לייצר רצפים ארוכים ומורכבים במעבר אחד. התחילו עם קליפים קצרים, לרוב באורך שלוש עד חמש שניות, כדי לבדוק את לוגיקת התנועה.

1. בדקו את פעולת הנושא: צרו קליפ עם הפעולה העיקרית של הנושא בלבד ומצלמה סטטית. בדקו אם התנועה קוהרנטית. אם הנושא משנה צורה או נע בצורה לא טבעית, חידדו את הפועל ואת רמזי הכיוון.

2. הוסיפו את תנועת המצלמה: ברגע שתנועת הנושא יציבה, הכניסו את תנועת המצלמה. בדקו אם הצימוד בין הנושא למצלמה לוגי. אם המצלמה סוטה מהפריים או שהפרספקטיבה משתנה בפתאומיות, פשטו את פקודת המצלמה.

3. חידדו את הסביבה: לבסוף, הוסיפו פרטים סביבתיים. אם הסצנה סוטה או שהחפצים זזים, הסירו פרטים מהפרומפט עד שהיציבות חוזרת.

תהליך איטרטיבי זה מאפשר לבודד משתנים. כאשר הקוהרנטיות נכשלת, אתם יודעים אם התקלה נובעת מתנועת הנושא, לוגיקת המצלמה, או מורכבות הסביבה.

כלים כמו Runway, Pika, Kling ו-Haiper משמשים לרוב לתהליך האיטרטיבי הזה. כל אחד מהם נבחר עבור ניואנסים שונים בשליטה בתנועה או ביציבות הסצנה, אך השיטה הבסיסית נשארת זהה: בדקו בקטן, חדדו את הלוגיקה, והגדילו רק כאשר מסלול התנועה קוהרנטי. שפטו את הפלט לפי האם תנועת הנושא נשארת סבירה פיזית ואם פריסת הסצנה נשמרת ללא שינויי צורה.