איך לשמור על עקביות דמות בתמונות שנוצרו בינה מלאכותית

הדמויות שלך נראות שונה בכל תמונה כי מודלי דיפוזיה מתייחסים לכל פרומפט כאל מופע חדש ומבודד, ללא זיכרון של פלטים קודמים. אתה מכפה עקביות על ידי שליטה במסלול היצירה, אספקת תמונות ייחוס וכתיבת מתארים מבניים שעוגנים את מאפייני הזהות.

השורש: למה מודלי דיפוזיה מתייחסים לכל פרומפט כאל מופע חדש

למודלי דיפוזיה אין מצב מתמשך. כאשר אתה יוצר תמונה, המודל מתחיל מרעש אקראי ועוקב אחר מסלול שנקבע על ידי הפרומפט שלך, זרע האקראיות (seed) והמשקולות הפנימיות של המודל. אם אינך שולט במשתנים אלה, המודל יפרש את התיאור שלך בצורה מעט שונה בכל פעם.

הבעיה אינה שהמודל "שוכח" את הדמות שלך. הבעיה היא שלמודל אין מושג של דמות כישות מתמשכת. הוא יודע רק כיצד לייצר תמונה שתתאים לתיאור טקסטואלי. אם התיאור שלך מעורפל, המודל ממלא את החסרים בהטיות הסטטיסטיות שלו. אם אתה מתאר "אישה בעלת שיער אדום", ייתכן שביצירה אחת השיער יהיה בצד שמאל, ביצירה אחרת בצד ימין, וביצירה שלישית מרקם השיער ישתנה לחלוטין. המודל אינו חסר עקביות; הוא נאמן להוראה מעורפלת.

כדי לפתור זאת, עליך לעבור מתיאור של דמות להגדרה מדויקת של דמות. נדרשים שלושה מנופים: הזרע (seed), תמונת הייחוס והמתאר המבני.

שלושת המנופים לעקביות: זרע, תמונת ייחוס ומתארים מבניים

הזרע (seed) הוא המספר האקראי שקובע את תבנית הרעש ההתחלתית. אם תשמור על הזרע קבוע, המודל יעקב אחר אותו מסלול במרחב הרעש. עם זאת, אם תשנה את הפרומפט אפילו במעט, המסלול יסטה. הזרע לבדו אינו מספיק.

תמונת הייחוס היא עוגן חזותי. אתה מספק תמונה של הדמות ומבקש מהמודל להשתמש בה כמדריך לזהות ולסגנון. זה חזק יותר מטקסט כי זה עוקף את העמימות של השפה. המודל יכול לראות את הצורה הספציפית של האף, את חיתוך הז'קט ואת צבע העיניים.

המתאר המבני הוא תיאור גיאומטרי ומדויק של מאפייני הזהות של הדמות. במקום לומר "מגניב", יש לומר "משקפיים א-סימטריים, עדשה שמאלית סדוקה, עדשה ימנית שלמה". זה מעניק למודל יעד יציב לשאוף אליו.

שימוש בערכי זרע (seed) לנעילת מסלול היצירה

אם אתם משתמשים בכלי שמאפשר להגדיר ערך זרע (seed), כמו Midjourney או Stable Diffusion, ניתן לנעול את מסלול היצירה. התחילו עם זרע שמייצר תמונת בסיס טובה. לאחר מכן, שמרו על אותו זרע קבוע בזמן שאתם מלטשים את הפרומפט. כך תבטיחו ששינויים בפרומפט לא יגרמו למודל לסטות לפרשנות שונה לחלוטין.

עם זאת, שימו לב שזרעים (Seeds) הם שבירים. אם תשנו את יחס התמונה, את גרסת המודל או את מבנה הפרומפט, ייתכן שהזרע לא יפיק עוד את אותה תוצאה. התייחסו לזרע כאל בקרה מקומית, ולא גלובלית. הוא פועל בטווח מצומצם של פרמטרים.

יישום זרימות עבודה של תמונה-לתמונה לשיפור חוזר

השיטה האמינה ביותר לשמירה על עקביות היא ליטור חוזר באמצעות זרימות עבודה של תמונה-לתמונה. מתחילים בתמונה טובה של הדמות. לאחר מכן משתמשים בתמונה זו כתמונת ייחוס עבור הדור הבא. מתאימים את הפרומפט כדי לשנות את הסצנה, התנוחה או התאורה, תוך שמירה על מאפייני הזהות של הדמות כפי שהם.

כלים כמו Adobe Firefly, Krea ו-Runway מתאימים לסוג זה של משימות. הם מאפשרים להעלות תמונת דמות ספציפית ולהנחות את היצירה החדשה בהתבסס על קלט חזותי זה. בעת השימוש בכלים אלו, יש לשפוט את הפלט לפי מידת השמירה על מאפייני הזהות הספציפיים החשובים לכם: צורת הפנים, סגנון הלבוש ופלטת הצבעים. אם הפלט סוטה, הגדילו את המשקל של תמונת הייחוס או הדקו את המתארים המבניים שלכם.

כתיבת מתארים מבניים שמעגנים מאפייני זהות

הפרומפט חייב להכיל תיאורים מבניים שאי אפשר לפרש אותם שלא נכון. הימנעו מתארים סובייקטיביים כמו "יפה", "מגניב" או "מסתורי". במקום זאת, השתמשו בתיאורים גיאומטריים וספציפיים.

• "שיער קצר, קצוץ עם פוני ישר" עדיף על "שיער קצר".
• "מעיל עור עם צווארון גבוה וללא ברדס" עדיף על "מעיל".
• "עיניים רחבות ומעט שמוטות" עדיף על "עיניים עצובות".

המתארים האלה מעגנים את הזהות. הם מספקים למודל יעד יציב. אם אתם משתמשים ב-Stable Diffusion או ב-ComfyUI, ניתן לשלב את המתארים האלה עם אימון LoRA על מאגרי נתונים ספציפיים לדמות. זה מאפשר למודל ללמוד את המאפיינים החזותיים הספציפיים של הדמות שלכם וליישם אותם בעקביות בסצנות שונות.

טעויות נפוצות: הסתמכות יתר על שמות מול הגדרה חסרה של גיאומטריה

הטעות הנפוצה ביותר היא הסתמכות על שם. אם תקראו לדמות שלכם "Alice", המודל לא יידע מי היא Alice. הוא ייצר אישה גנרית. השם חסר משמעות עבור המודל.

הטעות השנייה היא הגדרה חסרה של גיאומטריה. אם תכתבו "אישה עם עיניים כחולות", המודל ישנה את צורת העיניים, את גודל האישונים ואת זווית המבט. עליכם לציין את הגיאומטריה: "עיניים בצורת שקד עם כיסוי קל של העפעף העליון".

אל תבלבלו בין זהות לסגנון. הזהות היא הליבה היציבה: הפנים, השיער, מבנה הגוף. הסגנון הוא המשתנה: התאורה, הרקע, התנוחה. הפרומפט שלכם חייב להפריד בין השניים. מאפייני הזהות חייבים להיות מתוארים בדיוק. מאפייני הסגנון יכולים להישאר פתוחים יותר.

זרימת עבודה: יצירת דף דמות לפני יצירת הסצנה

לפני שיוצרים סצנה, צרו דף דמות. זהו סט תמונות שמציג את הדמות שלכם מזוויות שונות: חזית, צד, אחור ותקריב. השתמשו בזרע (seed) קבוע ובתמונת ייחוס קבועה כדי ליצור אותן. שפרו את הפרומפטים עד שדף הדמות יהיה עקבי.

ברגע שיש לכם דף דמות עקבי, השתמשו בו כתמונת ייחוס לכל היצירות הבאות. כאשר תיצרו סצנה, תשתמשו בתמונת דף הדמות כקלט הייחוס. תתאימו את הפרומפט כדי לתאר את הסצנה, אך תשמרו על מאפייני הזהות מעוגנים באמצעות המתארים המבניים.

זרימת העבודה הזו ישימה בכלים שונים. בין אם אתם משתמשים ב-Leonardo.ai ליכולות אימון מודלים או ב-DALL-E 3 להנדסת פרומפטים מפורטת, העיקרון זהה: קבעו את הזהות תחילה, ואז גוונו את הסצנה. אם תדלגו על דף הדמות, תבזבזו יותר זמן על תיקון אי-עקביות מאשר על יצירת תוכן.