Як підтримувати послідовність персонажів у зображеннях, створених ШІ

Ваші персонажі виглядають по-різному на кожному зображенні, тому що дифузійні моделі розглядають кожен промпт як новий, ізольований випадок без пам’яті про попередні результати. Ви забезпечуєте послідовність, контролюючи шлях генерації, надаючи референсні зображення та використовуючи структурні дескриптори, які фіксують ознаки ідентичності.

Корінь проблеми: чому дифузійні моделі розглядають кожен промпт як новий випадок

У дифузійних моделях немає постійного стану. Коли ви генеруєте зображення, модель починає з випадкового шуму та йде шляхом, визначеним вашим промптом, випадковим seed та внутрішніми вагами моделі. Якщо ви не контролюєте ці змінні, модель щоразу буде інтерпретувати ваш опис трохи інакше.

Проблема не в тому, що модель «забуває» вашого персонажа. Справа в тому, що модель не має поняття персонажа як постійної сутності. Вона лише знає, як згенерувати зображення, що відповідає текстовому опису. Якщо ваш опис неоднозначний, модель заповнює пропуски власними статистичними упередженнями. Якщо ви описуєте «жінку з рудим волоссям», в одному випадку волосся може бути зліва, в іншому — справа, а в третьому — зміниться текстура волосся. Модель не є непослідовною; вона вірна нечіткій інструкції.

Щоб вирішити це, потрібно перейти від опису персонажа до його специфікації. Для цього потрібні три важелі: seed, референсне зображення та структурний дескриптор.

Три важелі послідовності: seed, референсне зображення та структурні дескриптори

Seed — це випадкове число, яке визначає початковий шаблон шуму. Якщо ви фіксуєте seed, модель проходить той самий шлях через простір шуму. Однак, якщо ви навіть трохи зміните промпт, шлях відхиляється. Самого seed недостатньо.

Референсне зображення є візуальним якорем. Ви надаєте зображення персонажа та просите модель використовувати його як орієнтир для ідентичності та стилю. Це ефективніше за текст, оскільки дозволяє обійти неоднозначність мови. Модель бачить конкретну форму носа, крій куртки та колір очей.

Структурний дескриптор — це точний геометричний опис ідентифікаційних ознак персонажа. Замість слова «крутий» використовуйте «асиметричні окуляри, ліва лінза тріснута, права лінза ціла». Це надає моделі стабільну ціль для відтворення.

Використання значень seed для фіксації шляху генерації

Якщо ви використовуєте інструмент, що дозволяє встановлювати значення seed, наприклад Midjourney або Stable Diffusion, ви можете зафіксувати шлях генерації. Почніть із seed, який дає якісне базове зображення. Потім залишайте це значення незмінним, уточнюючи свій промпт. Це гарантує, що зміни в промпті не змусять модель відхилитися в бік зовсім іншої інтерпретації.

Проте врахуйте, що значення seed є крихкими. Якщо ви зміните співвідношення сторін, версію моделі або структуру промпту, seed може більше не дати того самого результату. Розглядайте seed як локальний, а не глобальний контроль. Він працює в межах вузького діапазону параметрів.

Впровадження workflow «зображення-в-зображення» для ітеративного вдосконалення

Найнадійніший метод підтримки консистентності — ітеративне вдосконалення за допомогою workflow «зображення-в-зображення». Ви починаєте з якісного зображення персонажа. Потім використовуєте це зображення як референсне для наступної генерації. Ви коригуєте промпт для зміни сцени, пози або освітлення, зберігаючи при цьому ідентифікаційні ознаки персонажа незмінними.

Для таких завдань звертаються до інструментів на кшталт Adobe Firefly, Krea та Runway. Вони дозволяють завантажувати конкретне зображення персонажа та спрямовувати нову генерацію на основі цього візуального входу. Використовуючи ці інструменти, оцінюйте результат за тим, наскільки добре збережено конкретні ідентифікаційні ознаки, які вас цікавлять: форму обличчя, стиль одягу, колірну палітру. Якщо результат відхиляється, збільште вагу референсного зображення або уточніть свої структурні дескриптори.

Написання структурних дескрипторів, що закріплюють ідентифікаційні ознаки

Ваш промпт повинен містити структурні дескриптори, які неможливо неправильно інтерпретувати. Уникайте суб'єктивних прикметників, таких як «гарний», «крутий» чи «загадковий». Натомість використовуйте геометричні та конкретні дескриптори.

• «Коротке стрижене волосся з прямою чолкою» краще, ніж «коротке волосся».
• «Шкіряна куртка з високим коміром без капюшона» краще, ніж «куртка».
• «Широко розставлені та ледь опущені очі» краще, ніж «сумні очі».

Ці дескриптори закріплюють ідентичність. Вони надають моделі стабільну ціль. Якщо ви використовуєте Stable Diffusion або ComfyUI, ви можете поєднати ці дескриптори з навчанням LoRA на спеціальних наборах даних персонажів. Це дозволяє моделі вивчити специфічні візуальні риси вашого персонажа та послідовно застосовувати їх у різних сценах.

Поширені помилки: надмірна залежність від імен проти недостатньої деталізації геометрії

Найпоширеніша помилка — покладатися на ім'я. Якщо ви назвете свого персонажа "Alice", модель не матиме уявлення про те, хто така Alice. Вона згенерує типову жінку. Для моделі ім'я не має сенсу.

Друга помилка — недостатня деталізація геометрії. Якщо ви напишете "жінка з блакитними очима", модель змінюватиме форму очей, розмір зіниць та кут погляду. Необхідно чітко описати геометрію: "мигдалеподібні очі з легким навісом верхньої повіки".

Не плутайте ідентичність зі стилем. Ідентичність — це стабільне ядро: обличчя, волосся, тип статури. Стиль — це змінна частина: освітлення, фон, поза. Ваш промпт має розділяти ці два аспекти. Ознаки ідентичності слід описувати точно. Ознаки стилю можна залишити більш відкритими.

Робочий процес: створення аркуша персонажа перед генерацією сцени

Перш ніж створювати будь-яку сцену, згенеруйте аркуш персонажа. Це набір зображень, що показують вашого персонажа з різних ракурсів: спереду, збоку, ззаду та крупним планом. Для їх генерації використовуйте фіксоване seed та фіксоване референсне зображення. Уточнюйте промпти, доки аркуш персонажа не стане послідовним.

Коли ви отримаєте послідовний аркуш персонажа, використовуйте його як референс для всіх наступних генерацій. Під час створення сцени ви використовуватимете зображення з аркуша персонажа як вхідний референс. Ви коригуватимете промпт для опису сцени, але зберігатимете ознаки ідентичності закріпленими за допомогою структурних дескрипторів.

Цей робочий процес застосовний у різних інструментах. Чи використовуєте ви Leonardo.ai для можливостей навчання моделей, чи DALL-E 3 для детального інженерингу промптів, принцип залишається тим самим: спочатку визначте ідентичність, а потім змінюйте сцену. Якщо ви пропустите етап аркуша персонажа, ви витратите більше часу на виправлення невідповідностей, ніж на створення контенту.