Jak utrzymać spójność postaci w obrazach generowanych przez AI

Twoje postacie wyglądają inaczej na każdym obrazie, ponieważ modele dyfuzyjne traktują każdy prompt jako nową, izolowaną instancję bez pamięci o wcześniejszych wynikach. Wymuszasz spójność, kontrolując ścieżkę generacji, dostarczając obrazy referencyjne oraz tworząc deskryptory strukturalne, które zakotwiczają cechy identyfikacyjne.

Przyczyna źródłowa: dlaczego modele dyfuzyjne traktują każdy prompt jako nową instancję

Modele dyfuzyjne nie posiadają stanu trwałego. Gdy generujesz obraz, model zaczyna od szumu losowego i podąża ścieżką wyznaczoną przez Twój prompt, ziarno losowe oraz wewnętrzne wagi modelu. Jeśli nie kontrolujesz tych zmiennych, model będzie interpretować Twój opis nieco inaczej za każdym razem.

Problem nie polega na tym, że model „zapomina” Twoją postać. Polega na tym, że model nie posiada koncepcji postaci jako bytu trwałego. Wie jedynie, jak wygenerować obraz zgodny z opisem tekstowym. Jeśli Twój opis jest niejednoznaczny, model wypełnia luki własnymi uprzedzeniami statystycznymi. Jeśli opiszesz „rudowłosą kobietę”, jedna generacja może umieścić jej włosy po lewej stronie, inna po prawej, a jeszcze inna całkowicie zmienić teksturę włosów. Model nie jest niespójny; jest wierny nieprecyzyjnej instrukcji.

Aby to rozwiązać, musisz przejść od opisywania postaci do precyzyjnego jej specyfikowania. Wymaga to trzech dźwigni: ziarna, obrazu referencyjnego oraz deskryptora strukturalnego.

Trzy dźwignie spójności: ziarno, obraz referencyjny i deskryptory strukturalne

Ziarno to liczba losowa określająca początkowy wzór szumu. Jeśli utrzymasz stałe ziarno, model podąży tą samą ścieżką przez przestrzeń szumu. Jednak jeśli zmienisz prompt choćby nieznacznie, ścieżka się rozchodzi. Samo ziarno nie wystarczy.

Obraz referencyjny to wizualna kotwica. Dostarczasz obraz postaci i prosisz model, by użył go jako wskazówki dla tożsamości i stylu. Jest to skuteczniejsze niż tekst, ponieważ omija niejednoznaczność języka. Model może zobaczyć konkretny kształt nosa, krój kurtki oraz kolor oczu.

Deskryptor strukturalny to precyzyjny, geometryczny opis cech identyfikacyjnych postaci. Zamiast mówić „cool”, mówisz „asymetryczne okulary, lewa soczewka pęknięta, prawa soczewka nietknięta”. Daje to modelowi stabilny punkt odniesienia.

Używanie wartości seed do blokowania ścieżki generowania

Jeśli korzystasz z narzędzia umożliwiającego ustawienie wartości seed, takiego jak Midjourney lub Stable Diffusion, możesz zablokować ścieżkę generowania. Zacznij od seeda, który tworzy dobry obraz bazowy. Następnie utrzymuj ten seed bez zmian podczas dopracowywania promptu. Dzięki temu zmiany w prompcie nie spowodują, że model przejdzie do zupełnie innej interpretacji.

Należy jednak pamiętać, że ziarna są delikatne. Jeśli zmienisz proporcje obrazu, wersję modelu lub strukturę promptu, ziarno może nie dać już tego samego wyniku. Traktuj ziarno jako sterowanie lokalne, a nie globalne. Działa ono w wąskim zakresie parametrów.

Wdrażanie przepływów pracy obraz-do-obrazu w celu iteracyjnego doskonalenia

Najbardziej niezawodną metodą zachowania spójności jest iteracyjne doskonalenie przy użyciu przepływów pracy typu image-to-image. Zaczynasz od dobrego obrazu postaci. Następnie używasz tego obrazu jako obrazu referencyjnego dla kolejnej generacji. Dostosowujesz prompt, aby zmienić scenę, pozę lub oświetlenie, zachowując jednocześnie cechy identyfikacyjne postaci.

Do tego typu zadań sięga się po narzędzia takie jak Adobe Firefly, Krea i Runway. Pozwalają one przesłać konkretny obraz postaci i kierować nowym generowaniem na podstawie tego wejścia wizualnego. Korzystając z tych narzędzi, oceniaj wynik pod kątem tego, jak dobrze zachowuje on istotne dla Ciebie cechy identyfikacyjne: kształt twarzy, styl ubioru, paletę kolorów. Jeśli wynik zaczyna się rozjeżdżać, zwiększ wagę obrazu referencyjnego lub doprecyzuj swoje deskryptory strukturalne.

Pisanie deskryptorów strukturalnych zakotwiczających cechy identyfikacyjne

Twój prompt musi zawierać deskryptory strukturalne, których nie da się błędnie zinterpretować. Unikaj przymiotników subiektywnych, takich jak „beautiful”, „cool” czy „mysterious”. Zamiast tego stosuj deskryptory geometryczne i konkretne.

• „Krótkie, przycięte włosy z prostą grzywką” jest lepsze niż „krótkie włosy”.
• „Skórzana kurtka z wysokim kołnierzem i bez kaptura” jest lepsza niż „kurtka”.
• „Szeroko rozstawione, lekko opadające oczy” jest lepsze niż „smutne oczy”.

Te deskryptory zakotwiczają tożsamość. Nadają modelowi stabilny punkt odniesienia. Jeśli korzystasz ze Stable Diffusion lub ComfyUI, możesz połączyć te deskryptory z treningiem LoRA na konkretnych zbiorach danych postaci. Pozwala to modelowi nauczyć się specyficznych cech wizualnych Twojej postaci i stosować je konsekwentnie w różnych scenach.

Najczęstsze błędy: nadmierne poleganie na nazwach a niedostateczne precyzowanie geometrii

Najczęstszym błędem jest poleganie wyłącznie na nazwie. Jeśli nazwiesz swoją postać „Alice”, model nie będzie wiedział, kim jest Alice. Wygeneruje generyczną kobietę. Nazwa jest dla modelu bez znaczenia.

Drugim błędem jest niedostateczne precyzowanie geometrii. Jeśli wpiszesz „kobieta z niebieskimi oczami”, model będzie zmieniał kształt oczu, wielkość źrenic i kąt spojrzenia. Musisz precyzyjnie określić geometrię: „oczka w kształcie migdałów z lekkim nawisem górnej powieki”.

Nie myl tożsamości ze stylem. Tożsamość to stabilny rdzeń: twarz, włosy, typ sylwetki. Styl to zmienna: oświetlenie, tło, poza. Twój prompt musi rozdzielać te dwa elementy. Cechy tożsamości muszą być opisane precyzyjnie. Cechy stylu można pozostawić bardziej otwarte.

Workflow: generowanie karty postaci przed tworzeniem scen

Zanim utworzysz jakąkolwiek scenę, wygeneruj kartę postaci. To zestaw obrazów pokazujących Twoją postać z wielu perspektyw: przód, bok, tył i zbliżenie. Do ich generowania używaj stałego seeda i stałego obrazu referencyjnego. Dopracowuj prompty, aż karta postaci będzie spójna.

Gdy uzyskasz spójną kartę postaci, używaj jej jako referencji dla wszystkich kolejnych generacji. Tworząc scenę, wykorzystaj obraz z karty postaci jako wejście referencyjne. Dostosuj prompt tak, aby opisywał scenę, ale utrzymaj zakotwiczenie cech tożsamości dzięki deskryptorom strukturalnym.

Ten workflow jest uniwersalny dla różnych narzędzi. Niezależnie od tego, czy korzystasz z Leonardo.ai ze względu na możliwości treningu modeli, czy z DALL-E 3 do szczegółowego inżynierowania promptów, zasada pozostaje ta sama: najpierw ustal tożsamość, potem zmieniaj scenę. Jeśli pominiesz kartę postaci, spędzisz więcej czasu na poprawianiu niespójności niż na tworzeniu treści.