如何維持 AI 生成圖像中的角色一致性

您的角色在每張圖像中看起來不同，是因為擴散模型將每個提示詞視為一個新的、獨立的實例，且沒有先前輸出的記憶。您可以透過控制生成路徑、提供參考圖像，以及撰寫錨定特徵的結構性描述詞來強制保持一致性。

根本原因：為什麼擴散模型將每個提示詞視為新實例

擴散模型沒有持久狀態。當您生成圖像時，模型從隨機雜訊開始，並遵循由您的提示詞、隨機種子以及模型內部權重所決定的路徑。如果您不控制這些變數，模型每次都會以略微不同的方式解讀您的描述。

問題不在於模型「忘記」了您的角色，而在於模型沒有將角色視為持久實體的概念。它只知道如何生成符合文字描述的圖像。如果您的描述含糊不清，模型會用自己的統計偏差來填補空白。如果您描述一位「紅髮女性」，一次生成可能會將頭髮放在左側，另一次放在右側，還有一次可能完全改變頭髮的視覺紋理。模型並非不一致；它是忠實於一個模糊的指令。

為解決此問題，您必須從描述角色轉向指定角色。這需要三個槓桿：種子、參考圖像和結構性描述詞。

一致性的三個槓桿：種子、參考圖像和結構性描述詞

種子是決定起始雜訊模式的隨機數。如果您保持種子固定，模型將遵循雜訊空間中的相同路徑。然而，如果您稍微更改提示詞，路徑就會發散。僅靠種子是不夠的。

參考圖像是一個視覺錨點。您提供一張角色的圖像，並要求模型將其作為身分和風格的指南。這比文字更強大，因為它繞過了語言的歧義。模型可以看到鼻子的具體形狀、夾克的剪裁以及眼睛的顏色。

結構性描述符是對角色辨識特徵的精確、幾何式描述。與其說「酷」，不如說「不對稱眼鏡，左鏡片破裂，右鏡片完好」。這能為模型提供一個穩定的目標。

使用種子值鎖定生成路徑

如果你使用的工具允許設定種子值，例如 Midjourney 或 Stable Diffusion，你可以鎖定生成路徑。先從一個能產生良好基礎圖像的種子開始。接著，在精簡提示詞時保持該種子不變。這能確保提示詞的變動不會導致模型轉向完全不同的詮釋。

然而，請注意種子值是脆弱的。如果你改變長寬比、模型版本或提示詞結構，種子可能無法再產生相同的結果。將種子視為局部控制，而非全域控制。它僅在狹窄的參數範圍內有效。

實施圖生圖工作流程以進行迭代精簡

維持一致性的最可靠方法是透過圖生圖工作流程進行迭代精簡。你先從一張良好的角色圖像開始。然後將該圖像作為下一次生成的參考圖像。你調整提示詞以改變場景、姿勢或光照，同時保持角色的辨識特徵不變。

這類工作通常會選用 Adobe Firefly、Krea 和 Runway 等工具。它們允許你上傳特定的角色圖像，並根據該視覺輸入引導新的生成結果。使用這些工具時，請根據輸出結果保留你重視的特定辨識特徵的程度來評估：臉部形狀、服裝風格、調色盤。如果輸出結果出現偏差，請提高參考圖像的權重或緊縮你的結構性描述符。

撰寫錨定辨識特徵的結構性描述符

你的提示詞必須包含不可能被誤解的結構性描述符。避免使用主觀形容詞，例如「美麗」、「酷」或「神秘」。相反地，使用幾何且具體的描述符。

• 「短髮、剪齊瀏海」優於「短髮」。
• 「高領且無帽兜的皮夾克」優於「夾克」。
• 「眼距寬且略微下垂的眼睛」優於「憂鬱的眼睛」。

這些描述詞錨定角色身份，為模型提供穩定目標。若使用 Stable Diffusion 或 ComfyUI，可將這些描述詞與特定角色資料集的 LoRA 訓練結合。這讓模型學習角色的特定視覺特徵，並在不同場景中一致地套用。

常見錯誤：過度依賴名稱與幾何描述不足

最常見的錯誤是依賴名稱。若將角色命名為 "Alice"，模型並不知道 Alice 是誰，只會生成一位泛用的女性。對模型而言，名稱毫無意義。

第二個錯誤是幾何描述不足。若僅說「藍眼睛的女性」，模型會改變眼睛形狀、瞳孔大小與視線角度。必須明確指定幾何特徵：「杏仁形眼睛，上眼瞼略微下垂。」

勿混淆身份與風格。身份是穩定核心：臉部、頭髮、體型。風格是變數：光照、背景、姿勢。提示詞必須區分兩者。身份特徵需精確描述，風格特徵則可較開放。

工作流程：在場景創作前先生成角色設定表

在創作任何場景前，先生成角色設定表。這是一組從多角度展示角色的圖像：正面、側面、背面與特寫。使用固定種子與固定參考圖像來生成這些圖像。反覆調整提示詞，直到角色設定表保持一致。

一旦擁有一致的角色設定表，便將其作為後續所有生成的參考依據。創作場景時，將角色設定表圖像作為參考輸入。調整提示詞以描述場景，但透過結構性描述詞錨定身份特徵。

此工作流程適用於各種工具。無論使用 Leonardo.ai 的模型訓練功能，或是 DALL-E 3 進行詳細提示詞工程，原則相同：先確立身份，再變化場景。若跳過角色設定表，花在修正不一致性的時間將多於創作內容的時間。