Cách duy trì tính nhất quán của nhân vật trong các ảnh do AI tạo ra

Các nhân vật của bạn trông khác nhau ở mỗi ảnh vì các mô hình diffusion coi mỗi prompt là một trường hợp mới, độc lập và không có bộ nhớ về các kết quả đầu ra trước đó. Bạn ép buộc tính nhất quán bằng cách kiểm soát đường dẫn tạo ảnh, cung cấp ảnh tham chiếu và viết các mô tả cấu trúc để neo giữ các đặc điểm nhận dạng.

Nguyên nhân gốc rễ: tại sao các mô hình diffusion coi mỗi prompt là một trường hợp mới

Các mô hình diffusion không có trạng thái lưu trữ liên tục. Khi bạn tạo một ảnh, mô hình bắt đầu từ nhiễu ngẫu nhiên và đi theo một đường dẫn được xác định bởi prompt của bạn, seed ngẫu nhiên và các trọng số nội tại của mô hình. Nếu bạn không kiểm soát các biến số này, mô hình sẽ diễn giải mô tả của bạn theo cách hơi khác nhau mỗi lần.

Vấn đề không phải là mô hình "quên" nhân vật của bạn. Mà là mô hình không có khái niệm về nhân vật như một thực thể tồn tại lâu dài. Nó chỉ biết cách tạo ra một ảnh khớp với mô tả văn bản. Nếu mô tả của bạn mơ hồ, mô hình sẽ lấp đầy các khoảng trống bằng các thiên kiến thống kê của riêng nó. Nếu bạn mô tả một "người phụ nữ tóc đỏ", một lần tạo ảnh có thể đặt tóc của cô ấy sang trái, lần khác sang phải, hoặc lần khác nữa có thể thay đổi hoàn toàn kết cấu hình ảnh của tóc. Mô hình không thiếu nhất quán; nó đang trung thành với một chỉ dẫn mơ hồ.

Để giải quyết điều này, bạn phải chuyển từ mô tả một nhân vật sang chỉ định cụ thể một nhân vật. Điều này đòi hỏi ba đòn bẩy: seed, ảnh tham chiếu và mô tả cấu trúc.

Ba đòn bẩy của tính nhất quán: seed, ảnh tham chiếu và mô tả cấu trúc

Seed là số ngẫu nhiên xác định mẫu nhiễu ban đầu. Nếu bạn giữ nguyên seed, mô hình sẽ đi theo cùng một đường dẫn trong không gian nhiễu. Tuy nhiên, nếu bạn thay đổi prompt dù chỉ một chút, đường dẫn sẽ phân kỳ. Chỉ riêng seed là không đủ.

Ảnh tham chiếu là một điểm neo trực quan. Bạn cung cấp một ảnh của nhân vật và yêu cầu mô hình sử dụng nó làm hướng dẫn cho nhận dạng và phong cách. Cách này mạnh mẽ hơn văn bản vì nó bỏ qua sự mơ hồ của ngôn ngữ. Mô hình có thể nhìn thấy hình dạng cụ thể của mũi, kiểu cắt của áo khoác và màu mắt.

Bộ mô tả cấu trúc là một mô tả hình học chính xác về các đặc điểm nhận dạng của nhân vật. Thay vì nói "ngầu", bạn hãy nói "kính không đối xứng, mắt kính bên trái bị nứt, mắt kính bên phải còn nguyên vẹn". Điều này cung cấp cho mô hình một mục tiêu ổn định để hướng tới.

Sử dụng giá trị seed để khóa đường dẫn tạo ảnh

Nếu bạn đang sử dụng một công cụ cho phép đặt giá trị seed, chẳng hạn như Midjourney hoặc Stable Diffusion, bạn có thể khóa đường dẫn tạo ảnh. Hãy bắt đầu với một seed tạo ra hình nền tốt. Sau đó, giữ nguyên seed đó trong khi bạn tinh chỉnh prompt. Điều này đảm bảo rằng những thay đổi trong prompt không khiến mô hình chuyển sang một cách diễn giải hoàn toàn khác.

Tuy nhiên, hãy lưu ý rằng các seed khá nhạy cảm. Nếu bạn thay đổi tỷ lệ khung hình, phiên bản mô hình hoặc cấu trúc prompt, seed có thể không còn tạo ra kết quả tương tự nữa. Hãy coi seed là một công cụ điều khiển cục bộ, không phải toàn cục. Nó hoạt động hiệu quả trong một phạm vi tham số hẹp.

Triển khai quy trình làm việc từ ảnh sang ảnh để tinh chỉnh lặp lại

Phương pháp đáng tin cậy nhất để duy trì sự nhất quán là tinh chỉnh lặp lại bằng cách sử dụng quy trình làm việc từ ảnh sang ảnh. Bạn bắt đầu với một hình ảnh tốt của nhân vật. Sau đó, bạn sử dụng hình ảnh đó làm ảnh tham chiếu cho lần tạo tiếp theo. Bạn điều chỉnh prompt để thay đổi cảnh, tư thế hoặc ánh sáng, trong khi vẫn giữ nguyên các đặc điểm nhận dạng của nhân vật.

Các công cụ như Adobe Firefly, Krea và Runway thường được lựa chọn cho loại công việc này. Chúng cho phép bạn tải lên một hình ảnh nhân vật cụ thể và hướng dẫn quá trình tạo mới dựa trên đầu vào hình ảnh đó. Khi sử dụng các công cụ này, hãy đánh giá kết quả dựa trên mức độ bảo toàn các đặc điểm nhận dạng cụ thể mà bạn quan tâm: hình dáng khuôn mặt, phong cách trang phục, bảng màu. Nếu kết quả bị lệch, hãy tăng trọng số của ảnh tham chiếu hoặc thắt chặt các bộ mô tả cấu trúc của bạn.

Viết các bộ mô tả cấu trúc để neo giữ các đặc điểm nhận dạng

Prompt của bạn phải chứa các bộ mô tả cấu trúc không thể bị hiểu sai. Tránh các tính từ mang tính chủ quan, chẳng hạn như "đẹp", "ngầu" hoặc "bí ẩn". Thay vào đó, hãy sử dụng các bộ mô tả mang tính hình học và cụ thể.

• "Tóc ngắn cắt gọn với mái thẳng" tốt hơn là "tóc ngắn".
• "Áo khoác da cổ cao không mũ trùm" tốt hơn là "một chiếc áo khoác".
• "Đôi mắt xa nhau và hơi xếch xuống" tốt hơn là "đôi mắt buồn".

Những mô tả này giúp cố định bản sắc. Chúng cung cấp cho mô hình một mục tiêu ổn định. Nếu bạn đang sử dụng Stable Diffusion hoặc ComfyUI, bạn có thể kết hợp các mô tả này với việc huấn luyện LoRA trên các bộ dữ liệu nhân vật cụ thể. Điều này cho phép mô hình học các đặc điểm hình ảnh cụ thể của nhân vật và áp dụng chúng một cách nhất quán qua các cảnh khác nhau.

Các lỗi thường gặp: phụ thuộc quá nhiều vào tên so với thiếu chi tiết về hình học

Lỗi phổ biến nhất là dựa vào tên gọi. Nếu bạn đặt tên nhân vật là "Alice", mô hình sẽ không biết Alice là ai. Nó sẽ tạo ra một phụ nữ chung chung. Tên gọi không có ý nghĩa đối với mô hình.

Lỗi thứ hai là thiếu chi tiết về hình học. Nếu bạn nói "một phụ nữ mắt xanh", mô hình sẽ thay đổi hình dạng mắt, kích thước đồng tử và góc nhìn. Bạn phải chỉ rõ hình học: "mắt hình hạnh nhân với mí trên hơi rủ xuống."

Đừng nhầm lẫn giữa bản sắc và phong cách. Bản sắc là lõi ổn định: khuôn mặt, mái tóc, dáng người. Phong cách là yếu tố biến đổi: ánh sáng, nền, tư thế. Prompt của bạn phải tách biệt hai yếu tố này. Các đặc điểm bản sắc cần được mô tả chính xác. Các đặc điểm phong cách có thể để mở hơn.

Quy trình: tạo bảng nhân vật trước khi tạo cảnh

Trước khi tạo bất kỳ cảnh nào, hãy tạo một bảng nhân vật. Đây là tập hợp các hình ảnh hiển thị nhân vật từ nhiều góc độ: chính diện, bên hông, phía sau và cận cảnh. Sử dụng seed cố định và ảnh tham chiếu cố định để tạo ra chúng. Tinh chỉnh các prompt cho đến khi bảng nhân vật trở nên nhất quán.

Khi đã có bảng nhân vật nhất quán, hãy sử dụng nó làm ảnh tham chiếu cho tất cả các lần tạo tiếp theo. Khi tạo một cảnh, bạn sẽ dùng hình ảnh từ bảng nhân vật làm đầu vào tham chiếu. Bạn sẽ điều chỉnh prompt để mô tả cảnh đó, nhưng vẫn giữ các đặc điểm bản sắc được neo giữ bởi các mô tả cấu trúc.

Quy trình này áp dụng được cho nhiều công cụ. Dù bạn sử dụng Leonardo.ai cho khả năng huấn luyện mô hình hay DALL-E 3 cho kỹ thuật prompt chi tiết, nguyên tắc vẫn giống nhau: xác định bản sắc trước, sau đó thay đổi cảnh. Nếu bỏ qua bước tạo bảng nhân vật, bạn sẽ mất nhiều thời gian sửa chữa các điểm không nhất quán hơn là tạo nội dung.