Ինչպես պահպանել կերպարների հետևողականությունը AI-ով գեներացված պատկերներում

Ձեր կերպարները տարբերվում են յուրաքանչյուր պատկերում, քանի որ դիֆուզիոն մոդելները յուրաքանչյուր հրահանգ դիտարկում են որպես նոր, մեկուսացված օրինակ՝ առանց նախկին արդյունքների հիշողության։ Հետևողականությունը ապահովելու համար անհրաժեշտ է կառավարել գեներացիայի ուղին, ապահովել վիզուալ էտալոն պատկերներ և գրել կառուցվածքային նկարագրիչներ, որոնք ամրապնդում են նույնական հատկանիշները։

Հիմնական պատճառը. ինչու են դիֆուզիոն մոդելները յուրաքանչյուր հրահանգ դիտարկում որպես նոր օրինակ

Դիֆուզիոն մոդելները չունեն հաստատուն վիճակ։ Երբ դուք գեներացնում եք պատկեր, մոդելը սկսում է պատահական աղմուկից և հետևում է ուղու, որը որոշվում է ձեր հրահանգով, պատահական սերմով և մոդելի ներքին կշիռներով։ Եթե դուք չեք կառավարում այս փոփոխականները, մոդելը ձեր նկարագրությունը մեկնաբանելու է մի փոքր այլ կերպ՝ յուրաքանչյուր անգամ։

Խնդիրը նրանում չէ, որ մոդելը «մոռանում» է ձեր կերպարը։ Խնդիրն այն է, որ մոդելը չունի կերպարը որպես հաստատուն էություն ունենալու հասկացություն։ Այն միայն գիտի, թե ինչպես գեներացնել պատկեր, որը համապատասխանում է տեքստային նկարագրությանը։ Եթե ձեր նկարագրությունը երկիմաստ է, մոդելը բացերը լրացնում է իր վիճակագրական նախապատվություններով։ Եթե դուք նկարագրում եք «կարմրահեր կին», առաջին գեներացիայի ժամանակ նրա մազերը կարող են լինել ձախ կողմում, երկրորդում՝ աջ, իսկ երրորդում՝ ամբողջովին փոխվել մազերի վիզուալ տեքստուրան։ Մոդելը անհետևողական չէ. այն հավատարիմ է մնում հստակեցված ոչ բավարար հրահանգին։

Սա լուծելու համար անհրաժեշտ է անցում կատարել կերպարը նկարագրելուց դեպի կերպարը մանրամասն մշակել։ Դրա համար անհրաժեշտ են երեք գործիքներ. սերմը, էտալոն պատկերը և կառուցվածքային նկարագրիչը։

Հետևողականության երեք գործիքները. սերմ, էտալոն պատկեր և կառուցվածքային նկարագրիչներ

Սերմը պատահական թիվ է, որը որոշում է սկզբնական աղմուկի պատկերը։ Եթե դուք պահպանում եք սերմը ֆիքսված, մոդելը հետևում է նույն ուղով աղմուկի տարածքում։ Սակայն, եթե նույնիսկ փոքր-ինչ փոխեք հրահանգը, ուղին շեղվում է։ Միայն սերմը բավարար չէ։

Էտալոն պատկերը վիզուալ ամրակ է։ Դուք ապահովում եք կերպարի պատկերը և խնդրում մոդելին օգտագործել այն որպես ուղեցույց նույնականության և ոճի համար։ Սա ավելի հզոր է, քան տեքստը, քանի որ այն շրջանցում է լեզվի երկիմաստությունը։ Մոդելը կարող է տեսնել քթի կոնկրետ ձևը, բաճկոնի կտրվածքը և աչքերի գույնը։

Կառուցվածքային նկարագրիչը բնավորության առանձնահատկությունների ճշգրիտ, երկրաչափական նկարագրությունն է: «Հաղորդելի» ասելու փոխարեն դուք ասում եք «անհամաչափ ակնոց, ձախ ոսպնյակը ճեղքված է, աջ ոսպնյակը՝ ամբողջ»: Սա մոդելին տալիս է կայուն թիրախ՝ ուղղվելու համար:

Սեմերի օգտագործումը գեներացիայի հաջորդականությունը ֆիքսելու համար

Եթե օգտագործում եք գործիք, որը թույլ է տալիս սահմանել սերմնային արժեք, ինչպիսիք են Midjourney-ը կամ Stable Diffusion-ը, կարող եք ֆիքսել գեներացիայի հետագիծը։ Սկսեք այնպիսի սերմնային արժեքից, որը բարձր որակի բազային պատկեր է տալիս։ Այնուհետև, պահպանեք այդ սերմնային արժեքը ֆիքսված, մինչդեռ կատարելագործում եք ձեր հրահանգը։ Սա երաշխավորում է, որ հրահանգի փոփոխությունները չեն ստիպում մոդելին անցնել բոլորովին այլ մեկնաբանության։

Սակայն հաշվի առեք, որ սերմերը խոցելի են: Եթե փոխեք կողմնային հարաբերակցությունը, մոդելի տարբերակը կամ հրահանգի կառուցվածքը, սերմը կարող է այլևս նույն արդյունքը չտալ: Դիտարկեք սերմը որպես տեղական, ոչ թե գլոբալ կառավարիչ: Այն աշխատում է պարամետրերի նեղ միջակայքում:

Կիրառելով պատկերից պատկեր աշխատանքային հոսքերը հաջորդական բարելավման համար

Հետևողականությունը պահպանելու ամենահուսալի մեթոդը պատկերից պատկեր աշխատանքային հոսքերի միջոցով հաջորդական բարելավումն է: Սկսում եք կերպարի լավ պատկերով: Այնուհետև այդ պատկերն օգտագործում եք որպես էտալոն պատկեր հաջորդ գեներացիայի համար: Տեղադրում եք հրահանգը՝ տեսարանը, դիրքը կամ լուսավորությունը փոխելու համար, միաժամանակ պահպանելով կերպարի ինքնատիպ հատկանիշները:

Այս տեսակի աշխատանքի համար դիմում են Adobe Firefly, Krea և Runway-ի նման գործիքներին։ Դրանք թույլ են տալիս բեռնել կոնկրետ կերպարի պատկեր և ուղղորդել նոր գեներացիան՝ հիմնվելով այդ վիզուալ մուտքի վրա։ Այս գործիքներից օգտվելիս գնահատեք արդյունքը՝ հաշվի առնելով, թե որքանով է այն պահպանում ձեզ համար կարևոր կոնկրետ նույնականացման հատկանիշները. դեմքի ձևը, հագուստի ոճը, գույնային պալիտրան։ Եթե արդյունքը շեղվում է, մեծացրեք էտալոն պատկերի կշիռը կամ խիստ դարձրեք ձեր կառուցվածքային նկարագրիչները։

Կառուցվածքային նկարագրիչների գրում, որոնք ամրապնդում են նույնական հատկանիշները

Ձեր հրահանգը պետք է պարունակի կառուցվածքային նկարագրիչներ, որոնք հնարավոր չէ սխալ մեկնաբանել: Խուսափեք սուբյեկտիվ ածականներից, ինչպիսիք են «beautiful», «cool» կամ «mysterious»: Փոխարենը օգտագործեք երկրաչափական և կոնկրետ նկարագրիչներ:

• «Կարճ, կարճ մազեր ուղիղ ճակատամազով» ավելի լավ է, քան «կարճ մազեր»։
• «Բարձր վզիկով և առանց կապույչի կաշվե բաճկոն» ավելի լավ է, քան «բաճկոն»։
• «Լայն դասավորված և մի փոքր դեպի ներքև շրջված աչքեր» ավելի լավ է, քան «տխուր աչքեր»։

Այս նկարագրիչները ամրապնդում են նույնականությունը։ Դրանք մոդելին տալիս են կայուն թիրախ։ Եթե օգտագործում եք Stable Diffusion կամ ComfyUI, կարող եք այս նկարագրիչները համատեղել LoRA վարժեցման հետ՝ կոնկրետ կերպարների տվյալների բազաների հիման վրա։ Սա թույլ է տալիս մոդելին սովորել ձեր կերպարի կոնկրետ վիզուալ առանձնահատկությունները և հետևողականորեն կիրառել դրանք տարբեր տեսարաններում։

Հաճախ հանդիպող սխալներ. անվանումների վրա չափազանց հենվելն ընդդեմ երկրաչափության թերմեկնաբանումը

Ամենատարածված սխալը անվանման վրա հենվելն է։ Եթե ձեր կերպարին անվանեք «Alice», մոդելը չգիտի, թե ով է Alice-ը։ Այն կստեղծի ընդհանուր տեսքով կին։ Անունը մոդելի համար իմաստ չունի։

Երկրորդ սխալը երկրաչափության թերմեկնաբանումն է։ Եթե գրում եք «կապույտ աչքերով կին», մոդելը կփոխի աչքերի ձևը, բիբերի չափը և հայացքի անկյունը։ Դուք պարտավոր եք նշել երկրաչափությունը. «նշաձև աչքեր՝ վերին կոպի թեթև ծալքով»։

Մի շփոթեք նույնականությունը ոճի հետ։ Նույնականությունը կայուն հիմքն է. դեմքը, մազերը, մարմնի տիպը։ Ոճը փոփոխական մասն է. լուսավորությունը, ֆոնը, դիրքը։ Ձեր հրահանգը պետք է առանձնացնի այս երկուսը։ Նույնականության առանձնահատկությունները պետք է նկարագրվեն ճշգրտությամբ։ Ոճի առանձնահատկությունները կարելի է ավելի ազատ թողնել։

Աշխատանքային հոսք. կերպարի էջի ստեղծում մինչև տեսարանի ստեղծումը

Նախքան որևէ տեսարան ստեղծելը, ստեղծեք կերպարի էջ։ Սա պատկերների հավաքածու է, որը ցույց է տալիս ձեր կերպարը բազմաթիվ անկյուններից. առջևից, կողքից, հետևից և խոշոր պլանով։ Այս պատկերները ստեղծելու համար օգտագործեք ֆիքսված սերմ և ֆիքսված էտալոն պատկեր։ Կատարելագործեք հրահանգները մինչև կերպարի էջը հետևողական դառնա։

Երբ ունենաք հետևողական կերպարի էջ, օգտագործեք այն որպես էտալոն պատկեր բոլոր հաջորդ գեներացիաների համար։ Երբ ստեղծում եք տեսարան, կօգտագործեք կերպարի էջի պատկերը որպես էտալոն մուտք։ Դուք կհարմարեցնեք հրահանգը՝ նկարագրելու համար տեսարանը, բայց կպահպանեք նույնականության առանձնահատկությունները՝ հենվելով կառուցվածքային նկարագրիչների վրա։

Այս աշխատանքային հոսքը կիրառելի է տարբեր գործիքներում։ Անկախ նրանից, օգտագործում եք Leonardo.ai մոդելի վարժեցման հնարավորությունների համար, թե DALL-E 3՝ մանրամասն հրահանգների ինժեներիայի համար, սկզբունքը նույնն է. նախ հաստատեք նույնականությունը, ապա փոխեք տեսարանը։ Եթե բաց թողնեք կերպարի էջը, ավելի շատ ժամանակ կծախսեք անհամապատասխանություններն ուղղելու, քան բովանդակություն ստեղծելու վրա։