Stable Diffusion - совместить ControlNet и Regional Prompter

+29
Opaline_Arcanaв блоге Я нейрирую двумя хвостами10 февраля 2024, 16:43
Собственно вопрос — можно ли как-то заставить ControlNet применять позу только для некторого участка, заданного в Regional Prompter, а не по всей сцене?

9 комментариев

Opaline_Arcana
0
Если вы используете WebUI от AUTOMATIC1111, то нельзя. Разве что этот участок вы потом перерисуете отдельно через Inpainting. В тех фреймворках, которые основаны на продвинутом скриптовании, вроде ComfyUI и Diffusers, есть варианты закодить соответствующий шейдер.

А чего именно вы пытаетесь добиться? Если создать сразу несколько персонажей, чтобы каждый в своей позе — так это можно одной ControlNet сделать, просто поставив в нужные места два болванчика вместо одного.
Lyx
+1
можно одной ControlNet сделать, просто поставив в нужные места два болванчика вместо одного.
Можно, так и делаю сейчас. Просто если один болванчик реально сложный, а второй типовой — сидит, стоит, и т.п. то в лом чутка каждый раз возиться с его добавлением, ибо редактор OpenPose3D для Контрола прямо скажем удобством не блещет, особенно когда два скелета сразу.
Opaline_Arcana ↑
0
ибо редактор OpenPose3D для Контрола прямо скажем удобством не блещет, особенно когда два скелета сразу
Рендерьте позы в Blender или в любом другом полноценном 3D-редакторе.
Lyx ↑
0
Это дело не быстрое, Блендер курить =) Может быть, когда-нибудь…

Да, и еще, по мелочи вопрос — это я уже туплю, или Regional Prompter в такое разбиение не может?
Opaline_Arcana ↑
0
Только вот так, разве что. 1,1,1,0.5;1,4,1
Maxwell ↑
+1
Еще вопрос возник? Возможно ли задавать в запросе непарные аксессуары? Например серьга только в однои ухе, или только одна перчатка надета? Никак запрос не подобрать, или оба предмета симметрично рисует, или вообще ничего.
Opaline_Arcana
0
Лучше всего для этого использовать инпейнт. Обводишь в нем нужную область, добавляешь в промт нужную деталь и выставляешь следующие параметры:
Mask blur: 8
Mask mode: Inpaint masked
Masked content: fill
Inpaint area: Whole picture
Выбрать вкладку Resize by: Scale 1
CFG Scale: 7
Denoising strength: 0.4
Спойлер
Еще можно вместо Whole picture использовать Only masked, я его использую, когда изображение слишком большое и видеокарта не справляется.
Тогда надо выставить:
Only masked padding, pixels: 192
Выбрать вкладку Resize to: 640 на 640
Denoising strength: 0.5
Остальные параметры можно не трогать.
Maxwell ↑
+2
о, шикарно на примере вышло, попробую.
Opaline_Arcana ↑
+1
Только зарегистрированные и авторизованные пользователи могут оставлять комментарии.