Немного моих нейросетевых артов №2

+98
Maxwellв блоге Я нейрирую двумя хвостами18 августа 2023, 15:29
Немножко поигрался с Pony Diffusion 5 и другими моделями в stable-diffusion-webui

Начнем с PD5.
Изрядно повзрослевший Спайк:
1536X1680 254КБ
Уже стоя:
1267Х1267 201КБ

Предыдущая версия модели не умела рисовать Дискорда, чтож, в этой исправили этот недочет:
768X768 69КБ

Умеет так же рисовать персонажей из G5. В данном случае Хитча. Крайне серьезного Хитча:
768Х768 89КБ

Или некоторых из G4, например, Лайтнинг Даст, про которую 4 версия модели понятия не имела:
768Х768 57КБ
768Х768 78КБ

И даже Блэкджек из фое. Но в данном примере черные полосы из ее гривы стерлись в процессе апскейла:
4000Х4000 916КБ

С помощью синтаксической конструкции [feral pony twilight sparkle: feral pony robot: 20] сгенерировал Твайлайт в виде робота.
На человеческом языке данная конструкция звучит примерно так: Нейросеть, рисуй мне feral pony twilight sparkle, а начиная с 20 шага feral pony robot. С помощью подобной конструкции я в своем предыдущем посте скрещивал Флаттершай с драконом.
1152Х1152 178КБ

Ну и далее две попытки в широкоформат.
Тем же методом, что и Твайлайт, сгенерировал Блэкджек в виде робота, но в ходе апскейла немного похерилась анатомия:
1920Х1088 263КБ
Что-то отдаленно похожее на кристальную империю:
1896Х1072 175КБ

С помощью инструмента Inpaint Sketch сделал ОСа одного своего знакомого:
1548X1548 134КБ

Парочка простеньких артов, полученных в процессе освоения плагина Auto-Photoshop-StableDiffusion-Plugin для фотошопа. Который, по сути, позволяет генерировать изображения прямо в фотошопе, но для его работы нужен запущенный параллельно stable-diffusion-webui. Работа в нем похожа на работу в Inpaint Sketch, но со всеми плюсами фотошопа. Я пользовался лишь одной функцией плагина — img2img.
Твайлайт:
528X958 132КБ
Ну и процесс рисования, если можно так выразиться:
2626X1888 326КБ
Было ошибкой использовать в качестве основы набросок черной кистью. Поэтому во второй раз решил намалевать цветными пятнами парочку своих ОСов.
1281X875 126КБ
Процесс создания довольно короток, потому что практически не вносил никаких правок.
512X1070 71KB
С этим плагином и всеми возможностями фотошопа, конечно, намного удобнее получить именно тот арт, который ты хочешь. Правда, загвоздка в том, что для этого надо обладать навыками пользования фотошопа и рисования, которыми, к сожалению, я не обладаю. Но зато появился стимул ими овладеть :)

Ну и несколько рандомных поняшек.
768Х768 46КБ
768Х768 54КБ
768Х768 61КБ

А теперь PD4.
Как выше говорил, четвертая версия не умеет рисовать Лайтнинг Даст. Поэтому пришлось самому испечь под нее лору.
512Х512 68КБ
512Х512 76КБ
512Х512 71КБ

4096Х4096 912КБ
1920Х1088 206КБ
Считаю, что лора получилась не совсем удачной, так, как в ней помимо атрибутов присущих персонажу запеклись еще и позы со стилями. Но в прочем, этим грешит большинство лор.

Пони со световым мечом, при помощи лоры light saber:
1280Х1280 219КБ

Пара рандомных поняшек:
512Х512 76КБ
512Х512 48КБ

Ну и далее хуманизации, сделанные при помощи нескольких анимешных моделей.

Сансет Шиммер, при помощи лоры Sunset Shimmer (MLP).
И модели revAnimated:
1024Х1280 138КБ
Модели A-Zovya RPG Artist Tools:
1024Х1280 185КБ
Модели Anime:
1024Х1280 211КБ

Твайлайт Спаркл, при помощи лоры Twilight Sparkle | My Little Pony / Equestria Girls.
И модели Anime:
1024Х1536 161КБ
1920Х1920 269КБ
1440Х1024 118КБ
Ну и при помощи модели Reliberate, как бы она выглядела будь живым человеком, чтоль:
1088Х1536 278КБ


Ну и бонусом троечка не пони пейзажев.
Что-то из SCP как-будто:
1920Х1088 271КБ
1920Х1088 424КБ
Разлили спектру:
1920Х1088 255КБ
И парочка чего-то абстрактного.
1024Х1536 155КБ
1024Х1536 418КБ

22 комментария

Ты в ленту не пнул
Teikan (ред.)
+1
Предыдущая версия модели не умела рисовать Дискорда, чтож, в этой исправили этот недочет
Не только Дискорда, но ещё и Мундэнсер. А вот Лемон Хартс даже V5 рисовать всё ещё не умеет…

С помощью инструмента Inpaint Sketch сделал ОСа одного своего знакомого
Шикарно! Хотя пока не прочёл описание, думал что это Селестия.

С этим плагином и всеми возможностями фотошопа, конечно, намного удобнее получить именно тот арт, который ты хочешь. Правда, загвоздка в том, что для этого надо обладать навыками пользования фотошопа и рисования, которыми, к сожалению, я не обладаю. Но зато появился стимул ими овладеть
А если овладеть навыками Blender или иного продвинутого 3D-редактора, то можно даже попробовать использовать Stable Diffusion для генерации трёхмерных изображений!
Результат пока правда так себе
но это направление активно развивается.
Кроме Photoshop'а есть ещё аналогичный SD-плагин под Krita. Она проще и к тому же бесплатна, однако для сборки нейросетевых изображений из скетчей её возможностей более чем хватает.
Lyx
+2
есть ещё аналогичный SD-плагин под Krita
Спасибо за наводку. Не придется снова мучаться с фотошопом в случае чего.
Maxwell
+2
Хорошо получилось!
Arri-o
+2
С помощью подобной конструкции я в своем предыдущем посте скрещивал Флаттершай с драконом.
Pony V5 уже достаточно интеллектуальна, чтобы скрещивать виды (робот, грифон, дракон и т.д.) даже без таких трюков. Просто написать напрямую — princess luna as dragon или dragon apple bloomи это работает

Ещё для работы с нейронками очень полезен набор свободных фильтров G'MIC. В Krita начиная с 5.0 он встроен по умолчанию, для Photoshop'а его придётся ставить и настраивать отдельно.
Наиболее полезный фильтр из этого набора — Constrained Sharpen, поскольку он убирает остаточное мыльцо от некоторых «мыльных» сэмплеров типа Euler_A.
Как-то так

Другие важные фильтры — MS NL-Means C Noise2 и Multi Scale smoothing, поскольку они удаляют остаточный гауссов шум (зернистость) после некоторых нейронок. Во времена Pony V3.1 они были просто маст хэв, потому что зернило сильно, современные же нейронки уже не настолько шумны, поэтому востребованность этих фильтров упала.
Ещё полезный фильтр — Colorize [Interactive]. Это даже не столько фильтр, сколько мини-редактор для быстрой раскраски чёрно-белого скетча или лайнарта. Можно очень быстро распихать цвета для нейронки без необходимости возюкать кистью стараясь не попадать по контурам.
Очень неплохи там и стилизационные фильтры, напримерComicbook
Кстати, о фильтрах… Нейросетевые фильтры сейчас тоже активно развиваются. Например, если в WebUI установить расширение stable-diffusion-webui-pixelization, то можно развернуть небольшую нейронку, которая позволит создавать из закинутых в неё изображений спрайтыс закосом под Pixel Art
Lyx
+3
Попробовал фильтр «умная» резкость в фотошопе, вроде бы неплохо убирает мыло.
Спойлер
Спойлер
Maxwell
+3
Нейросети все лучше и лучше. Похоже художники нужны теперь только для концептов^^
akela
+1
Пока ещё нет. По моим прикидкам, с живыми художниками нейронки полностью сравняются (так, чтобы в слепом тестировании было не отличить) году к 2027-му.
Распространение нейронок можно сравнить с распространением цифромыльниц, а потом и смартфонов. До этого фотография была жутко сложным делом (одна возня с реактивами чего стоила). Конечно, профессиональные фотографы остались, и они всё ещё востребованы, но для 99% применений хватает фото, снятого за 5 секунд на собственный смартфон.
Так и тут. Получить картинку хотят многие, причём быстро, пока настроение не пропало. А заказывать у художника — долго и сложно, да и не все могут себе позволить это в желаемых количествах, скажем чтобы заказывать по картинке в день. И шедевр им особо не нужен, хватит просто добротной иллюстрации. Нейронки такой «ширпотреб» рано или поздно покроют.
Lyx
+2
Дело в том что большинство художников делают шипотреб уровня нынешних нейронок(причем многие на уровне запроса самого дилетантского, простого вида). Честно сказать качество картинок просто поражает. Конечно можно это сравнить с фотографией которые сейчас только ленивый не сможет сделать сам, а качество подтянув фильтрами. В этом пожалуй очень много сходства. Фотографы востребованы как люди который просто сделает работу в которой тебе лень разбираться. т.е. по сути нас ждет засилье людей умеющих генерировать картинки по запросу, которые займут все ниши художников. т.е. художник станет только делать эскиз, а нейронка остальную работу. По сути это очень простой путь от которого откажуться единицы. Кто из фотографов отказывается от фотошопа и фильтров или цифровых камер? Просто они делают это более качественно и быстро чем люди не занимающиеся этим постоянно.
akela (ред.)
+1
качество картинок просто поражает.

И тем не менее у нейронок на данный момент есть несколько серьёзных проблем, сильно снижающих их применимость. И это я не про набившие оскомину руки и ступни — тут-то ситуация быстро улучшается, и в последних версиях уже нет особых проблем сгенерировать нормальные руки, пусть даже не с первого клика.
Но вот например обратите внимание, что на каждой из приведённых картинок изображена всего одна поняша. Как только вы захотите изобразить нескольких персонажей, которые как-то друг с другом взаимодействуют (целуются, обнимаются, дерутся), то сразу окажется, что нейронки это откровенно не тянут. Ну то есть получить-то такое изображение можно, но это уже отнюдь не уровень «просто вбей пять ключевиков в запрос». На это уйдёт не один час, и по затратам времени сопоставимо с ручным рисованием.
А если вы делаете не картинку, а комикс, всё ещё печальнее, потому что нейронка не сделает вам раскадровки. Кадры, композиция, резервирование места под баллончики с текстом — всё это придётся самому, ручками. И потом париться, вписывая в эту композицию сгенерированных персонажей.
Lyx
+2
Они активно развиваются так что еще научится делать. А если и нет, то можно генерировать по отдельности. Раскодровка это по сути указание художнику от сценариста что куда и как будет происходить(другой вопрос что обычно художник и сценарист одно лицо). Так что нарисовать первичные наброски, референс поз(насколько я понимаю нейронка понимает даже схематичные) и… все. Осталось только загенерировать отдельно персонажей и фон, а потом вставить их на нужные места. Что художник обычно так и так делает(кто вообще в наше время рисует сразу всю картинку, а не по слоям?)
akela (ред.)
+1
В принципе да. Но суть в том, что для создания хорошего рисунка нейронкой тоже нужно потратить заметное время, и определённые умения требуются.
Рабочий процесс тут обычно идёт двумя путями. Наиболее распространённый вариант — «сам не знаю, чего хочу, есть лишь примерное представление». Тогда нейронка запускается в свободный поиск. За ночь на средненькой карточке генерируется порядка 4 тыс. изображений, среди которых гарантированно будутинтересные вариантыИх выбираем и начинаем дорабатывать, правя запрос в желаемую сторону.
Второй вариант — точно знаем, что хотим получить. Тогда набрасываем схематичные скетчи и, выбрав подходящий,
используем для генерации
Обычно получается не совсем то (скетч творчески переосмысливается нейронкой, особенно это касается эмоциональных выражений понячьих мордочек, которые почти никогда не сохраняются), так что всё равно запрос придётся править. Особое внимание уделять рукам и ступням, которые при этом обычно не получаются с первого раза
и требуют отдельной генерации.

При этом стоит отметить, что сейчас очень многие настроены против нейронок, считая созданное ими «ненастоящим» артом. Даже если все косяки и артефакты генерации старательно исправлены, нейросетевые вещи соберут в разы меньше лайков, чем созданные живым художником. Причём на ряде ресурсов (например, furaffinity) они вообще запрещены и караются баном.

Главное же преимущество нейронок во-первых в низком пороге входа, и во-вторых — они требуют лишь знаний, но не навыков. Тогда как обучение рисованию — это почти полностью про наработку рефлексов: постановка руки, набивка глазомера и т.д. И этот процесс практически не подлежит ускорению. Обучаясь рисованию не по 4, а по 16 часов в день, вы не получите четырёхкратного прогресса. Даже и двухкратного не получите, ибо рефлексы нарабатываются медленно и печально. В случае же с нейронками — получите, тут ваш прогресс почти линейно зависит от количества затраченных на ваше обучение часов.
Lyx
+3
Да. С нейросеткой проблема именно в том чтобы добиться именно то что ты хочешь(а вот если у тебя нет четкого образа ни один художник не сделает столько концептов сколько может предоставить нейронка).
То что многие настроены против нейронок не остановит их. Как и не остановили развитее фотографии. И будет как и с фотографиями — фотоНейронка это картинаарты для бедных.
Нейронки дают великолепный результат при генерации обложек. Сопровождающих артов. И как мне видеться будут отлично дополнять инструменты художника при рисование манги/манхвы/аниме и подобного. Как минимум фон получить от нее значительно легче чем вменяемых персонажей. А при некоторой тренировке мне видеться очень простым научить ее раскрашивать персонажа что в разы упростит работу художника.
В общем как и сейчас если вы хотите выпендриться вы закажите портрет художнику, ну а если вам плевать на эти все заморочки богатых то вы обратитесь к фотографу(ну или сами сделаете). Так что гнобить нейронки будут примерно на том же уровне что фото против картины.
А вот что я жду это охрененое количество видео и анимации сделанных с помощью нейронок. Причем охрененейшего качества.
И да… когда уже появиться в играх свободный диалог с ботами? Это фича просто так и просится в рпг игры! Это же будет обалденейшная вещь. А если еще и квесты получиться прикрутить с помощью ИИ оооо это будет просто нечто. Поистине свободная игра без рельс сюжета^^
akela
+2
И да… когда уже появиться в играх свободный диалог с ботами? Это фича просто так и просится в рпг игры! Это же будет обалденейшная вещь.
С учётом того, что 99% игроков не желают прочесть даже две строчки диалога, и от НПС им нужно всего две вещи — куда бежать и кого бить, то банально нет смысла так делать. Такие игры попросту никогда не станут популярными в массовом сегменте.
Вы же не ожидаете, что массовый игрок будет играть в игры, где ему вместо перебора методом тыка двух-трёх реплик придётся при каждом взаимодействии с НПС набирать текст вручную, да ещё и думать что пишешь?

А не в массовом уже давно есть AI Dungeon, а для локального запуска таких нейронок — движки TavernAI/KoboldAI, которые фактически позволяют создать живой мир-песочницу, заполнив её НПСами и локациями, прописать правила — и дальше просто приключаться почти как с живым мастером.
Lyx
+1
При этом прикрутить качественный диалог сложно: там слишком низкая предсказуемость. И всегда найдётся некоторое количество тех игроков, кто будет искать в этих нейроках дыры, раскручивая бота на ЦП или расистские высказывания, чтобы потом хвастаться этим, просаживая репутацию игры.

Так что я не ожидаю такой фичи в играх массового сегмента по крайней мере в ближайшие 10 лет.
Lyx
+2
если прописать персонажу хорошую предысторию и обучить нейронку обходить неигровые моменты к примеру непониманием то в целом диалоги станут более живыми. Хотя конечно будет некая стена в которую все будет упираться. Но вроде как нейронки уже проходят тест Тьюринга так что отыгрывать роль они вполне умеют.
Ну насчет расизма и прочего это конечно печально. Мне больно видеть как отличные проекты просто уничтожают на корню этой всей херней с толерантностью. Но в целом ИИ и так постоянно пытаются вывести на расистки высказывания так что ничего не измениться. Чет не видел многомилионных исков на этот счет. Пока только приколы. Уже есть практика судов с владельцами нейросетей?
akela
+1
О спасибо за наводку заценю^^
А насчет не хочет прочесть… Во первых основная претензия во многих играх в том что выбор игрока ни как не влияет на мир. А тут же можно просто отпадно развернуться. Не говоря уже о прокачке репутации через диалоги с НПС и спутниками. Атмосферные разговоры. Представь какую ни будь игру вроде Red Dead Redemption 2 где можно не просто идти по сюжету, а реально общаться с НПС. И ведь совсем не обязательно заставлять игрока общаться. Можно это сделать отдельным выбором к примеру опция включить свободный диалог или просто строчка «свой ответ», который может привести к скрытым квестам или скрытой концовке.
Это не говоря уже об играх типа развлеки себя сам. Навроде песочниц или ММОРПГ. Это добавит хорошую толику реиграбельности.
И да, современные протоколы легко распознают речь так что даже печатать не обязательно. И к тому же есть хорошие говорилки которые могут озвучить речь НПС так что даже читать скорее всего не придется. Прикрутить хороший набор эмоций и получиться довольно естественный разговор. Я тут как то наткнулся на RedDeadRedemption PR и там ребята не мало выжимают из стандартных наборов эмоций. Сделать РП систуму взаимодействия с окружением, добавить возможность полноценного крафта окружения как в песочницах и такой проект как РДР станет просто невероятно популярным с кучей людей живущих в атмосферном окружение и сам создающий контент для себя и окружающих. Это значительно круче чем просто текстовая ДНД от AI
akela
+1
Гладко было на бумаге… В реальности же такие проекты будут абсолютно провальными.
Да, собственно, ещё в эпоху древних текстовых квестов парсерные платформы напрочь проиграли менюшным. Потому что среднестатистический игрок не хочет думать. Он не хочет ловить скрытые намёки от НПСа, вникать в его характер и гадать, как бы так построить диалог, чтобы получить желаемый результат. Ролевиков, желающих что-то там отыгрывать, очень малый процент. Большинство желает, чтобы их просто развлекали. Чтобы сценарист прописал и реплики ГГ тоже и не парил мозг.

Речевое общение? Далеко не все желают за компом общаться голосом, отыгрывая роль. Я бы даже сказал, что большинство не желает.
Можно это сделать отдельным выбором к примеру опция включить свободный диалог или просто строчка «свой ответ»
Если разработчик видит, что 80% игроков не будут использовать свободное общение, то станет ли он так париться ради остальных 20%? Проще использовать нейронку на этапе генерации диалогов, чтобы сэкономить бюджет, а не раздувать его подобной фичей.

такой проект как РДР станет просто невероятно популярным с кучей людей живущих в атмосферном окружение и сам создающий контент для себя и окружающих.
Вы сильно недооцениваете количество троллей, вандалов и просто папок-нагибаторов в Интернете. Онлайновый проект с такой нейронкой будут ломать через колено и уж точно запоганят всю атмосферу. Без жесточайшей модерации там очень скоро будет помойка с барренс-чатом.
Lyx
+1
Я согласен что фичу никто не стал бы делать специально. Но дело в том что она уже есть. Просто прикрути и пусть пользоваться будут двадцать из ста, но это очень даже неплохой результат(да хз, к примеру лично я, как и большинство других пользователей, большую часть функций сматрфона не использую, что не помешало производителям их добавлять и выставлять как преимущество, так что тут вообще спорно что ненужные всем и каждому функции ненужны)
Речевое общение? Далеко не все желают за компом общаться голосом, отыгрывая роль. Я бы даже сказал, что большинство не желает.

Согласен. Речь вещь своеобразная, но многие молчат потому что не о чем говорить. Не с кем общаться, а в сети полно просто придурков. А хочется иногда спокойствия. Ну и так то многие вполне себе войсчаты используют так что не сказал бы что прям большинство молчуны.
Большинство желает, чтобы их просто развлекали. Чтобы сценарист прописал и реплики ГГ тоже и не парил мозг.

Вообще РПГ со свободной системой диалогов вещь нишевая. Но в целом тем кто этого хочет, а таких много судя по поднявшемуся хайпу вокруг Baldur’s Gate 3, тех это привлечет. А судя по тому что есть текстовые игры с AI ссылку на которые ты мне сам же дал, интигрировать АИ не представляется чем то невероятно сложным раз оно доступно даже обычному пользователю.
Вы сильно недооцениваете количество троллей, вандалов и просто папок-нагибаторов

Абсолютно согласен. Поэтому должны быть создаваемые сервера с модерацией. Что довольно успешно используется да… везде. Нет нужды запихивать в мир абсолютно всех игроков, на самом деле для уютных посиделок хватает и небольшой компании реальных людей остальное погружение добавит АИ.
akela
+1
Изрядно повзрослевший Спайк
Чад Спайк, лол)
Предыдущая версия модели не умела рисовать Дискорда, чтож, в этой исправили этот недочет
Ну, в этой тоже не то, чтобы идеально, но сойдёт)
Лайтнинг Даст
Во второй картинке она чутка попутала её с Редхарт?
сгенерировал Твайлайт в виде робота.
А тут ничего вышло, да.
ОСа одного своего знакомого
Дай угадаю: он явно имеет родственные связи с Тией?)
Сансет Шиммер, при помощи лоры Sunset Shimmer (MLP).
А вот кстати офигенчик получился — все три (видно, что у сетки куда больше материала было по людям, чем по поням).
makise_homura
+2
Во второй картинке она чутка попутала её с Редхарт?

Не, я специально попросил нарисовать ее в костюме медсестры.
Дай угадаю: он явно имеет родственные связи с Тией?)

Может быть, не спрашивал).
А вот кстати офигенчик получился — все три (видно, что у сетки куда больше материала было по людям, чем по поням).

Это правда, количество моделей по рисованию аниме девушек на данный момент исчисляется тысячами. Похоже тематического датасета за всю историю интернета накопилось просто в астраномическом количестве. А вот количество моделей для рисования поней исчисляется лишь десятком.
Maxwell (ред.)
+1
Не, я специально попросил нарисовать ее в костюме медсестры.
А, ну тогда ещё ладно)
Похоже тематического датасета за всю историю интернета накопилось просто в астраномическом количестве. А вот количество моделей для рисования поней исчисляется лишь десятком.
Вот да, я примерно так и предположил =/
makise_homura
+1
Только зарегистрированные и авторизованные пользователи могут оставлять комментарии.