SDXL. Генерируем пиксель-арт по текстовому описанию

Подготовка

Сперва, установите StableSwarmUi, по этому уроку.

Далее, скачайте лору PixelArtXL, и поместите её по пути:

StableSwarmUI/Models/Lora

После, скачайте workflow для ComfyUi отсюда, измените тип у этого файла с txt на json.

Разбираемся с ComfyUi.

В StableSwarmUi откройте вкладку Comfy Workflow Editor, сохраните текущий workflow (я назвал его default), чтобы потом можно было к нему вернуться.

Далее, загрузите новый workflow.

Для этого:

1. Справа, нажмите на кнопку Load, и выберите воркфлоу скачанный ранее.
2. Укажите базовую модель
3. Укажите лору pixelArtXL
4. Сохраните workflow, нажав на кнопку Save Workflow (я назвал pixelWorkflow)

Позитивный и негативный промпт указывается в соответствующих узлах.

И чтобы сгенерировать, нажмите Queue Prompt, справа.

В итоге, создалось 3 изображения.

1. Изображение сгенерированное нейросетью (Изображение 1)
2. Изображение 1 уменьшенное в 8 раз
3. Изображение 2 увеличенное в 8 раз

К сожалению лора pixelArtXL, не умеет нормально генерировать пиксель-арт. Она пытается, но в некоторых местах добавляет ненужных деталей и никогда не следует пиксельной сетке.

Собственно, ради подгонки под пиксельную сетку, мы и ставили этот workflow.

Для сохранения, кликните по изображению ПКМ и нажмите Save Image.

В итоге, получилось следующее.

Если хотите вернуться к стандартному workflow, то:

1. Нажмите Load Workflow
2. Выберите workflow, у меня он называется default.
3. Нажмите Load Workflow

Готово.

Итоговый результат.