Гайд по коллажам в Artbreeder: нейросеть создаёт изображения из текста, каракуль, фото или всего сразу

Идеальная нейросеть для новичков, чтобы научиться составлять запросы, ошибаясь и пробуя разное. После неё гораздо проще работать со всякими DALL·E 2, Midjourney и Stable Diffusion.

Я провёл за этой нейросетью несколько месяцев и уже поошибался вместо вас. Постарался описать сильные и слабые стороны этой нейросети и поделиться опытом, чтобы вы сразу смогли получать крутые результаты.

Статья рассчитана на новичков, которые никогда не работали с нейросетями (но если работали, то тоже будет интересно, надеюсь). Не нужно уметь рисовать, разбираться с кодом или как-то серьёзно вникать.

Бесплатный и без лимита на количество генераций. Есть платные фичи: быстрее рендерить, получать качество получше, какие-то ещё штуки. Но без них легко можно обойтись.

Если нужно получить разрешение картинки повыше, а платить нет возможности — воспользуйтесь сервисом для апскейла изображений.

Общедоступный и живёт в браузере. У DALL·E 2 были закрытые списки, куда не попасть простому смертному, сейчас бесплатно дают 15 попыток, а дальше плати. Stable Diffusion вроде в открытом доступе, но его надо скачивать, устанавливать, ковырять код — с разбега не влетишь. Или искать платные сервисы вроде DreamDiffusion, которые сделали веб-интерфейс для Stable Diffusion и дают им пользоваться за деньги.

Выдаёт крутой результат, гораздо лучше того же DALL·E mini. Он самый мощный из бесплатных, быстрых и с веб-мордой.

Результаты можно использовать в коммерческих проектах. По лицензии сервиса все права на изображения не принадлежат никому. Создатели просят ставить на них ссылку, но это всего лишь просьба, а не обязанность.

Сам сервис не новый. Наверняка вы видели примеры работ оттуда или сами пробовали что-то сделать.

Недавно они обновили дизайн и выкатили новый крутой инструмент: коллажи.

1. Это старые функции. Их много, они крутые, но в этот раз речь не про них.
2. Новый инструмент «коллажи». Это генеративная нейросеть на основе того же StableDiffusion, вся эта статья — про неё.

А пока расскажу, что умеет нейросеть и как ей пользоваться. Вначале примеры будут страшненькие, не надо пугаться.

Да, тут можно генерировать картиночки из текста прям как в настоящем DALL·E 2.

Откроется холст с инструментами. На инструменты пока не смотрим, а пишем просто текстовый запрос (или промт).

Как писать текстовый промт.
Запросы короче 5 строк работают лучше.

Сложные позы, несколько персонажей, подробные требования к композиции нейросеть воспроизводит с трудом: либо выдаёт бракованные изображения, либо вообще не понимает эти описания и игнорирует их.

Фразы вроде highly detailed, intricate, high definition помогают добавить детали и мелкие подробности в изображение. Появляются складочки, морщинки, текстуры — изображение выглядит менее кукольным и более живым, проработанным.

Для стилизации прод определённые художественные стили лучше работают имена художников или произведений. Можно написать cyberpunk, но лучше — blade runner, H. R. Giger. Вместо art nouveau — Alphonse Mucha.

В чужих промтах я встретил фразу face by tom bagshaw и стал часто её использовать. Это диджитал-художник, который рисует портреты с характерной симметричной композицией и готичной цветовой палитрой. Получается симпатичнее.

Например:

С анатомией человека получились проблемы, но это можно поправить, скорректировав запрос. В этом примере следует сократить промт раза в два: избавиться от лишнего описания позы, выражения лица и интерьера. Нейросеть плохо понимает такое и не может нормально воспроизвести.

Слева — панель инструментов. С их помощью на холсте схематично собираю композицию из примитивных фигур. Это и есть тот самый «коллаж».

Он даёт контроль над композицией кадра, в отличие от других нейросетей вроде DALL·E 2 и Midjourney.

В своём примере я накидал на холст примитивных фигур, слегка их трансформировал. Руки, ноги и рот рисовал карандашом.

Поле с текстом оставил пустым.

Нейросеть попробует сама понять, что изображено на холсте. И она интерпретирует это, как ей самой хочется:

Почему нейросеть решила превратить композицию в плакат? Без понятия, такое зерно попалось (про зёрна будет дальше).

Следующий инструмент — Слайдер AI. Он активируется, когда в режиме редактирования что-то появляется на холсте. Он управляет тем, насколько вольно нейросеть обращается с исходной композицией и промтом. Представьте это плавным переключателем между «заткнись и делай что сказано» и «в этот проект я душу вложил».

Я подрыгал значения слайдера, не меняя больше ничего. Вот как он влияет на результат:

Теперь комбинируем — к этому коллажу добавим текстовый запрос из первой части.

Очевидно, что когда есть какой-то визуальный исходник и текст с ТЗ, нейросеть чувствует себя гораздо уверенней.

Я заметил, что стрёмненький коллаж из разных слоёв работает лучше, чем полноценная иллюстрация из одного слоя. Кажется, нейросетке проще, когда она понимает, где какие элементы.

Теперь рванём рубильник безумия на максимум:

В этом режиме нейросеть на пике своей формы: можно накидать рандомных объектов, попросить сделать красиво и получить красивое.

Я добавил фото и картинок из библиотеки клипарта к нашему примеру.

Видно, как работает противоречие между композицией на холсте и промтом. От рамы остался цветовой тон, Марс превратился в рыжие волосы. В остальном это грустный парень, как и просили.

Но если я хочу получить именно Илона и Марс, нужно отредактировать промт. Коллаж оставлю тем же самым

Что такое «зерно»

Этот счётчик отвечает за «зернышко», seed. Зерно — это элемент контролируемой случайности у нейросетей, чтобы получать разный результат с одними и теми же вводными.

Зёрна влияют на кучу всего: на композицию, на цвет, на стиль изображения, на содержание, на интерпретацию исходников, на связи внутри самой нейросети. Чтобы делать красиво, в это вникать необязательно.

По сути, это кнопка «дай ещё вариант». И так из одного исходника (коллажа + текста) мы можем получить сколько угодно арта. Я тут ничего не менял ни в запросе, ни в композиции, просто тыкал одну кнопку:

Благодаря разным зёрнам нейросеть по-разному интерпретирует промт и коллаж. Получается, что работа с нейросетью получается итеративной: составить запрос и коллаж → найти интересное зерно → доработать запрос и коллаж, чтобы получить в этом зерне крутой результат → повторить.

Когда я говорил, будто что-то работает «лучше», я на самом деле имел в виду «чаще». Можно написать вообще что угодно в промт и собрать какой угодно коллаж, щёлкать варианты и получить результат. Вопрос в том, сколько попыток и времени для этого потребуется.

Например.

Порядок фраз внутри запроса неважен, если перебирать разные зёрна. Но внутри конкретного зерна порядок фраз имеет значение.

Грамматически правильные промты работают чаще, если перебирать разные зёрна. Но внутри конкретного зерна можно нарушать правила: даже смена артикля с «a» на «the» или пропуск артикля меняют результат и помогают избавиться от брака и артефактов изображений.

Удачные варианты можно сохранить. Это позволяет вернуться потом к этому арту и на его основе сделать что-нибудь новенькое.

Сохранённый арт попадает не только в профиль, но и в фид на главной странице. Если другие пользователи будут часто лайкать эту работу, она попадёт в рекомендации и её увидит больше людей.

Полезно лайкать чужие работы — так они сохраняются в закладках. К ним можно вернуться позже, чтобы посмотреть, как они сделаны.

Здесь видно, из каких предыдущих чужих работ сделан этот арт, какие на его основе сделали ещё арты. Можно лайкнуть, присвоить тег — вот это всё.

Если нажать Remix — проваливаемся в редактор, виден оригинальный коллаж и текстовый запрос:

Изменив запрос и коллаж, можно сделать собственный арт в похожем стиле:

Не стесняйтесь использовать чужие работы внутри Artbreeder. Я не имею в виде воровать. Можно подсмотреть интересные промты и коллажи, можно на основе чужой работы создавать свой арт.

Breeder — это по-английски буквально «человек, который выводит новые породы животных». Сервис создан специально для того, чтобы пользователи использовали арт друг друга для создания новой красотищи.

Плохо создают что-то конкретное. Если нужно изобразить портрет знакомого человека, сложную позу или вашу любимую чашку для чая — это или потребует кучу усилий, или вообще не получится сделать.

Загрузить фотографию мало поможет: нейросеть видит изображение не так, как человек. К примеру, я загружаю фото моей подруги Кристины. Нейросеть не понимает, что это конкретный человек. Она видит формы, цвета и вроде бы все вместе они напоминают девушку.

И когда дальше я прошу нейросеть сделать красиво, он создаст не портрет моей подруги Кристины, а портрет абстрактной красивой девушки.

Я получу портрет, если только уточню, что именно хочу получить в итоге. А без текста могу получить портрет затылка красивой девушки, куртку-парку или топливо для ночных кошмаров.

Исключение — знаменитости. Нейросети тренируют в том числе и по портретам известных людей, поэтому нейронка может воспроизвести достаточно узнаваемый портрет.

Сгенерировал несколько примеров. Пишите в комментариях, кого не смогли узнать:

Вывод: Artbreeder — это не инстаграм-фильтр на картиночки. Он генерирует оригинальный арт, а не редактирует фотографию.

Если хотите создавать персонажей со своим лицом с помощью нейросетей — это можно сделать с помощью Stable Diffusion. Для этого придётся дополнительно обучать нейросеть, да и потом придётся попотеть. Вот видео, где сделали подобное.

Плохо создаёт серии изображений с заданными различиями. Не получается менять позу созданным персонажам, просто добавляя в промт «смотрит влево», «смотрит вправо», «руки в стороны», «ноги на ширине плеч».

Чтобы это был один и тот же персонаж в одном и том же стиле, придётся использовать одно зерно. Но при редактировании промта и коллажа либо начнут вылезать артефакты, либо нейросеть проигнорирует эти указания. Если же поменять промт или коллаж слишком сильно — то не получится сохранить сходство стиля.

Если остались вопросы или хотите меня поправить — пишите в комментариях.

Подписывайтесь на мой профиль в artbreeder, чтобы вдохновляться творчеством друг друга.