Я рисовала еду руками 15 лет, но потом пришла нейросеть и изменила всё

Эту историю для моего блога рассказала Анна Макарова, математик и фуд-иллюстратор.

Я училась в физматшколе при НГУ, в него же и поступила потом на математический факультет, но по семейным обстоятельствам перехала в Москву и перевелась в МГУ на ВМиК.

К концу обучения стало ясно, что работа в науке — не совсем то, чего я хочу. Олимпиадные задачки и математические игры — это одно, а серьезные численные методы – совсем другое. И тут произошла революция в издательском деле: массовый переход на компьютерные станции. Издательствам срочно потребовались специалисты, умеющие работать с компьютерами. А у меня к этому времени проявилась вторая сторона — художественная. Я с детства рисовала, но это всегда оставалось на втором плане после точных наук.

Так я попала в редакцию журнала "Киносценарии". У них стоял новенький Apple Macintosh, и никто не понимал, как к нему подступиться. Им нужен был человек, который разбирается в компьютерах и интересуется графическим дизайном. Первые сутки я сама не знала, что делать и как начать работать с программами верстки. Попросилась поосваивать машину на выходных — получилось "fake it till you make it".

Потом я работала в других издательствах, типографиях, а в итоге — в крупных рекламных агентствах. Мы делали всю рекламу — от косметики до автомобилей. Параллельно я получила второе высшее образование — "Дизайн средств массовой информации и коммуникации" (тоже МГУ). Защитила диплом на тему "Кризис подлинности в современной массовой культуре" (это тогда еще нейросетей не было!).

В 2014-ом я ушла "на фриланс". Нужно было выбрать специализацию — невозможно одинаково хорошо делать всё. Я проанализировала свой опыт и поняла, что лучше всего у меня получаются фуд-зоны для упаковок. Коллеги это отмечали, арт-директора хвалили композиции из фруктов. Сделала на это ставку.

Главный секрет хорошей съедобной картинки — аппетитность. Это как сверкание граней в ювелирных изделиях — никому не нужны тусклые бриллианты, и точно так же никому не нужна неаппетитная еда.

Но если нехватку блеска в украшениях легко описать словами, то с аппетитностью сложнее. Разную еду делает аппетитной разное. Фактически, существуют только проявления неаппетитности, и если их все убрать, картинка заиграет :

Но для меню два-три ролла — уже странность. И почему кучка зелёной икры лежит между ними? Ведь на каждом должна быть своя. И почему, выбирая всего лишь два ролла, автор фото взял экземпляр с такой некрасивой серединкой?

Я работаю с нейросетями третий год, и главное, что поняла — это не просто новый инструмент. Это принципиально иной способ создавать иллюстрации.

Раньше для создания фуд-иллюстрации у меня было несколько путей:

С появлением Midjourney процесс изменился. Теперь я начинаю с генерации базовых изображений. Но это не "нажал кнопку — получил результат". Нейросеть капризна, картинка не поддается полному контролю. Нужен многолетний опыт иллюстратора, чтобы довести сгенерированное изображение до коммерческого качества.

Фактически, сейчас я генерирую в Midjourney исходники, а потом в фотошопе, опираясь на опыт, довожу их до финала. Это похоже на прежний процесс, когда я брала фотографии как основу — только теперь у меня гораздо больше контроля над исходным материалом.

В итоге сейчас я работаю по двум схемам:

Во второй схеме нет ничего революционного — просто обновление инструментов. Это влияет только на скорость работы, иногда очень существенно. Например:

Некоторые задачи стали решаться в разы быстрее. Например:

Сейчас это всё можно сгенерировать, а потом доработать. Но появились и новые сложности...

Если вам нужна конкретная вещь, в конкретном положении, это оговорено с заказчиком и есть в ТЗ, — совсем не факт, что для нейросети это ТЗ можно сделать понятным. Вот нужна мне была кедровая шишка, но нейросеть всё время подсовывала еловые и сосновые — они более популярные. В такой ситуации бессмысленно пытаться пробить стену, нужно искать обходные пути.

Помогло следующее:

Уже в фотошопе применяем Generative Fill с референсом.

А теперь поверх него генерим шишку с промтом cedar cone и картинкой-референсом: каноничной кедровой шишкой из стоков.

Эта шишка совсем иначе расположена, но в том и магия, что нейронка берет её и "поворачивает". Доделать тени, и задача решена без фотосъемки.

Что еще не получается у Миджорни?

Физика, оптика, законы материального мира — все это пока неподвластно нейросетям на сто процентов. С этими задачами справляются "лоры" (LoRA, дообучение) во Flux. Миджорни менее управляема в этом смысле, но картинка в ней получается живее и ярче.

Нейросеть умеет ловить мгновенье

Заказчик захотел иллюстрации с продуктом на фоне владивостокских ландшафтов. Я сгенерила несколько красивых картинок, доработала их до финального вида в фотошопе, поставила упаковки.

Что тут важно: обратите внимание, насколько сложной была бы фотосъёмка этих сюжетов. Мороженое всегда тяжело снимать, даже в студии. А на ярком солнце?

Почти нереально.

А второй сюжет это красивый закат, стремительно уходящая натура — тоже трудность.

Проект с мороженым получился очень представительным для работы именно с нейросетями, все по той же причине: мороженое сложно снимать.Всего мы сделали 12 сюжетов для разных вкусов продукта, в разных ситуациях употребления. В каждом сюжете встречали свои трудности, нейросети помогли все их решить. Каждый раз работа стартовала с пристрелочных генераций.

Еще один пример сложного сюжета — всплески жидкости. Молоко, йогурт часто нужны на упаковке. Брызги воды тоже очень популярны.

Чтобы получить нужный для такого сюжета фотоматериал, фотограф должен иметь оборудованную студию, желательно с "мокрым столом". Да и тогда подловить нужную форму всплеска непросто.

Бюджет раздувается либо от гонорара фотографу, либо от оплаты часов ретушеру, который будет потом собирать из отдельных кадров приемлемый всплеск. Я как раз и занималась такой работой в донейросетевую эпоху. Поэтому, когда удалось придумать и оттестировать новый процесс для такой задачи, он сразу пошел в дело на нескольких проектах.

В чем суть. Представьте, почти готов макет принта, есть объект, а вокруг предполагается всплеск. Пока он существует в воображении директора, он может начертить его контур, воплощая все свои представления о гармонии и композиции. И в этот момент задача сразу становится нетривиальной, потому что абы какой всплеск сюда не подойдет.

Теперь, с нейросетями, она решается. Не "одной кнопкой", но точно без мокрого стола.

Давайте покажу, как это делаю с помощью миджорни и фотошопа:

Первый ИИ, который нам нужен - это Adobe Firefly, нейросеть, интегрированная в Photoshop и функционирующая как инструмент Generative Fill:

— Обведите всплеск выделением и введите промт. Вы можете включать и выключать слой эскиза, чтобы увидеть, что лучше работает именно на вашем изображении.

— Желательно менять текст, используя разные варианты. Потребуется несколько попыток, прежде чем всплеск получится приемлемым. Выберите лучший.

Теперь перейдем в Midjourney:

— Стиль всплеска можно изменить. Возьмем изображение с предыдущего этапа+ всплеск нужной формы. Подберите картинку, обращая внимание на пластику жидкости и другие детали. Загрузите оба изображения в Midjourney.

— Генерируйте, пока не соберется достаточно материала. Используйте несколько референсов сразу. Используйте image prompt, a также --sref, --iw, --sw, --s, --style raw.

Готовый всплеск можно улучшить, если добавить тонкую контрастную обводку по краю всплеска.

Нейросеть победила в быстром размножении стилистики

Недавно в Midjourney появилась функция moodboards — можно собрать несколько картинок, дать нейросети "сварить" из них нечто общее и начать получать изображения в этом стиле.

Потом я докидывала в тот же датасет удачные генерации, полученные с помощью --sref. А потом – генерации уже с самой доски. Важно в итоге отбалансировать всё так, чтобы ничего не перевешивало. Вот, что получается в итоге:

Казалось бы, базовая модель и так может генерировать картинки в любом стиле, зачем этот "довесок"? Но нет, если хочется отстроиться от повсеместного нейро-ширпотреба, стоит вложиться в дообучение.

Midjourney очень восприимчива и позволяет добиться практически чего угодно, особенно с последними мощными функциями, такими как retexture и moodboards.Что немаловажно, генерации по мудборду даже снижают необходимость черипикинга, что всегда приятно.

Сравните для примера генерации по одинаковым промтам, но в одном случае с кодом персонализации мудборда (слева) , а в другом — просто со словом watercolor (акварель) в промте (справа).

<Рекомендации при работе с этой функцией>

— stylize можно повышать, слегка или до упора (300-1000), это иногда помогает усилить влияние стиля, но не всегда;

— на неквадратных форматах иногда стиль слетает и выпадает в фотографию, тогда можно тоже повышать --s или в крайнем случае аутпентить из квадратов, с которыми осечек гораздо меньше;

— чем длиннее промт, тем меньше стабильности, так что лучше промтить взвешенно;

— в начале промта можно ставить "подсказку", одно-два слова, помогающее доске вспомнить свое предназначение. Например, если это акварель, можно вначале вписывать watercolor;

— "хаос" (--с ) с мудбордами работает и полезен, а "странность" (--w) — нет;

— сейчас мудборды уже можно использовать совместно, иногда это дает особенно хороший результат;

</Рекомендации при работе с этой функцией>

<Лирическое отступление про промтинг>

Когда-то, в далеком 2023, когда юные промт-инжиниры только-только освоили это необыкновенное искусство складывать токены в промты, будущее казалось им безоблачным и долгим. Но уже тогда раздавались голоса о том, что этой профессии отсчитан короткий век, и скоро звезда промтинга закатится.

Самые едкие скептики сравнивали ее с лифтерами, мальчиками, которые когда-то нажимали кнопки в лифтах, пока пассажиры не научились нажимать эти кнопки самостоятельно.

И вот, действительно, что-то подобное можно заметить. Появились и развились дополнительные инструменты, которые делают сам промт не настолько важной частью процесса генерации. Однако пока все еще неотьемлемой.

Поэтому стоит помнить про культуру промтинга. Существует обидное прозвище "boomer prompts" — так презрительно называют раздутые, перегруженные мусором промты. Избегайте такого. Промт должен быть сухой, поджарый, чтобы каждое слово в нем имело вес и оказывало явное влияние на генерацию.

</Лирическое отступление про промтинг>

Нейросеть победила в скорости выполнения однотипной задачи

Кроме stand-alone нейросетей уже возникли и развиваются многочисленные площадки, на которых их можно собирать в цепочки. Такие конструкты выполняют узкую, но комплексную задачу, с которой по-отдельности ни одна из нейросетей-участниц не справилась бы.К примеру, известный сайт с "глифами". Я экспериментировала на нем, пока он был бесплатный, и сделала парочку достаточно причудливых глифов ради обучения и из любви к искусству. Считаю, что на эти цели очень полезно тратить время. Мне вдруг пришло в голову, что было бы здорово заставить нейросети подбирать еду к гексаграммам из китайской Книги Перемен. Вот как работает мой глиф:

1. Первым случайным образом выпадает таинственный символ гексаграммы, состоящий из палочек. Здесь была техническая сложность: я хотела, чтобы символы выглядели как настоящая каллиграфия тушью, с неровностями мазков. Создавать 64 разные картинки показалось нерационально, поэтому я сделала восемь базовых элементов-триграмм, просто нарисовала их в виде цифровых иллюстраций и загрузила jpeg файлы. Планировала собирать символы из двух половинок, но нейросети в одном случае из десяти путали верх с низом. Только когда я загрузила в глиф полный список гексаграмм с точным указанием их структуры, программа заработала корректно.

Далее GPT-4 определяет номер гексаграммы по выпавшему символу и на основе списка.

3. Claude-3.5-sonnet формирует интерпретацию гексаграммы, опираясь на древние знания и китайские тексты.

Например, для гексаграммы №60 "Ограничение" он предложил: "Подобно тому, как вода находит естественные границы в сосуде, этот момент требует сознательной умеренности и четких границ для поддержания гармонии и предотвращения нарушения естественного порядка излишествами.".

4. Следующий Клод создает промт для генерации изображения еды, вдохновляясь полученной интерпретацией. Он придумывает блюдо, которое должно отражать смысл гексаграммы.

5. Для финальной генерации картинки использую Flux dev — он лучше других балансирует между реалистичностью и символичностью.

6. Завершающий штрих: мудрость-афоризм вверху изображения, вокруг все той же гексаграммы, опять Клод.

В результате получается композиция из каллиграфического символа гексаграммы, её номера и названия, плюс блюдо-иллюстрация и философская фраза для медитации.

Изменение процесса потребовало пересмотреть подход к ценообразованию. У меня сложилось две модели:

При работе в первой схеме, где нейросети только помогают:

Вторая схема, где основная работа идет в нейросети, потребовала нового подхода:

Проект может закончиться просто передачей промта клиенту, чтобы он генерировал сам. Но на практике так почти не бывает — довожу работу до конца я. Чем эффективнее был первый этап, тем меньше времени уходит на отбор удачных вариантов.

Важно и другое: теперь я не могу сразу гарантировать клиенту, что его задачу точно удастся выполнить. Это принципиально меняет психологию работы, к которой я привыкла за много лет. Приходится больше общаться, объяснять технологию, консультировать. Но это тоже часть новой реальности.

Я начала работать с зарубежными клиентами около десяти лет назад. Мы собрали базу контактов дизайн-студий и агентств по всему миру, отталкиваясь от победителей конкурсов. В этой задаче очень много на себя взял мой муж. Мне сложно придумывать креатив для рассылок, привлекать новых клиентов, но фрилансеру не выжить без такого. И еще, как бы ты ни был успешен в текущих проектах, если не поддерживать контакт с уже состоявшимися заказчиками, не выстраивать работу по их базе, не информировать о появившихся услугах, о тебе могут забыть. В тот момент муж очень помог на старте. С тех пор периодически берет на себя эти фрустрирующие задачи, и эта помощь неоценима. Сфокусировались на студиях, которые занимаются упаковкой и фуд-иллюстрацией. Сделали рассылку примерно на тысячу адресов — это принесло первые заказы почти со всех континентов.

За годы работы сложилась любопытная картина национальных особенностей, многие совпали со стереотипами, как ни забавно это было обнаружить:

Америка и Австралия

Европа

Азия

Сейчас у меня два основных направления: работа с западными клиентами и с российскими. Между ними ощущается водораздел, прежде всего в характере коммуникации. Это так сильно на все влияет, что я даже специально адаптировала свои промо-сайты, существенно поменяла tone-of-voice. Когда-то я нацеливалась на западных — просто из-за того, что они были готовы платить больше, сейчас цены сравнялись.

За всё время работы с иностранными клиентами у меня было всего несколько случаев с неоплатой. Самый необычный — фермеры из Новой Зеландии, которые выращивали сливы. Им понравилась моя работа, они прислали предоплату и заказали похожую иллюстрацию. Я сделала, но вторую часть оплаты они не прислали. При этом продолжали переписываться и просили войти в положение — урожай слив не задался, а мне обязательно должен помочь бог. С Новой Зеландией особо не посудишься, так что пришлось отпустить их спасать сливы. Обещали заплатить $200, когда дела наладятся.

Еще был случай — с арабским предпринимателем. Человек выглядел серьезно: рассказывал про свой стартап мороженого, созванивался, стоя в костюме на фоне дубайских небоскребов. История та же: заплатил предоплату, получил работу, а остаток в $400 "забыл" оплатить. В отличие от фермеров-христиан, просто грубо замолчал.

Я собрала информацию, все данные по проекту, проконсультировалась с юристом насчет возможности судиться. Юрист отговорил — слишком сложно для такой суммы иска.

Было еще пара неприятных моментов, разных шероховатостей процесса, но в целом мой опыт не подтверждает многих страхов о том, как часто обманывают заказчики. Конечно, нужно быть начеку, не соглашаться работать без предоплаты, без договора, это позволит сохранить прежде всего здоровые нервы, так необходимые художнику. Но и пугаться любой тени не стоит, люди, как правило, заказывают картинки не для того, чтобы обмануть.

Работа на стоках всегда казалась заманчивой альтернативой, и я даже предпринимала пару попыток на них выйти. Нейросети добавили эффективности в процесс, поэтому сразу же возникли мысли, а что если опять попробовать ворваться.

Конечно, не у меня одной. И в этом и проблема. Ситуация на всех стоковых площадка сейчас одинаковая: все затопила лавина нейро-контента. Всплыть сквозь эту толщу новичку практически нереально. Даже бывалые стокеры, с крепким многолетним портфелем, ощущают на себе давление этого шторма.

Площадки стремятся выкупать контент у стокеров для обучения своих ИИ! Самые редкие и трудоемкие лоты площадки как раз и вынимают из портфелей у стокеров для этого обучения, оставляя только то, что малоконкурентно и имеет плохие перспективы на продажу. Например, если фотограф принес на площадку людей в движении — скорее всего сток заберет такую работу себе на обучение, а вот статичных моделей разрешит на продажу. Это логично, так как нейросетям надо закрывать свои пробелы! Но по отношению к стокерам — похоже на грабеж… Платят им за этот контент для обучения копейки.

При этом часто у площадок очень жёсткие требования по авторскому праву. Нельзя ничего чужого, даже "идею", что бы это ни значило. И вот, например, мои коды, промты они боятся брать. На все нужен документ, или "релиз", есть такое понятие. Буквально, например, подтверждающие видео, как кто-то сидит водит кисточкой и делает картинку.

Пятнадцать лет назад я сделала иллюстрацию стаканчика с кислородным коктейлем. Она получилась настолько удачной, что постепенно стала чуть ли не стандартом для этого продукта. Я встречала свой стаканчик и в столице, и в провинции, и даже в соседних странах. Он подмигивал мне с вывесок и баннеров. Им же нафарширована и выдача в поиске.

Что чувствует автор, когда внезапно встречает свое произведение там, куда его не помещал? У меня это вызывает три реакции:

Теперь, когда появились нейросети, тема авторского права стала еще острее (важно только не путать его с коммерческим). Но чем глубже я в нее погружаюсь, тем яснее понимаю: авторское право — это юридический пузырь, который обязан когда-то лопнуть. Возможно, нейросети пришли как раз для этого.

По своей природе авторское право — не право, которое следует юридически защищать, а категория совести. Художник, публикуя работу, уже отдает ее, как Прометей огонь. Боишься — не отдавай. Отдал — не бойся!

Если бы вместо унылых клонов моего стаканчика с кислородным коктейлем я увидела, как кто-то его творчески преобразовал, я бы только порадовалась. Неважно, нейросетью это сделано или чем угодно — важно движение, развитие, жизнь.

Сейчас все больше возможностей проверить эти убеждения на практике.Я часто бываю в противоположной роли — того, кто должен решить, где грань между воровством и этичным заимствованием. Заметила, что голос совести действительно многое определяет. Например, стало очевидно, что даже мысли, не говоря про попытки "снять" нейросетью стиль какого-то конкретного художника сразу же вызывают дискомфорт. Совесть протестует! Но если пойти более культурным во всех смыслах путем, собрать референсы из разных источников, разных авторов, обучить нейросеть на этом массиве, внося попутно какое-то влияние своей собственной души, тогда совсем другое дело. Такой процесс захватывает и вдохновляет.

Я веду блог «Сегодня без ИИ, а завтра без работы». Рассказываю истории людей, которые используют нейросети в работе и жизни уже сегодня. Сейчас там одна статья, но скоро выйдут новые. Подпишись, чтобы не пропустить.