LoRA Stable Diffusion. Как использовать модель lora в телеграм боте

LoRA Stable Diffusion, аббревиатура от "Low-Rank Adaptation", относится к дополнительным моделям, которые могут быть интегрированы в нейронную сеть Stable Diffusion. Эти модели расширяют возможности сети «обучаться» и создавать элементы, которые когда-то были недоступны в области генерации изображений.
Более того, LoRA Stable применяется в области стилизации изображений, где различные формы «лор» выполняют различные функции.

Возможно вы решите что нужно lora скачать, но нет, вы можете получить доступ к параметрам стиля «LoRA», перейдя в область «🎭 Стили», которую вы найдете в нижнем меню бота @yes_ai_bot. Просто нажмите на значок «🎨 Галерея LoRA», чтобы просмотреть ассортимент доступных стилей.

Вы можете легко расширить галерею с помощью своих любимых LoRA. Все, что требуется – это переслать ссылку нужного LoRA с сайта civitai.com нашему боту. Затем система быстро найдет выбранную коллекцию и сразу же сообщит вам, как только она станет доступна.

Перейдите на сайт https://civitai.com Оказавшись там, следуйте инструкциям, представленным в наглядном пособии, чтобы применить необходимые фильтры. У вас есть возможность выбрать LoRA для версий SD 1.5 или SDXL.

Найдите и откройте веб-страницу, на которой представлен LoRA по вашему выбору.
Как только вы окажетесь на странице, отображающей LoRA, возьмите URL-адрес из адресной строки вашего браузера и перешлите его боту.

Пожалуйста, подождите немного, пока не получите уведомление от бота, подтверждающее успешную настройку «LoRA».

В качестве примера попробуем взять ✏ промпт: «медведь, смотрящий в сторону, украшенный тщательно продуманными гравюрами, отбрасывающий глубокие тени, украшенный синтетическими узорами, окруженный богато украшенной детальной рамкой, созданный в цифровом искусстве сверхвысокого разрешения с 3D-рендерингом, с качеством 16k».
Теперь давайте дополним его текстовым вводом в формате <lora:номер_лоры:вес_лоры>

✏ Пример промпта: «медведь, смотрящий в сторону, украшенный тщательно продуманными гравюрами, отбрасывающий глубокие тени, украшенный синтетическими узорами, окруженный богато украшенной детальной рамкой, созданный в цифровом искусстве сверхвысокого разрешения с 3D-рендерингом, с качеством 16k, <lora:67743:1>»
…в котором 67743 представляет собой уникальный идентификатор LoRA, назначенный платформой civitai.com, а 1 — весовой коэффициент. Повышенный весовой коэффициент означает более сильное влияние LoRA на создание изображений.

Чтобы включить дополнительные LoRA, которые не были представлены в галерее, отправьте ссылку, структурированную следующим образом (https://civitai.com/models/67743), где число представляет собой отдельный идентификатор LoRA. Пожалуйста, отправьте его в @yes_ai_bot.
Числовое значение после двоеточия обычно находится в диапазоне от 0,1 до 2,0. Эта цифра обозначает уровень влияния, которое LoRA оказывает на полученное изображение. Крайне важно признать, что в разных стилях могут использоваться разные соотношения, которые могут быть выбраны вручную или получены на основе примеров работы создателя, связанной с этим LoRA.

В некоторых LoRA весовой коэффициент может сильно колебаться, даже достигая отрицательных значений, например, в диапазоне от -7 до 7. Прежде чем использовать LoRa, желательно просмотреть подробное описание автора, доступный на civitai.com.

Важно помнить, что LoRA, разработанные для SDXL, несовместимы с SD 1.5, и аналогичным образом LoRA, предназначенные для SD 1.5, не будут работать с SDXL.

Существует множество LoRA, и их количество растет, которые совместимы как с SDXL, так и с SD 1.5 - @yes_ai_bot работает с этими версиями!
Какая версия Stable Diffusion подходит для конкретного LoRA, указано в его описании.
ВАЖНОЕ ПРИМЕЧАНИЕ! В верхней части карты LoRA, как показано на скриншоте, у вас есть возможность выбрать конфигурацию LoRA.
Если LoRA включает компоненты для SDXL и SD 1.5, будет продолжена установка обеих версий!

Некоторые модели LoRA оснащены функцией реагирования на определенные ключевые слова. Вы можете узнать больше об этом на платформе civitai.com или в галерее LoRA внутри бота.

Создатель LoRA под номером 67743 включил в него множество триггерных слов, в том числе «GOLD", "GOLDY", "BLACK", "GOLD AND BLACK", "MATTE BLACK" и "GLOSSY BLACK». Нам следует рассмотреть возможность включения некоторых из них в наш запрос.

✏ Запрос: black gold, медведь, в полный рост, смотрит в сторону, причудливо вырезанный, matte black, позолота, объемные тени, искусственные узоры, с декоративной замысловатой каймой вокруг, matte black and gold ornament, очень детализированное цифровое искусство, 3D-рендеринг, 16K, <lora:67743:1>

Включение ключевых терминов из LoRA дает результаты, сопоставимые с результатами, достигнутыми первоначальным автором.
Чтобы оценить влияние LoRA на результаты, можно ввести тот же запрос еще раз, на этот раз без использования конкретных триггерных слов.

✏ Запрос: black gold, медведь, в полный рост, смотрит в сторону, причудливо вырезанный, matte black, позолота, объемные тени, искусственные узоры, с декоративной замысловатой каймой вокруг, matte black and gold ornament, очень детализированное цифровое искусство, 3D-рендеринг, 16K

Очевидно, что при использовании LoRA результат будет сильно различаться: могут быть потеряны некоторые детали, может произойти изменение текстуры ткани и освещения. Следовательно, очень важно включать в процесс определенные ключевые слова (также известные как слова триггеры), особенно если они были указаны создателем.

Вебинар на тему: LoRA для нейросети Stable Diffusion

Подробнее о сервисе Yes Ai рассказываем в этом коротком видео