Как диффузионные модели создают уникальные изображения

Диффузионные модели - это инструменты (например, Midjourney), используемые для генерации изображений из случайного шума. Вот простое объяснение того, как они работают:

1. Начало работы со случайным шумом
Эти модели работают с тем, что можно описать как статический, или случайный, шум. Этот шум служит исходной точкой для создания изображения.

2. Понимание процесса добавления шума
Представьте, что у вас есть четкое изображение, например, фотография кошки. Если добавлять к ней все больше и больше шума, то изображение становится менее четким. Этот процесс известен как диффузия.

3. Обратный процесс создания изображений
Суть модели диффузии заключается в реверсировании описанного выше процесса:
a. Модель рассматривает зашумленное изображение и решает, как сделать его немного более четким.
b. Она повторяет этот шаг до тех пор, пока не сформируется узнаваемый образ.

4. Обучение модели
Для того чтобы модель могла превращать шум в изображение, ее необходимо обучить. Для этого модели показывается множество изображений, что помогает ей выучить закономерности, а также используются сложные математические методы для получения похожих изображений.

5. Генерация различных изображений
Поскольку исходный шум является случайным, изображения, получаемые моделью, каждый раз разные. Кроме того, на каждом шаге модель делает прогнозы на основе этого шума, направляя формирование изображения. Это похоже на то, как если бы у вас были уникальные строительные блоки и новый чертеж каждый раз, когда вы хотите что-то построить.

Таким образом, диффузионная модель не работает как коллаж из примеров изображений, а в значительной степени опирается на математику.

Погружайся в midjourney вместе со мной: