Для StableDiffusion есть расширение ControlNet, которое может генерировать изображения по исходной картинке, готовой модели или простому наброску:
а как ты генеришь по фото?
https://youtu.be/_ZLVktmuBCQ
Можешь здесь попробовать
https://huggingface.co/spaces/hysts/ControlNet