在 《从零跑通Qwen-Image-2.1:Diffusers实战笔记》 介绍了利用 diffusers 库推理 Qwen-Image-2.1,今天想找一个推理引擎来运行它,最终选择了 Unsloth Desktop。
Unsloth Desktop 是一个界面化推理引擎,对于图像模型,如果有 GPU 就采用 Unsloth GPU/Diffusers 方案,这也是 Unsloth 对 Diffusers 的一个优化。如果没有 CPU,就采用原生 stable-diffusion.cpp 解决方案。
原生 Qwen-Image-2.1 模型大概要 33GB 的显存,Unsloth 对它进行了量化,但 Qwen-Image-2.1 和文本大模型不一样,包括了多个子模块:
• VAE,比如 unsloth/Qwen-Image-2.1-FP8 仓库下的 vae/qwen_image_2.1_vae_bf16.safetensors• 文本编码器 LLM,比如 unsloth/Qwen3-VL-8B-Instruct-GGUF仓库下的 Qwen3-VL-8B-Instruct-UD-Q4_K_XL.gguf• DiT,比如 unsloth/Qwen-Image-2.1-GGUF可以根据自己的情况选择不同量化方式,如下表格:
硬件
配置
12–16 GB 显存
GGUF Q4_K_M,1024×1024,批量大小 1
24 GB 显存
INT8/FP8:512 × 512 或 GGUF Q4_K_M:1024 × 1024
6 GB 显存
通过卸载 6GB 显存运行 FP8
仅 CPU:12–16 GB 内存
GGUF Q4_K_M 搭配 Q4_K_XL 文本编码器
Apple Silicon:12–16 GB+ 统一内存
GGUF 原生后端
如果选择 Q4_K_M GGUF 格式,至少12GB显存。
接下去升级 Unsloth Desktop,我在测试的时候发现老版本跑 image 模型有些 Bug。
然后进入左边的 image 菜单,选择 create,特别说明 Qwen-Image-2.1 是集生成、修改图片于一体,然后选择 Qwen-Image-2.1 特定精度模型。
然后模型下载加载后,就可以操作了。
图像模型主要包括的设置选项如下表格:
设置
Unsloth GPU/Diffusers
sd.cpp
步数
40
20
CFG等同guidance
1.0 - 禁用 CFG
6.0
负面提示词
-
-
采样器/调度器
模型自带pipeline 调度器
Euler
流偏移
保持 pipeline 的调度器配置
自动
分辨率
1024×1024
1024×1024
批量大小
1
1
随机种子
42
42
其中 CFG 类似于文本模型中的 temperature,控制模型输出是开放还是克制,调度器表示如何计算去噪,调度器表示步长和节奏,Qwen-Image-2.1模型能输出的分辨率种类也不少。
分析完成,后面打算尝试下 stable-diffusion.cpp。