如何在安卓 GPU（骁龙 8 Gen 3）上运行 DreamLite？关于 ONNX → MNN 转换路径的请教

[zhangmask]

DreamLite 团队好 👋

首先感谢你们出色的工作——一个 0.39B 参数、同时支持 T2I 生成和文生图编辑的端侧统一模型，确实很惊艳。

我们目前正尝试把 DreamLite 移植到 安卓端做 GPU 推理，目标硬件是 骁龙 8 Gen 3（Adreno 750）。项目页上的 demo 全部是 iPhone 17 Pro 的，所以想请教一下安卓侧的方案。

我们已经尝试的方案：

• 把 UNet / VAE / text-encoder 导出为 ONNX，再尝试转换为 MNN 进行端侧部署。
• ONNX → MNN 的转换过程比较麻烦：不少算子需要手动映射；in-context spatial concatenation 这种拼接式条件注入里的一些动态 shape 转换不干净；部分节点会 fallback 到 CPU。
• 同时担心 MNN 在 Adreno 上的 OpenCL/Vulkan 后端 对某些 GPU 依赖 / 算子不支持，实际 GPU 加速可能有限。

想请教的问题：

1. 官方是否有 安卓端 GPU 推理 的方案？如果有，用的是哪个 runtime（MNN / TNN / NCNN / TFLite / QNN / 其他）？
2. 移动端 UNet、VAE、text-encoder 分别是怎么处理的——精度（fp16 / int8 / 4-bit）和后端各是什么？
3. 是否有可以分享的 导出脚本（torch → onnx → mnn，或 torch → 其他），或者预转换好的移动端权重？
4. 针对 骁龙 8 Gen 3（Adreno 750） 有没有什么具体建议或踩坑点？

我们目前的瓶颈主要在转换流程，而不是模型本身——任何指引都非常感谢。等我们跑通后也很愿意把转换经验整理出来回馈社区。

谢谢！

[zhangmask]

如果手机纯用CPU，耗时可能长达几分钟，我们想达到几秒的级别，但是受限于各种依赖，不清楚有没有稳定的安卓GPU端侧方法

[maoist2009]

如果手机纯用CPU，耗时可能长达几分钟，我们想达到几秒的级别，但是受限于各种依赖，不清楚有没有稳定的安卓GPU端侧方法

你应该研究怎么调动npu,高通自己做了各级sd的qnn模型

[maoist2009]

这是一份claude做的总结，该模型最难的qwem3 vl高通已经把路铺好了

这轮搜索直接把关键证据挖出来了——高通确实做了 Qwen3-VL 的 NPU 转换，而且官方现在的转换体系比 kristoftunner 那个社区脚本先进得多、更贴近你要做的事。

关键发现：Qwen3-VL 已经在 qai_hub_models 官方模型库里

qualcomm/ai-hub-models（现在的官方仓库，取代了 kristoftunner 那种社区脚本）的目录里明确列了 qwen3_vl_2b_instruct 和 qwen3_vl_4b_instruct，跟 Qwen3-4B、Qwen2.5-VL-7B-Instruct 放在同一个 Generative AI 分类下。这意味着你不需要从零摸索 Qwen VL 在 QNN 上怎么切图、怎么处理 vision encoder + RoPE + attention 的算子适配 —— 高通已经踩过这些坑了，DreamLite 的 2B 文本编码器（同为 Qwen VL 系）可以直接抄它的转换配方，顶多调一下具体子模型版本号。

现在的官方转换流程比 kristoftunner 那套先进

高通把整个流程收敛成一个统一框架，每个模型目录下都有标准化的 model.py（定义可量化子模块）+ export.py（CLI 导出脚本）+ quantize.py。以 Stable-Diffusion-v2.1 为例，官方文档给出的实测数据（Samsung Galaxy S24 NPU 上）非常有参考价值：

• TextEncoder_Quantized：8.08ms
• UNet_Quantized：188.59ms（单步，5421 层算子跑在 NPU 上）
• VAEDecoder_Quantized：295.06ms（比 UNet 单步还重，因为上采样卷积层多且不太好量化）

精度方案是 w8a16（8-bit 权重 + 16-bit 激活），这是三段式 SD 在 Snapdragon 上的标准配方，可以直接用 CLI 拉取现成的：

qai-hub-models fetch Stable-Diffusion-v2.1 --runtime qnn_context_binary --precision w8a16

官方也专门给出了自定义权重的量化教程路径（tutorials/stable_diffusion/quantize_stable_diffusion.md），是给自训练/微调 SD 变体用的，这正是 DreamLite 需要走的路线，因为 DreamLite 不在官方目录里。

另外 LLM 量化教程（quantize_llama3.md）里透露了高通对生成式模型的通用精度策略：主要用 16-bit 激活，只在"可行的地方"才降到 8-bit，这个原则对 DreamLite 的 Qwen VL 文本编码器分支同样适用。

这对你的 DreamLite 转化方案意味着什么

把这轮信息和上次的结论拼起来，路径清晰了很多：

1. 文本编码器分支：直接复用 Qwen3-VL 官方转换代码作模板
去 qai_hub_models/models/qwen3_vl_2b_instruct/model.py 看它怎么拆 vision tower 和 language decoder 成独立子图（大概率是 vision_encoder + decoder 两段，类似 Qwen2.5-VL 那套）。DreamLite 用的是标准 2B Qwen VL 做文本条件编码（论文原话就是"relies on a standard 2B-parameter text encoder"），如果版本对得上，甚至可能直接复用已导出的 context binary，只是要验证一下 DreamLite 微调后的 embedding 输出层是否和原版对齐。

2. UNet 分支：参考 stable_diffusion_v2_1/model.py 里的 UNetQuantizable 类结构
但要改 sample_inputs() 的签名，加入 reference latent（编辑模式用）。这部分工作量最大，因为 DreamLite 的 in-context spatial concatenation 是 SD 官方 UNet 没有的新增输入路径。

3. VAE 分支：几乎可以照搬
VAEDecoderQuantizable 类改改通道数和 sample shape 应该就能用，且从上面的 profiling 数据看，VAE decoder 是三段里最重的部分，值得优先做好量化验证。

4. 建议的落地步骤

pip install qai_hub_models

把 qwen3_vl_2b_instruct 和 stable_diffusion_v2_1 两个模型目录都拉下来对照读，这样能同时拿到 VLM 拆分范式和 Diffusion UNet 拆分范式，DreamLite 正好是这两者的合体，两边配方都要用上。

要不要我把这两个模型目录的 model.py 具体拉下来看，找到 TextEncoderQuantizable / UNetQuantizable 这些类的具体接口定义？这样能更精确地评估要写多少适配代码。

[maoist2009]

如果手机纯用CPU，耗时可能长达几分钟，我们想达到几秒的级别，但是受限于各种依赖，不清楚有没有稳定的安卓GPU端侧方法

另外你可以看看geniex