【Hackathon 10th Spring No.48】【RFC】新增 SD3/Flux 扩散模型设计文档

[cloudforge1]

概述

本 RFC 设计 FastDeploy 新增 SD3 (Stable Diffusion 3) 和 Flux 扩散模型的推理支持方案。

核心设计

FastDeploy 当前仅支持 LLM 推理，不包含扩散模型管线。本方案新增独立的 diffusion_models/ 模块（与 model_executor/ 并列），提供：

1. DiffusionEngine — 扩散模型推理编排引擎
2. DiT 模型组网 — SD3 MMDiT + Flux Double/Single Stream Transformer
3. 组件框架 — VAE 编解码 + CLIP/T5 文本编码 + Flow Matching 调度器
4. Images API — OpenAI /v1/images/generations 兼容接口

架构亮点

• 管线式架构，与现有 LLM 引擎并列不嵌套
• DiffusionEngine 框架可复用于 SDXL、Kolors、Hunyuan 等后续模型
• 优先实现 Flux（更先进），再扩展 SD3

工作量

• 框架搭建 + 组件实现：~1.5 周
• Flux DiT + SD3 MMDiT：~2-2.5 周
• API + 测试 + 文档：1 周
• 预计合计 ~4-5 周

相关链接

• 任务: 【Hackathon 9th】开源贡献个人挑战赛 Paddle#74773
• PPDiffusers 参考: https://github.com/PaddlePaddle/PaddleMIX/tree/develop/ppdiffusers
• HuggingFace Diffusers SD3: https://github.com/huggingface/diffusers/tree/main/src/diffusers/pipelines/stable_diffusion_3

[paddle-bot]

你的PR提交成功，感谢你对开源项目的贡献!
请检查PR提交格式和内容是否完备，具体请参考示例和模版。
Your PR has been submitted. Thanks for your contribution!
Please check its format and content. For this, you can refer to Template and Demo.

[luotao1]

@chang-wenbin