跳转至

Smart-Diffusion 文档

欢迎使用 Smart-Diffusion 文档！Smart-Diffusion 是一个高性能扩散模型推理框架，为 AI 生成内容（AIGC）工作负载提供极致性能和灵活调度。

什么是 Smart-Diffusion？

Smart-Diffusion 基于 Chitu 构建，Chitu 是一个高性能 LLM 推理框架。它扩展了 Chitu 的能力以支持快速增长的 Diffusion 生态系统，提供：

  • 🚀 极致性能：先进的并行化策略和优化内核
  • 🔧 灵活架构：多种注意力后端支持
  • 💾 内存效率：具有智能模型卸载的低内存模式
  • 📊 智能缓存：用于加速的特征重用算法
  • 🎯 简洁 API：易于使用的接口，支持基于请求的配置

快速链接

  • 开始使用

    安装 Smart-Diffusion 并在几分钟内运行您的第一个生成

    安装指南

  • 用户指南

    学习如何有效使用 Smart-Diffusion

    基本用法

  • 性能调优

    优化您的推理速度和内存

    调优指南

  • API 参考

    所有组件的详细 API 文档

    API 文档

主要特性

高性能推理

Smart-Diffusion 通过以下方式实现卓越性能：

  • 并行化：上下文并行 (CP)、CFG 并行和数据并行
  • 优化内核：FlashAttention、SageAttention、SpargeAttention
  • 智能调度：高效的任务管理和资源利用

内存效率

在有限硬件上运行大型模型：

  • 模型卸载：DiT 模型和编码器的 CPU 卸载
  • VAE 分块：在解码期间减少内存使用
  • 灵活配置：可调节的内存级别 (0-3)

特征重用

通过特征缓存复用加速生成：

  • TeaCache (CVPR24)
  • PAB (ICLR25)

支持的模型

当前支持：

  • Wan-AI/Wan2.1-T2V-1.3B
  • Wan-AI/Wan2.1-T2V-14B
  • Wan-AI/Wan2.2-T2V-A14B

更多模型即将推出！

架构概览

graph TD
graph TD
    A[UserRequest] --> B[TaskPool]
    B --> C[Scheduler]
    C --> |Task| G[Generator]
    G --> VE[VAE Encoder]
    G --> TE[TextEncoder]
    TE -->|Latents| DiT[DiT Loop]
    VE -->|Latents| DiT[DiT Loop]
    DiT --> VD[VAE Decoder]
    VD --> V[Output]

Smart-Diffusion 采用模块化架构：

  1. 任务管理：用户请求转换为任务并添加到任务池
  2. 调度：调度器选择待执行的任务
  3. 生成：生成器编排完整的生成流程：
  4. 文本编码 (T5)
  5. 迭代去噪 (DiT)
  6. VAE 解码
  7. 输出：生成的视频保存到磁盘

社区

加入我们的社区：

下一步

准备好开始了吗？

  1. 安装 Smart-Diffusion
  2. 运行您的第一个生成
  3. 探索高级功能
  4. 阅读配置指南

注意：Smart-Diffusion 正在积极开发中。我们欢迎贡献和反馈！