项目简介

受到HuggingLLM项目的启发，本项将介绍以stable-diffusion为代表的视觉生成大模型的原理、使用和应用，降低使用门槛，让更多感兴趣的非专业人士能够无障碍使用SD创造价值。

立项理由

以stable-diffusion为代表的视觉生成大模型正在深刻改变视觉领域中的上下游任务（包括二维、三维、视频）。且正在改变许多行业，比如绘画、3D建模、影视、游戏等等。我们将借助该项目让更多人了解并使用视觉生成大模型，尤其是对此感兴趣、想利用相关技术做一些新产品或应用的朋友。希望新的技术能够促进行业更快更好发展，提高人们工作效率和生活质量。AI for humans!

项目受众

项目适合以下人员：

• 学生。希望通过学习相关技术，或是开发新应用，或是入门视觉生成式大模型，或是结合其他行业做AI for science的研究等。
• 相关或非相关行业从业者。对stable-diffusion或视觉生成大模型感兴趣，希望在实际中运用该技术创造提供新的服务或解决已有问题。

项目不适合以下人员：

• 研究底层算法细节，比如DDPM数学推导、讨论SDS / SJC VSD等。
• 对其他技术细节感兴趣。

项目亮点

聚焦于如何使用stable-diffusion API创造新的功能和应用（二维和三维）。 了解相关算法原理以更便捷高效使用。 提供示例代码和使用流程。

项目规划【内容持续更新中，欢迎关注～】

二维生成

• 1 stable-diffusion原理简介
  • 1.1 视觉生成方法
  • 1.2 DDPM算法
• 2 stable-diffusion使用指南
  • 2.1 提示词
  • 2.2 文生图
  • 2.3 图生图
  • 2.4 生成优化
    • 2.4.1 Textual Inversion
    • 2.4.2 DreamBooth
    • 2.4.3 LoRA
    • 2.4.4 ControlNet
  • 2.5 插件与工具
  • 2.6 sdxl1.0与应用

三维生成

• 3 三维生成原理
  • 3.1 背景及应用
  • 3.2 NeRF神经辐射场
  • 3.3 文生3D
  • 3.4 可控3D生成
• 4 三维视觉应用
  • 4.1 blender入门
  • 4.2 3D重建与打印

视频生成

• 5 视频编辑
  • 5.1 风格迁移
  • 5.2 场景编辑
• 6 视频生成
  • 6.1 文生视频
  • 6.2 图生视频

技术局限与未来发展

• 7 目前局限
  • 二维生成：版权等
  • 三维生成：质量有待提升、生成时间长、渲染速度慢等
  • 视频生成：稳定性、连续性等
• 8 未来发展
  • 8.1 社区生态
  • 8.2 行业应用
    • 二维场景：营销作图、游戏作画、美图工具等
    • 三维场景：游戏、数字人、电影、虚拟资产、vision pro内容等
    • 视频场景：抖音、b站、直播等

贡献者

Xiaojie Li 项目负责人 清华大学硕士

Letian Zhang 主要贡献者 清华大学硕士

joye 主要贡献者 Data Scientist

Bote Huang 主要贡献者 西安电子科技大学本科

Di Yu 主要贡献者 清华大学硕士

Qiang Zhang 主要贡献者 清华大学硕士

Xiaozhuang Ma 主要贡献者 西安交通大学硕士

Qingjie Wang 主要贡献者 中国科学技术大学

致谢

特别感谢 Sm1les对本项目的帮助与支持。 感谢Tango对2-2章节提供的部分帮助；感谢AnSuZeaT对6-1章节提供的部分帮助。

关注我们

扫描下方二维码关注公众号：Datawhale

  Datawhale，一个专注于AI领域的学习圈子。初衷是for the learner，和学习者一起成长。目前加入学习社群的人数已经数千人，组织了机器学习，深度学习，数据分析，数据挖掘，爬虫，编程，统计学，Mysql，数据竞赛等多个领域的内容学习，微信搜索公众号Datawhale可以加入我们。

LICENSE

本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。