面向广泛 AI 研究爱好者群体的 DeepSeek 系列工作解读、扩展和复现，致力于传播 DeepSeek 在 AGI 实践之路上的创新性成果，并提供从 0 代码实现，打造 LLM 前沿技术教学项目。
- 有大语言模型相关概念基础，具有大学数理能力的初学者
- 希望进一步了解深度推理的学习者
- 希望将推理模型运用到实际工作中的从业人员
我们将 DeepSeek-R1 及其系列工作拆分为三个重要部分：
- MoE
- Reasoning
- Infra
与大众的关注性价比优势不同，我们关注 DeepSeek 在实践 AGI 之路的创新性工作，致力于将 DeepSeek 现有公开工作细分拆解，向更广泛的 AI 研究爱好者讲述清楚其中的创新方法细节，同时我们会对比介绍同期其他类似工作（如 Kimi-K1.5），呈现 AGI 之路的不同可能性
我们也将结合其他社区的工作，探索 DeepSeek-R1 的复现方案，提供中文复现教程
-
1.1 MoE 简介 @姜舒凡
-
1.2 MoE 结构的代码实现
-
1.3 DeepSeek MoE @姜舒凡
-
2.1.1 LLM and Reasoning
-
2.1.2 推理效果可视化
-
2.1.3 OpenAI-o1与Inference Scaling Law
-
2.1.4 Qwen-QwQ and Qwen-QVQ
-
2.1.5 DeepSeek-R1 and DeepSeek-R1-Zero
-
2.1.6 Kimi-K1.5
-
2.2.1 CoT，ToT，GoT
-
2.2.2 蒙特卡洛树搜索 @姜舒凡
-
2.2.3 强化学习概念速览
-
2.2.4 DPO
-
2.2.5 PPO
-
2.2.6 GRPO
-
3.1 FlashMLA
-
3.2 DeepEP
-
3.3 DeepGEMM
-
3.4 DualPipe & EPLB
-
3.5 3FS
-
Datawhale-R1
-
[ ]
- 骆秀韬 - 项目负责人 （似然实验室）
- 姜舒凡 - 项目负责人 （华东理工大学）
- 邓恺俊 （深圳大学）
- 陈嘉诺 （广州大学）
- 林景豪 （智谱）
- 如果你发现了一些问题，可以提Issue进行反馈
- 如果你想参与贡献本项目，欢迎提Pull request，请遵循fork-pr规范
- feat: 用于新功能（例如，feat: 添加新的 AI 模型）
- fix: 用于错误修复（例如，fix: 解决内存泄漏问题）
- docs: 用于文档更新（例如，docs: 更新贡献指南）
- style: 用于代码风格变更（例如，style: 重构代码格式）
- refactor: 用于代码重构（例如，refactor: 优化数据处理）
- test: 用于添加或更新测试（例如，test: 为新功能添加单元测试）
- chore: 用于维护任务（例如，chore: 更新依赖项）
我们衷心感谢以下开源工作，使我们能够构建这个项目：
扫描下方二维码关注公众号：Datawhale
本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。
注：默认使用CC 4.0协议，也可根据自身项目情况选用其他协议
