MindSpore Transformers套件的目标是构建一个大模型训练、微调、评估、推理、部署的全流程开发套件，提供业内主流的Transformer类预训练模型和SOTA下游任务应用，涵盖丰富的并行特性。期望帮助用户轻松的实现大模型训练和创新研发。
MindSpore Transformers套件基于MindSpore内置的并行技术和组件化设计，具备如下特点：
- 一行代码实现从单卡到大规模集群训练的无缝切换；
- 提供灵活易用的个性化并行配置；
- 能够自动进行拓扑感知，高效地融合数据并行和模型并行策略；
- 一键启动任意任务的单卡/多卡训练、微调、评估、推理流程；
- 支持用户进行组件化配置任意模块，如优化器、学习策略、网络组装等；
- 提供Trainer、pipeline、AutoClass等高阶易用性接口；
- 提供预置SOTA权重自动下载及加载功能；
- 支持人工智能计算中心无缝迁移部署；
欲获取MindFormers相关使用教程以及API文档，请参阅MindFormers文档，以下提供部分内容的快速跳转链接：
- 📝 快速启动
- 📝 大模型预训练
- 📝 大模型低参微调
- 📝 MindIE服务化部署
如果您对MindSpore Transformers有任何建议，请通过issue与我们联系，我们将及时处理。
当前MindFormers支持的模型列表如下：
| 模型名 | 支持规格 | 模型类型 |
|---|---|---|
| Llama2 | 7B/13B/70B | 稠密LLM |
| Llama3 | 8B/70B | 稠密LLM |
| Llama3.1 | 8B/70B | 稠密LLM |
| Qwen | 7B/14B | 稠密LLM |
| Qwen1.5 | 7B/14B/72B | 稠密LLM |
| Qwen2 | 0.5B/1.5B/7B/57B/57B-A14B/72B | 稠密/稀疏MoE LLM |
| Qwen-VL | 9.6B | 多模态 |
| GLM2 | 6B | 稠密LLM |
| GLM3 | 6B | 稠密LLM |
| GLM3-32K | 6B | 稠密LLM |
| GLM4 | 9B | 稠密LLM |
| CogVLM2-Video | 13B | 多模态 |
| CogVLM2-Image | 19B | 多模态 |
| InternLM | 7B/20B | 稠密LLM |
| InternLM2 | 7B/20B | 稠密LLM |
| DeepSeek-Coder | 33B | 稠密LLM |
| DeepSeek-Coder-V1.5 | 7B | 稠密LLM |
| DeepSeek-V2 | 236B | 稀疏MoE LLM |
| CodeLlama | 34B | 稠密LLM |
| Mixtral | 8x7B | 稀疏MoE LLM |
| Baichuan2 | 7B/13B | 稠密LLM |
| Yi | 6B/34B | 稠密LLM |
| GPT2 | 13B | 稠密LLM |
| Whisper | 1.5B | 多模态 |
当前支持的硬件为Atlas 800T A2训练服务器。
当前套件建议使用的Python版本为3.10。
| MindFormers | MindSpore | CANN | 固件与驱动 | 镜像链接 |
|---|---|---|---|---|
| 在研版本 | 在研版本 | 在研版本 | 在研版本 | 不涉及 |
历史版本配套关系：
| MindFormers | MindSpore | CANN | 固件与驱动 | 镜像链接 |
|---|---|---|---|---|
| r1.3.0 | 2.4.0 | 8.0.RC3.beta1 | 24.1.RC3 | Link |
| r1.2.0 | 2.3.0 | 8.0.RC2.beta1 | 24.1.RC2 | Link |
MindFormers目前支持源码编译安装，用户可以执行如下命令进行安装。
git clone -b dev https://gitee.com/mindspore/mindformers.git
cd mindformers
bash build.shMindFormers支持模型启动预训练、微调、推理、评测等功能，可点击支持模型中模型名称查看文档完成上述任务，以下为模型分布式启动方式的说明与示例。
MindFormers推荐使用分布式方式拉起模型训练、推理等功能，目前提供scripts/msrun_launcher.sh分布式启动脚本作为模型的主要启动方式，msrun特性说明可以参考msrun启动。
该脚本主要输入参数说明如下：
| 参数 | 单机是否必选 | 多机是否必选 | 默认值 | 说明 |
|---|---|---|---|---|
| WORKER_NUM | ✓ | ✓ | 8 | 所有节点中使用计算卡的总数 |
| LOCAL_WORKER | - | ✓ | 8 | 当前节点中使用计算卡的数量 |
| MASTER_ADDR | - | ✓ | 127.0.0.1 | 指定分布式启动主节点的ip |
| MASTER_PORT | - | ✓ | 8118 | 指定分布式启动绑定的端口号 |
| NODE_RANK | - | ✓ | 0 | 指定当前节点的rank id |
| LOG_DIR | - | ✓ | output/msrun_log | 日志输出路径，若不存在则递归创建 |
| JOIN | - | ✓ | False | 是否等待所有分布式进程退出 |
| CLUSTER_TIME_OUT | - | ✓ | 7200 | 分布式启动的等待时间，单位为秒 |
注：如果需要指定
device_id启动，可以设置环境变量ASCEND_RT_VISIBLE_DEVICES，如要配置使用2、3卡则输入export ASCEND_RT_VISIBLE_DEVICES=2,3。
# 1. 单机多卡快速启动方式，默认8卡启动
bash scripts/msrun_launcher.sh "run_mindformer.py \
--config {CONFIG_PATH} \
--run_mode {train/finetune/eval/predict}"
# 2. 单机多卡快速启动方式，仅设置使用卡数即可
bash scripts/msrun_launcher.sh "run_mindformer.py \
--config {CONFIG_PATH} \
--run_mode {train/finetune/eval/predict}" WORKER_NUM
# 3. 单机多卡自定义启动方式
bash scripts/msrun_launcher.sh "run_mindformer.py \
--config {CONFIG_PATH} \
--run_mode {train/finetune/eval/predict}" \
WORKER_NUM MASTER_PORT LOG_DIR JOIN CLUSTER_TIME_OUT-
使用示例
# 单机多卡快速启动方式，默认8卡启动 bash scripts/msrun_launcher.sh "run_mindformer.py \ --config path/to/xxx.yaml \ --run_mode finetune" # 单机多卡快速启动方式 bash scripts/msrun_launcher.sh "run_mindformer.py \ --config path/to/xxx.yaml \ --run_mode finetune" 8 # 单机多卡自定义启动方式 bash scripts/msrun_launcher.sh "run_mindformer.py \ --config path/to/xxx.yaml \ --run_mode finetune" \ 8 8118 output/msrun_log False 300
多机多卡执行脚本进行分布式训练需要分别在不同节点运行脚本，并将参数MASTER_ADDR设置为主节点的ip地址， 所有节点设置的ip地址相同，不同节点之间仅参数NODE_RANK不同。
# 多机多卡自定义启动方式
bash scripts/msrun_launcher.sh "run_mindformer.py \
--config {CONFIG_PATH} \
--run_mode {train/finetune/eval/predict}" \
WORKER_NUM LOCAL_WORKER MASTER_ADDR MASTER_PORT NODE_RANK LOG_DIR JOIN CLUSTER_TIME_OUT-
使用示例
# 节点0，节点ip为192.168.1.1，作为主节点，总共8卡且每个节点4卡 bash scripts/msrun_launcher.sh "run_mindformer.py \ --config {CONFIG_PATH} \ --run_mode {train/finetune/eval/predict}" \ 8 4 192.168.1.1 8118 0 output/msrun_log False 300 # 节点1，节点ip为192.168.1.2，节点0与节点1启动命令仅参数NODE_RANK不同 bash scripts/msrun_launcher.sh "run_mindformer.py \ --config {CONFIG_PATH} \ --run_mode {train/finetune/eval/predict}" \ 8 4 192.168.1.1 8118 1 output/msrun_log False 300
MindFormers提供run_mindformer.py脚本作为单卡启动方法，该脚本可以根据模型配置文件，完成支持模型的单卡训练、微调、评估、推理流程。
# 运行run_mindformer.py的入参会覆盖模型配置文件中的参数
python run_mindformer.py --config {CONFIG_PATH} --run_mode {train/finetune/eval/predict}欢迎参与社区贡献，可参考MindFormers贡献指南。