# EasyLLM

**Repository Path**: tomzwang11/easy-llm

## Basic Information

- **Project Name**: EasyLLM
- **Description**: 招商银行AI实验室联合华为MindSpore社区实现Qwen系列模型训推全流程套件，便于开发者开箱即用 
- **Primary Language**: Unknown
- **License**: Apache-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 5
- **Created**: 2025-09-05
- **Last Updated**: 2025-12-04

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

## 一、介绍

招商银行AI实验室联合华为MindSpore社区实现Qwen系列模型训推全流程套件，便于开发者开箱即用。
EasyLLM训推套件功能依赖MindSpore社区、大模型实现及并行能力依赖MindSpore深度学习框架，大模型训练依赖MindSpore
Transformers套件。如您想对MindSpore有进一步了解，可查阅[MindSpore官网](https://www.mindspore.cn)官网教程使用。

更新：
1. 套件升级至MindSpore 2.7.1 + MindFormers 1.7
2. MCore新架构，支持Megatron数据集格式
3. 支持HuggingFace社区权重加载与分布式权重自动转换切分
4. 支持HuggingFace社区原生数据处理
5. 新增Qwen3 MoE等模型预训练与微调支持
6. 预训练&微调数据集预处理脚本更新


支持模型列表：

| **模型名** |           **预训练&微调支持**           |
  |:-------:|:----------------------------:|
| Qwen2.5 | [0.5b](configs/qwen2_5/0_5b) [1.5b](configs/qwen2_5/1_5b) [3b](configs/qwen2_5/3b) [7b](configs/qwen2_5/7b) [14b](configs/qwen2_5/14b) [32b](configs/qwen2_5/32b) [72b](configs/qwen2_5/72b)|
|  Qwen3  |  [0.6b](configs/qwen3/0_6b)  [1.7b](configs/qwen3/1_7b) [4b](configs/qwen3/4b) [8b](configs/qwen3/8b) [14b](configs/qwen3/14b) [32b](configs/qwen3/32b)|
|  Qwen3MoE  |   [30ba3b](configs/qwen3/30ba3b)   |

## 二、版本说明

|         **组件**         |                  **版本及下载链接**                  |
  |:----------------------:|:---------------------------------------------:|
|       MindSpore        |                     2.7.1                     |
| MindSpore Transformers |                      1.7                      |
|          CANN          |                    8.3.RC1                    |
|          HDK           |                    23.0.3                     |

## 三、目录结构说明

|               **组件**               |            **介绍**             |
|:----------------------------------:|:-----------------------------:|
|          [配置文件](configs)           |      Qwen2.5和Qwen3的配置文件       |
|       [权重转换](convert_weight)       | MindSpore和HuggingFace权重相互转化脚本 |
|      [数据处理](dataset_process)       |     生成MindSpore格式的训练数据脚本      |
|         [镜像](dockerfiles)          |            构建镜像的方法            |
|            [文档插图](docs)            |        easy-llm相关文档插图         |
|           [套件补丁](patch)            |            各套件补丁代码            |
|            [训练](train)             |          微调和预训练启动脚本           |

## 四、环境准备

为更加方便环境安装，该项目提供dockerfile文件，可根据自身需求使用dockerfile文件制作镜像。

|     **镜像分类**      |         **文件链接**          |
  |:-----------------:|:-------------------------:|
| 训练/推理/强化学习/评测统一镜像 | [dockerfile](dockerfiles) |

```text
注意：
1) 使用dockerfile文件制作时，依赖互联网下载并安装依赖包
2) dockerfile默认设备为arm架构
```

## 五、使用教程

|             **类别**             |         **说明**          |
|:------------------------------:|:-----------------------:|
|     [预训练](train/README.md)     |       在MA平台上进行预训练       |
|     [微调](train/README.md)      |       LoRA微调训练       |
|     [参数配置](tutorial/README.md)      |       模型训练参数配置指南       |

## 六、声明

上述MindSpore社区组件完全开源且遵从Apache-2.0开源协议，
用户需自行承担第三方依赖风险与不当配置或超过官方范围使用导致的漏洞损失风险。