[Feature]: vLLM-MindSpore Plugin支持MiniCPM4模型

### 🚀 背景描述｜Background

MiniCPM4 系列是专为终端设备设计的高度高效的大语言模型 (LLMs)，通过在四个关键维度上的系统性创新实现了这一效率：模型架构、训练数据、训练算法和推理系统。

🏗️ 高效的模型架构：
- InfLLM v2 -- 可训练的稀疏注意力机制：采用可训练的稀疏注意力机制架构，每个标记只需要计算与128K长文本中不到5%的标记的相关性，显著降低了长文本处理的计算开销

🧠 高效的算法：模型风洞2.0 -- 高效的可预测扩展：引入了对下游任务性能的扩展预测方法，使模型训练配置搜索更加精确
- BitCPM -- 极限三值量化：将模型参数位宽压缩到3个值，实现了90%的极端模型位宽减少
- 高效的训练工程优化：采用FP8低精度计算技术结合多标记预测训练策略

📚 高质量的训练数据：
- UltraClean -- 高质量的预训练数据过滤和生成：基于高效的数据验证构建迭代数据清洗策略，开源高质量的中文和英文预训练数据集 UltraFinweb
- UltraChat v2 -- 高质量的监督微调数据生成：构建大规模高质量的监督微调数据集，覆盖知识密集型数据、推理密集型数据、指令跟随数据、长文本理解数据和工具调用数据等多个维度

⚡ 高效的推理系统：
- CPM.cu -- 轻量级高效的CUDA推理框架：集成稀疏注意力、模型量化和推测采样技术，实现高效的填充和解码
- ArkInfer -- 跨平台部署系统：支持在多个后端环境中的高效部署，提供灵活的跨平台适应能力

本需求期望vllm-mindspore插件支持包括以下模型在内的MiniCPM4系列模型。
- MiniCPM4-8B: MiniCPM4 的旗舰模型，具有 80 亿参数，在 8T tokens 上训练。
- MiniCPM4-0.5B: MiniCPM4 的小型版本，具有 0.5B 参数，在 1T tokens 上训练。
- MiniCPM4 的最新版本，拥有 8B 参数，支持融合思维。

### 特性设计｜Feature design

参考Qwen3模型，在vllm-mindspore native模型中，仿照vLLM模型风格（minicpm.py）实现MiniCPM4系列模型。

### 涉及到的对外API｜External API changes involved

### 与其他模块的相关性描述｜Relation with other modules

### 测试设计与测试计划｜Test design and plan

质量等级：beta
相关接口：兼容vLLM原生接口
交付时间：待需求接纳后确定

### 其他信息｜Other information

MindSpore/vllm-mindspore

内容风险标识

评论 (0)

MindSpore/vllm-mindspore .gitee-modal { width: 500px !important; }

内容风险标识