通辽网站建设0475seo,太原编程培训机构,如何开网站建设公司,湖南建筑公司网站文章目录 1、模型简介2、相关背景3、主要创新点预训练#xff1a;为推理而生的基础模型后训练#xff1a;开创性的推理模型RL 基础设施 4、模型细节5、评测结果6、模型部署SGLang 推理vLLM 推理HuggingFace 推理 项目开源
技术报告#xff1a;https://arxiv.org/abs/2505.0… 文章目录 1、模型简介2、相关背景3、主要创新点预训练为推理而生的基础模型后训练开创性的推理模型RL 基础设施 4、模型细节5、评测结果6、模型部署SGLang 推理vLLM 推理HuggingFace 推理 项目开源
技术报告https://arxiv.org/abs/2505.07608githubhttps://github.com/XiaomiMiMo/MiMo
1、模型简介
MiMo-7B系列模型是从零开始训练并专为推理任务而生的。其强化学习实验显示模型具有非凡的推理潜力甚至超过了大得多的320亿参数模型。此外在冷启动的SFT模型上进行了RL训练生成了MiMo-7B-RL该模型在数学和代码推理任务上表现出色与OpenAI o1-mini的表现相当。 MiMo-7B系列包括基础模型MiMo-7B-Base、SFT模型MiMo-7B-SFT、从基础模型训练的RL模型MiMo-7B-RL-Zero以及从SFT模型训练的RL模型MiMo-7B-RL。
2、相关背景
目前大多数成功的强化学习工作都依赖于相对较大的基础模型例如320亿参数的模型特别是在增强代码推理能力方面。此外普遍认为在一个小模型中同时提高数学和代码能力是具有挑战性的。
然而我们认为强化学习训练的推理模型的有效性依赖于基础模型固有的推理潜力。为了充分释放语言模型的推理潜力不仅需要关注后训练还需要关注针对推理定制的预训练策略。
3、主要创新点
预训练为推理而生的基础模型
优化了数据预处理流程增强了文本提取工具包并应用了多维度数据过滤以增加预训练数据中的推理模式密度。还采用了多种策略来生成大量多样化的合成推理数据。采用三阶段数据混合策略进行预训练。总体而言MiMo-7B-Base 在大约 25 万亿个令牌上进行了预训练。将多令牌预测MTP作为额外的训练目标纳入其中这增强了模型性能并加速了推理。
后训练开创性的推理模型
精心挑选了 130K 个数学和代码问题作为强化学习RL训练数据这些问题可以通过基于规则的验证器进行验证。每个问题都经过仔细清理和难度评估以确保质量。仅使用基于规则的准确性奖励以避免潜在的奖励黑客攻击。为了缓解具有挑战性的代码问题的稀疏奖励问题引入了测试难度驱动的代码奖励。通过对不同难度级别的测试用例分配细粒度的分数可以通过密集的奖励信号更有效地优化策略。对简单问题实施了数据重采样策略以提高 rollout 采样效率并在 RL 训练的后期阶段稳定策略更新。
RL 基础设施
开发了一个无缝 Rollout 引擎以加速 RL 训练和验证。设计集成了连续 rollout、异步奖励计算和提前终止以最小化 GPU 空闲时间实现了 2.29× 的更快训练和 1.96× 的更快验证。在 vLLM 中支持 MTP并增强了 RL 系统中推理引擎的鲁棒性。
4、模型细节
MiMo-7B 的 MTP 层在预训练和 SFT 期间进行微调并在 RL 期间冻结。对于推测解码一个 MTP 层的接受率约为 90%。
MiMo-7B系列主要包含如下四款模型其具体描述和下载地址如下 Huggingface下载地址 https://huggingface.co/XiaomiMiMomodelscope下载地址 https://www.modelscope.cn/organization/XiaomiMiMo
5、评测结果
模型通用能力基本与QwQ-32B-Preview相当 数学和代码能力优于OpenAI o1-mini等其他模型 MiMo-7B系列模型对比其中 MiMo-7B-RL 在 数学和代码能力上最强 注评估是在 temperature0.6 的条件下进行的。AIME24 和 AIME25 的分数是 32 次重复的平均分。
6、模型部署
SGLang 推理
SGLang 支持了 MiMo 模型 和 MTP示例脚本
# Install the latest SGlang from main branch
python3 -m uv pip install sglang[all] githttps://github.com/sgl-project/sglang.git/main#eggsglangsubdirectorypython# Launch SGLang Server
SGLANG_USE_MODELSCOPEtrue python3 -m sglang.launch_server --model-path XiaomiMiMo/MiMo-7B-RL --host 0.0.0.0 --trust-remote-code# Launch MTP Server
SGLANG_USE_MODELSCOPEtrue python3 -m sglang.launch_server --model-path XiaomiMiMo/MiMo-7B-RL --trust-remote-code \
--speculative-algorithm EAGLE --speculative-num-steps 1 --speculative-eagle-topk 1 \
--speculative-num-draft-tokens 2 --mem-fraction 0.5详细用法请参阅 SGLang 文档
vLLM 推理
官方支持使用 MiMo-vLLM 的分支 进行 MiMo-MTP 推理。示例代码推荐使用 vLLM 0.7.3 版本
from vllm import LLM, SamplingParamsmodel_path /path/to/MiMo
llm LLM(modelmodel_path,trust_remote_codeTrue,num_speculative_tokens1,disable_log_statsFalse
)
sampling_params SamplingParams(temperature0.6)conversation [{role: system,content: },{role: user,content: Write an essay about the importance of higher education.,},
]outputs llm.chat(conversation,sampling_paramssampling_params,use_tqdmFalse)for output in outputs:prompt output.promptgenerated_text output.outputs[0].textprint(fPrompt: {prompt!r}, Generated text: {generated_text!r})print( * 80)你也可以注册一个不加载 MTP 参数的 vLLM 加载器来使用 MiMo。你需要将 registry/register_mimo_in_vllm.py 复制到你的目录并通过以下方式导入
import register_mimo_in_vllmfrom vllm import LLM, SamplingParamsmodel_path /path/to/MiMo
llm LLM(modelmodel_path,trust_remote_codeTrue,# num_speculative_tokens1,disable_log_statsFalse
)
sampling_params SamplingParams(temperature0.6)HuggingFace 推理
示例代码
from modelscope import AutoModel, AutoModelForCausalLM, AutoTokenizermodel_id XiaomiMiMo/MiMo-7B-RL
model AutoModelForCausalLM.from_pretrained(model_id, trust_remote_codeTrue)
tokenizer AutoTokenizer.from_pretrained(model_id)
inputs tokenizer([Today is], return_tensorspt)
output model.generate(**inputs, max_new_tokens 100)
print(tokenizer.decode(output.tolist()[0]))
