邢台网站建设有哪些,网站开发过程中出现的问题,wordpress改为直接填写密码,抖音制作视频的软件逻辑推理微调 比赛介绍准备内容lora微调lora微调介绍lora优势代码内容 start_vllm相关介绍调用 运行主函数提交结果总结相应连接 比赛介绍
本比赛旨在测试参与者的逻辑推理和问题解决能力。参与者将面对一系列复杂的逻辑谜题#xff0c;涵盖多个领域的推理挑战。 比赛的连接:… 逻辑推理微调 比赛介绍准备内容lora微调lora微调介绍lora优势代码内容 start_vllm相关介绍调用 运行主函数提交结果总结相应连接 比赛介绍
本比赛旨在测试参与者的逻辑推理和问题解决能力。参与者将面对一系列复杂的逻辑谜题涵盖多个领域的推理挑战。 比赛的连接:第二届世界科学智能大赛逻辑推理赛道复杂推理能力评估
准备内容
选择相应的GPU环境以及对应的镜像,这里使用到的是魔搭社区的内容
lora微调
lora微调介绍
LoRALow-Rank Adaptation微调是一种高效的模型微调技术特别适用于大型预训练语言模型的适应性调整。LoRA的核心思想是通过引入低秩矩阵来调整模型的权重从而在不显著增加模型参数数量的情况下实现对模型的微调。
lora优势
可以针对不同的下游任务构建小型 LoRA 模块从而在共享预训练模型参数基础上有效地切换下游任务。LoRA 使用自适应优化器Adaptive Optimizer不需要计算梯度或维护大多数参数的优化器状态训练更有效、硬件门槛更低。LoRA 使用简单的线性设计在部署时将可训练矩阵与冻结权重合并不存在推理延迟。LoRA 与其他方法正交可以组合。
代码内容 复制内容:
git clone https://www.modelscope.cn/datasets/Datawhale/DW2024_Complex_reasoning_ability_assessment_qwen2-7b-lora.git之后就会看到有一个文件夹,点击进去,选择 lora.ipynb 运行前两个代码 然后逐个运行下面的代码
start_vllm
相关介绍
vLLMVirtual Large Language Model是一个由伯克利大学LMSYS组织开源的大规模语言模型高速推理框架。它的设计目标是在实时应用场景中大幅提升语言模型服务的吞吐量和内存使用效率。vLLM的特点包括易于使用、与Hugging Face等流行工具无缝集成以及高效的性能。
调用
调用这个vllm的服务 选择start_vllm.ipynb
运行主函数
运行主函数 baseline2_main.ipynb 然后要注意的是要上传相应的test的文件
提交结果
将生成的文件upload.jsonl提交到官网,得到相应的分数
总结
主要就是根据datawhale所给到的相应学习资料进行一个运行操作,了解了这个模型调整的内容,对自己来说有很多还有学习的地方
相应连接
文章当中的内容都是由datawhale所给出
https://tianchi.aliyun.com/notebook/757650
Datawhale AI夏令营第三期逻辑推理赛道baseline02跑通指南
