息壤网站打不开了,做网站可以临摹吗,seo上海优化,网络营销策划目标本地部署 LLaMA-Factory 1. 本地部署 LLaMA-Factory2. 下载模型3. 微调模型3-1. 下载数据集3-2. 配置参数3-3. 启动微调3-4. 模型评估3-5. 模型对话 1. 本地部署 LLaMA-Factory
下载代码#xff0c;
git clone https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Facto… 本地部署 LLaMA-Factory 1. 本地部署 LLaMA-Factory2. 下载模型3. 微调模型3-1. 下载数据集3-2. 配置参数3-3. 启动微调3-4. 模型评估3-5. 模型对话 1. 本地部署 LLaMA-Factory
下载代码
git clone https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory创建虚拟环境
conda create -n llama_factory python3.11 -y
conda activate llama_factory安装 LLaMA-Factory
pip install -e .[torch,metrics]验证
import torch
torch.cuda.current_device()
torch.cuda.get_device_name(0)
torch.__version__
print(torch.cuda.is_available())我机器的输入如下 2. 下载模型
安装 huggingface_hub
pip install huggingface_hub[hf_transfer]下载 Qwen/Qwen2.5-7B-Instruct
HF_HUB_ENABLE_HF_TRANSFER1 huggingface-cli download Qwen/Qwen2.5-7B-Instruct3. 微调模型
3-1. 下载数据集
LLaMA-Factory项目内置了丰富的数据集放在了data目录下。您可以跳过本步骤直接使用内置数据集。您也可以准备自定义数据集将数据处理为框架特定的格式放在data下并且修改dataset_info.json文件。
本教程准备了一份多轮对话数据集运行下述命令下载数据。
mkdir workspace; cd workspace
wget https://atp-modelzoo-sh.oss-cn-shanghai.aliyuncs.com/release/tutorials/llama_factory/data.zip
unzip data.zip3-2. 配置参数
启动 webui然后打开浏览器访问 http://localhost:7860进入WebUI后可以切换到中文zh。
llamafactory-cli webui首先配置模型本教程选择LLaMA3-8B-Chat模型微调方法则保持默认值lora使用LoRA轻量化微调方法能极大程度地节约显存。 设置学习率为1e-4梯度累积为2有利于模型拟合。 点击LoRA参数设置展开参数列表设置LoRA学习率比例为16LoRA被证明是比LoRA学习效果更好的算法。在LoRA作用模块中填写all即将LoRA层挂载到模型的所有线性层上提高拟合效果。
3-3. 启动微调
将输出目录修改为train_qwen2.5训练后的LoRA权重将会保存在此目录中。点击「预览命令」可展示所有已配置的参数您如果想通过代码运行微调可以复制这段命令在命令行运行。
点击「开始」启动模型微调。 3-4. 模型评估
微调完成后点击检查点路径即可弹出刚刚训练完成的LoRA权重点击选择下拉列表中的train_qwen2.5选项在模型启动时即可加载微调结果。
选择「EvaluatePredict」栏在数据集下拉列表中选择「eval」验证集评估模型。更改输出目录为eval_llama3模型评估结果将会保存在该目录中。最后点击开始按钮启动模型评估。 模型评估大约需要5分钟左右评估完成后会在界面上显示验证集的分数。其中ROUGE分数衡量了模型输出答案predict和验证集中标准答案label的相似度ROUGE分数越高代表模型学习得更好。 3-5. 模型对话
选择「Chat」栏确保适配器路径是train_qwen2.5点击「加载模型」即可在Web UI中和微调模型进行对话。 点击「卸载模型」点击“×”号取消检查点路径再次点击「加载模型」即可与微调前的原始模型聊天。 本次教程介绍了如何使用PAI和LLaMA Factory框架基于轻量化LoRA方法微调Qwen2.5模型使其能够进行中文问答和角色扮演同时通过验证集ROUGE分数和人工测试验证了微调的效果。在后续实践中可以使用实际业务数据集对模型进行微调得到能够解决实际业务场景问题的本地领域大模型。 参考资料
models-downloadingLLaMA Factory微调LLaMA3模型实现角色扮演LLaMA-Factory QuickStart
