为什么要做网站,西安企业建站价格,西安网站制作百亿科技,非凡网站建设平台网页本文将介绍如下内容#xff1a;
一、搭建 Docker Container 环境二、配置大模型训练环境三、构建、配置数据集四、训练大模型
一、搭建 Docker Container 环境
笔者此前多篇文章说明#xff0c;此处不再赘述#xff0c;可参考#xff1a;NGC容器中快速搭建Jupyter环境 E…本文将介绍如下内容
一、搭建 Docker Container 环境二、配置大模型训练环境三、构建、配置数据集四、训练大模型
一、搭建 Docker Container 环境
笔者此前多篇文章说明此处不再赘述可参考NGC容器中快速搭建Jupyter环境 Eg NGC 版本为 24.09
二、配置大模型训练环境
1、下载代码
git clone https://github.com/hiyouga/LLaMA-Factory.git# 切换到此次案例的版本
git checkout c3fda5046d835ba4542d525b8d89cd12838e9f4c2、配置训练环境
cd LLaMA-Factory
pip install -e .[torch,metrics]
pip install deepspeed0.15.4三、构建、配置数据集
1、构建数据集
将数据构造为如下格式的json文件
[{instruction: 识别并解释给定列表中的两个科学理论细胞理论和日心说。,input: ,output: 细胞理论是生物科学的一个理论它认为所有生命体都是由微小的基本单元——细胞所构成。},[{instruction: 识别并解释给定列表中的两个科学理论细胞理论和日心说。,input: ,output: 细胞理论是生物科学的一个理论它认为所有生命体都是由微小的基本单元——细胞所构成。这是生物学的一个基础理论认为细胞是所有生物的基本结构和功能单位所有的生物都是由一个或多个细胞组成细胞只能通过细胞分裂产生新的细胞。这一理论由薛定谔、施瓦内和雪莱于1839年首次提出。\n\n日心说是指太阳是太阳系的中心也就是说行星围绕太阳旋转的理论。这个理论打破了传统的
地心说观点认为地球并不是宇宙的中心。日心说的提出者是尼古拉·哥白尼他在16世纪初发表了他的著作《天体运行论》阐述了太阳系行星围绕太阳运行的模型为天文学的发展做出了巨大贡献。},
]2、配置数据集
vim LLaMA-Factory/data/dataset_info.json
{dataset_merged: {file_name: dataset_merged.json},identity: {file_name: identity.json},
}四、训练大模型
1、torchrun 命令详细
--nnodes: 总共的节点机器数量。
--nproc_per_node: 每个节点上要使用的进程数通常等于该节点所使用的 GPU 数。
--node_rank: 当前节点的编号从 0 开始计数。
--master_addr: 主节点node_rank0的 IP 地址或主机名。
--master_port: 用于通信的端口确保这个端口在主节点是空闲、未被占用的。2 、单机多卡案例
在单机多卡的场景下nnodes 设置为 1node_rank 为 0master_addr 通常设为 localhost 或者 127.0.0.1master_port 选择一个未被占用的端口例如 12355。
#!/bin/bash# 分布式训练参数
DISTRIBUTED_ARGS--nnodes1 \--node_rank0 \--nproc_per_node3 \--master_addr127.0.0.1 \--master_port12355 \
# 设置可见的 GPU 设备这里选择 GPU 0, 2, 3
CUDA_VISIBLE_DEVICES0,2,3 torchrun $DISTRIBUTED_ARGS src/train.py \--stage sft \--do_train \--deepspeed /data/njh/generate-medical-record/LLaMA-Factory/examples/deepspeed/ds_z2_config_self.json \--use_fast_tokenizer \--flash_attn auto \--model_name_or_path /nasdata/zhanjie/models/Qwen2.5-7B-Instruct \--dataset dataset_merged \--template qwen \--finetuning_type full \--lora_dropout 0.2 \--lora_target lora \--output_dir saves/qwen2.5-7B-Instruct/epoch3_dropout2_rank4 \--overwrite_cache \--overwrite_output_dir \--warmup_steps 100 \--weight_decay 0.1 \--per_device_train_batch_size 1 \--gradient_accumulation_steps 4 \--ddp_timeout 9000 \--learning_rate 1e-5 \--lr_scheduler_type cosine \--logging_steps 1 \--cutoff_len 6000 \--save_steps 100 \--plot_loss \--num_train_epochs 1 \--bf16 True \--optim adamw_torch \--lora_rank 4 \--lora_alpha 8
说明--nnodes1表示总共有1个节点机器。
--node_rank0当前节点编号为0唯一的节点。
--nproc_per_node3每个节点上启动3个进程对应3个GPUGPU 0, 2, 3。
--master_addr127.0.0.1主节点地址为本机。
--master_port12355主节点通信端口。3、多机多卡案例
在多机多卡的场景下假设有两台机器节点每台机器有3个GPU。需要在每台机器上分别运行相应的 torchrun 命令并确保主节点的 master_addr 和 master_port 在所有节点上保持一致。
主节点Node 0
#!/bin/bash# 分布式训练参数
DISTRIBUTED_ARGS--nnodes2 \--node_rank0 \--nproc_per_node3 \--master_addr192.168.1.1 \--master_port12355 \
# 设置可见的 GPU 设备这里选择 GPU 0, 2, 3
CUDA_VISIBLE_DEVICES0,2,3 torchrun $DISTRIBUTED_ARGS src/train.py \--your_other_args
说明
–nnodes2总共有2个节点。 –node_rank0当前节点为主节点编号为0。 –master_addr192.168.1.1主节点的IP地址需替换为实际主节点IP。 其他参数同单机多卡。
从节点Node 1
#!/bin/bash# 分布式训练参数
DISTRIBUTED_ARGS--nnodes2 \--node_rank1 \--nproc_per_node3 \--master_addr192.168.1.1 \--master_port12355 \
# 设置可见的 GPU 设备这里选择 GPU 0, 2, 3
CUDA_VISIBLE_DEVICES0,2,3 torchrun $DISTRIBUTED_ARGS src/train.py \--stage sft \--do_train \--deepspeed /data/njh/generate-medical-record/LLaMA-Factory/examples/deepspeed/ds_z2_config_self.json \--use_fast_tokenizer \--flash_attn auto \--model_name_or_path /nasdata/zhanjie/models/Qwen2.5-7B-Instruct \--dataset dataset_merged \--template qwen \--finetuning_type full \--lora_dropout 0.2 \--lora_target lora \--output_dir saves/qwen2.5-7B-Instruct/epoch3_dropout2_rank4 \--overwrite_cache \--overwrite_output_dir \--warmup_steps 100 \--weight_decay 0.1 \--per_device_train_batch_size 1 \--gradient_accumulation_steps 4 \--ddp_timeout 9000 \--learning_rate 1e-5 \--lr_scheduler_type cosine \--logging_steps 1 \--cutoff_len 6000 \--save_steps 100 \--plot_loss \--num_train_epochs 1 \--bf16 True \--optim adamw_torch \--lora_rank 4 \--lora_alpha 8
说明
–nnodes2总共有2个节点。 –node_rank1当前节点为从节点编号为1。 –master_addr192.168.1.1 和 --master_port12355与主节点保持一致。 其他参数同单机多卡。 注意事项
网络通信确保所有节点之间的网络通信正常且 master_port 在主节点上是开放且未被占用的。 同步代码和环境所有节点上的代码和运行环境如PyTorch版本、依赖库等应保持一致。 数据访问确保所有节点能够访问到训练所需的数据数据存储路径应一致或通过网络共享。
