wordpress演示站功能,网站优化就是每天更新内容吗,厦门市建设局加装电梯公示网站,商业网站开发实训报告总结通过Github Codespace下载InternLM模型并运行
本篇博客是记录《书生大模型实战营第四期-玩转HF/魔搭/魔乐》章节的闯关任务从HF上下载模型文件#xff0c;对实战营感兴趣的小伙伴也可以扫码报名哦。 一、通过模版创建Codespace环境
访问codespace 点击Jupyter Notebook 模版…通过Github Codespace下载InternLM模型并运行
本篇博客是记录《书生大模型实战营第四期-玩转HF/魔搭/魔乐》章节的闯关任务从HF上下载模型文件对实战营感兴趣的小伙伴也可以扫码报名哦。 一、通过模版创建Codespace环境
访问codespace 点击Jupyter Notebook 模版的Use this template使用该模版创建Jupyter环境 环境创建好后就可以看到vscode的界面 点击TERMINAL并且安装如下依赖
# 安装transformers
pip install transformers4.38
pip install sentencepiece0.1.99
pip install einops0.8.0
pip install protobuf5.27.2
pip install accelerate0.33.0
二、创建hf_download_json.py文件
你可以通过在终端(TERMINAL)中输入如下命令来创建文件也可以点击vscode的新增文件按钮来创建。
touch hf_download_json.py 粘贴如下代码
import os
from huggingface_hub import hf_hub_download# 指定模型标识符
repo_id internlm/internlm2_5-7b# 指定要下载的文件列表
files_to_download [{filename: config.json},{filename: model.safetensors.index.json}
]# 创建一个目录来存放下载的文件
local_dir f{repo_id.split(/)[1]}
os.makedirs(local_dir, exist_okTrue)# 遍历文件列表并下载每个文件
for file_info in files_to_download:file_path hf_hub_download(repo_idrepo_id,filenamefile_info[filename],local_dirlocal_dir)print(f{file_info[filename]} file downloaded to: {file_path})
三、运行hf_download_json.py并查看结果
在终端中执行:
python hf_download_json.py 可以看到这个脚本帮我们下载了config.json和model.safetensors.index.json两个文件到当前目录的internlm2_5-7b的文件夹中了。至此闯关任务已经通过啦。
四、下载完整模型并运行
跟创建hf_download_json.py一样创建一个hf_download_demo.py
touch hf_download_demo.py
粘贴如下代码
import torch
from transformers import AutoTokenizer, AutoModelForCausalLMtokenizer AutoTokenizer.from_pretrained(internlm/internlm2_5-1_8b, trust_remote_codeTrue)
model AutoModelForCausalLM.from_pretrained(internlm/internlm2_5-1_8b, torch_dtypetorch.float16, trust_remote_codeTrue)
model model.eval()inputs tokenizer([A beautiful flower], return_tensorspt)
gen_kwargs {max_length: 128,top_p: 0.8,temperature: 0.8,do_sample: True,repetition_penalty: 1.0
}output model.generate(**inputs, **gen_kwargs)
output tokenizer.decode(output[0].tolist(), skip_special_tokensTrue)
print(output) 运行hf_download_demo.py下载模型并且运行
python hf_download_demo.py
等待模型下载完成与运行就可以看到运行结果 PS:由于github codespaces没有gpu运行大模型可能需要比较长的时间才能出结果。
