东莞网站设计费用,北京58网站建设,杭州全网推广,工业设计展板ChatGLM-6B是由清华大学和智谱AI开源的一款对话语言模型#xff0c;基于 General Language Model (GLM)架构#xff0c;具有 62亿参数。该模型凭借其强大的语言理解和生成能力、轻量级的参数量以及开源的特性#xff0c;已经成为在学术界和工业界引起了广泛关注。
本篇将介…ChatGLM-6B是由清华大学和智谱AI开源的一款对话语言模型基于 General Language Model (GLM)架构具有 62亿参数。该模型凭借其强大的语言理解和生成能力、轻量级的参数量以及开源的特性已经成为在学术界和工业界引起了广泛关注。
本篇将介绍使用DAMODEL深度学习平台部署ChatGLM-6B模型然后通过Web API的形式使用本地代码调用服务端的模型进行对话。
一、DAMODEL-ChatGLM-6B服务端部署
DAMODEL丹摩智算是专为AI打造的智算云致力于提供丰富的算力资源与基础设施助力AI应用的开发、训练、部署。目前给新用户提供了近100小时的免费4090算力可供使用。
1.1、实例创建
首先进入DAMODEL控制台点击资源-GPU云实例点击创建实例 进入创建页面后首先在实例配置中首先选择付费类型为按量付费其次选择单卡启动然后选择需求的GPU型号本次实验可以选择选择按量付费–GPU数量1–NVIDIA-GeForc-RTX-4090该配置为60GB内存24GB的显存。
继续往下翻配置数据硬盘的大小每个实例默认附带了50GB的数据硬盘本次创建可以就选择默认大小50GB可以看到平台提供了一些基础镜像供快速启动镜像中安装了对应的基础环境和框架这里选择PyTorch1.13.1的框架启动也可以选择PyTorch2.1.2版本启动。
点击创建密钥对输入自定义的名称创建好密钥对后选择刚刚创建好的密钥对并点击立即创建等待一段时间后即可启动成功
1.2、模型准备
启动环境后打开终端用git 克隆https://github.com/THUDM/ChatGLM-6B.git项目若遇到github连接超时可以选择离线下载并上传到项目中。
cd /home/aistudio/work/
git clone https://github.com/THUDM/ChatGLM-6B.git成功克隆项目后会显示如下文件夹 其次cd进入该文件夹使用pip安装项目依赖pip install -r requirements.txt可以看到DAMODEL平台环境依赖的下载安装速度可以达到18MB/s以上非常迅速等待片刻显示如下Successfully installed则说明依赖安装完成 依赖安装成功后我们需要引入模型文件比较方便的是DAMODEL丹摩智算提供了数据上传功能用户有20GB免费存储空间该空间被挂载到实例的/root/shared-storage目录跨实例共享。
这里首先点击文件存储点击上传文件。 然后下载Hugging Face上的ChatGLM-6B预训练模型也可以进入魔塔社区选择https://www.modelscope.cn/models/ZhipuAI/chatglm3-6b/files里的所有文件进行下载 然后将下载下来的模型文件及配置进行上传并解压上传时尽量保持该界面首页显示等待上传成功后再进行其他操作。
1.3、模型启动
上传好预训练模型及解压后我们就可以去启动python脚本运行了ChatGLM-6B提供了cli_demo.py和web_demo.py两个文件来启动模型第一个是使用命令行进行交互第二个是使用本机服务器进行网页交互。 由于要使用本地模型启动所以我们需要把从Hugging Face Hub加载改为本地路径加载打开cli_demo.py文件将这两行代码改为从本地文件目录加载预训练模型。 然后在终端输入python cli_demo就可以成功启动模型了在cli_demo.py中main函数启动一个无限循环等待用户输入。用户可以输入文本与模型进行对话或输入clear清空对话历史并清除屏幕或输入stop退出程序。对于正常的对话输入。
启动模型后的效果如下图所示 也可以在终端输入python web_demo.py通过Web界面与模型进行交互。 不过由于Jupyter的限制无法直接打开访问服务器的127.0.0.1:7860网页端交互界面这里可以利用MobaXterm建立ssh隧道实现远程端口到本机端口的转发。首先打开tunneling新建SSH通道填入ssh的相关配置并将7860通道内容转发到本机点击start开始转发
转发成功后就可以成功在网页与模型进行交互了效果如下 二、通过Web API实现本地使用
2.1、启动服务
通过以上步骤我们成功启动了ChatGLM-6B模型并可以在服务器的JupyterLab中进行对话下面我们将其部署为API服务然后在本地进行使用。
同样ChatGLM-6B模型为我们提供了api.py文件它实现了一个基于FastAPI框架API服务其接收一个HTTP POST请求该请求体包含文本生成所需的参数如prompt提示文本、history对话历史、max_length生成文本的最大长度、top_p采样时的累积概率阈值和temperature采样时的温度参数影响生成文本的随机性。在接收到请求后该服务使用预训练的模型和分词器tokenizer来生成一个响应文本并更新对话历史。随后生成的响应文本、更新后的对话历史、状态码固定为200和当前时间戳被打包成一个JSON对象并返回给客户端。
我们可以直接在终端cd进入ChatGLM-6B文件夹运行api.py文件
cd ChatGLM-6B
python api.py显示如下提示则说明启动成功
2.2、开放端口
其次需要为本地访问开放对应的端口首先需要点击访问控制进入端口开放页面。 然后点击添加端口输入端口号并点击确定开放 点击确认开放端口后平台会给出访问链接将其复制以便后续使用 做完以上这些步骤后服务器端就已经部署好了接下来测试本地调用效果!
2.3、使用PostMan测试功能
打开PostMan新建一个Post将刚刚复制的网址粘贴到url栏然后在Body中填入相应的内容。 Body示例内容如下
{ prompt: 你好你是谁, max_length: 512, top_p: 0.9, temperature: 0.7
}点击send后显示以下response则说明成功
2.4、本地代码使用功能
测试完成后下面开始转到本地开发以下是一个基础的单轮对话功能示例代码
import requests
import json # API的URL
# 即刚刚复制的访问链接
api_url http://cqbiq6nhri0c73eq3cv0-8000.agent.damodel.com data { prompt: 你好你是谁?, max_length: 500, top_p: 0.9, temperature: 1.0
} # 发送POST请求
response requests.post(api_url, jsondata) # 检查响应状态码
if response.status_code 200: result response.json() print(Response:, result[response]) print(Updated History:, result[history]) print(Time:, result[time])
else: print(Failed to get response from the API. Status code:, response.status_code) print(response.text)在此基础上我们可以实现一个基于ChatGLM-6B模型的简单对话系统在本地通过命令行与DAMODEL部署好的模型进行交互。对于正常的对话输入程序将用户的输入作为prompt连同当前的对话历史记录conversation_history、最大生成长度max_length、top_p和temperature等参数一起发送到指定的API URL。然后它检查API的响应状态码。如果状态码为200表示请求成功程序将打印出API返回的响应内容和更新后的对话历史记录并更新conversation_history列表。
以下是一个多轮对话的示例代码
import requests
import json api_url http://cqbiq6nhri0c73eq3cv0-8000.agent.damodel.com conversation_history []
print(欢迎使用 ChatGLM-6B 模型输入内容即可进行对话clear 清空对话历史stop 终止程序)while True:query input(\n用户)if query.strip() stop:breakif query.strip() clear:history []os.system(clear_command)print(欢迎使用 ChatGLM-6B 模型输入内容即可进行对话clear 清空对话历史stop 终止程序)continueprompt querydata { prompt: prompt, history: conversation_history, max_length: 5000, top_p: 0.9, temperature: 0.9 }response requests.post(api_url, jsondata)if response.status_code 200: result response.json() print(Response:, result[response]) print(Updated History:, result[history]) conversation_history result[history]else: print(Failed to get response from the API. Status code:, response.status_code) print(response.text) 运行的效果如下 除了常规的4090显卡和P40显卡DAMODEL丹摩智算上线了H800系列显卡基于最新Ampere架构7纳米制程80GB显存拥有10240个CUDA核心和320个Tensor核心强势登陆。
# 体验链接
https://damodel.com/register?source1D5686A0
# 代金券
damodelkele
