公司网站能否申请国外免费空间,网站网站开发,湖北网站建设检修,搭建个网站需要多少钱文章目录 前言部署前的准备创建实例 部署与配置 Llama 3.1使用心得总结 前言
在最近的开发工作中#xff0c;我有机会体验了丹摩智算平台#xff0c;部署并使用了 Llama 3.1 模型。在人工智能和大模型领域#xff0c;Meta 推出的 Llama 3.1 已经成为了目前最受瞩目的开源模… 文章目录 前言部署前的准备创建实例 部署与配置 Llama 3.1使用心得总结 前言
在最近的开发工作中我有机会体验了丹摩智算平台部署并使用了 Llama 3.1 模型。在人工智能和大模型领域Meta 推出的 Llama 3.1 已经成为了目前最受瞩目的开源模型之一。今天我将通过这次实践分享在丹摩平台上部署 Llama 3.1 的实际操作流程以及我的个人心得。 部署前的准备
Llama 3.1 是一个资源需求较高的模型因此在部署之前首先要确保拥有合适的硬件环境。按照文档中的要求我选择了 Llama 3.1 8B 版本进行测试。8B 模型对 GPU 显存的需求为 16GB因此我在丹摩平台上选择了 NVIDIA RTX 4090 作为我的实例并且配置了 60GB 的数据硬盘容量来满足下载模型和存储相关文件的需求。
在丹摩平台的控制台创建 GPU 云实例非常简单整个流程仅需几分钟的时间。在实例创建页面中我能够灵活选择 GPU 的数量和型号平台还提供了便捷的镜像选择功能省去了大量的环境配置工作。我选择了预装 PyTorch 2.4.0 的镜像确保在后续的部署过程中不需要手动安装繁杂的依赖环境。
创建实例
进入控制台-GPU云实例点击创建实例 进入创建页面后首先在实例配置中选择付费类型一般短期需求可以选择按量付费或者包日长期需求可以选择包月套餐
其次选择GPU数量和需求的GPU型号首次创建实例推荐选择
按量付费–GPU数量1–NVIDIA-GeForc-RTX-4090该配置为60GB内存24GB的显存本次测试的LLaMA3.1 8B 版本至少需要GPU显存16G
接下来配置数据硬盘的大小每个实例默认附带了50GB的数据硬盘首次创建可以就选择默认大小50GB。 继续选择安装的镜像平台提供了一些基础镜像供快速启动镜像中安装了对应的基础环境和框架可通过勾选来筛选框架这里筛选PyTorch选择PyTorch 2.4.0。 为保证安全登录创建密钥对输入自定义的名称然后选择自动创建并将创建好的私钥保存的自己电脑中并将后缀改为.pem以便后续本地连接使用。 创建好密钥对后选择刚刚创建好的密钥对并点击立即创建等待一段时间后即可启动成功 部署与配置 Llama 3.1
实例成功创建后我通过 JupyterLab 的在线登录入口进入了实例的操作界面。在这个环境中所有的文件路径和资源配置都已经预先设置好这极大地简化了操作。我通过 conda 创建了一个新的环境并安装了部署 Llama 3.1 所需的依赖库包括 LangChain、Streamlit、Transformers 和 Accelerate。
以下是安装依赖的关键命令
pip install langchain0.1.15
pip install streamlit1.36.0
pip install transformers4.44.0
pip install accelerate0.32.1依赖安装完成后平台提供了内网下载 Llama-3.1-8B 模型的功能下载速度非常快。解压完模型后我编写了一个简单的 Streamlit 脚本用于启动 Llama 3.1 模型的聊天界面。Streamlit 的使用非常简便可以快速搭建一个 Web 服务来和模型进行交互。
我的代码核心部分如下
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
import streamlit as st# 创建标题和副标题
st.title( LLaMA3.1 Chatbot)
st.caption( A streamlit chatbot powered by Self-LLM)# 定义模型路径
mode_name_or_path /root/workspace/Llama-3.1-8B-Instruct# 获取模型和tokenizer
st.cache_resource
def get_model():tokenizer AutoTokenizer.from_pretrained(mode_name_or_path, trust_remote_codeTrue)tokenizer.pad_token tokenizer.eos_tokenmodel AutoModelForCausalLM.from_pretrained(mode_name_or_path, torch_dtypetorch.bfloat16).cuda()return tokenizer, modeltokenizer, model get_model()# 聊天逻辑
if prompt : st.chat_input():st.chat_message(user).write(prompt)input_ids tokenizer([prompt], return_tensorspt).to(cuda)generated_ids model.generate(input_ids.input_ids, max_new_tokens512)response tokenizer.decode(generated_ids[0], skip_special_tokensTrue)st.chat_message(assistant).write(response)在终端中运行
streamlit run llamaBot.py --server.address 0.0.0.0 --server.port 1024启动后通过丹摩平台提供的端口映射功能将内部端口映射到公网。通过链接我成功访问到了我的 Llama 3.1 Chatbot 界面。
使用心得
通过这次实践我对丹摩智算平台的易用性有了深刻的体会。首先平台在创建实例、配置环境以及下载模型等环节提供了高度集成化的操作省去了很多手动配置的麻烦特别是在处理大模型时内网高速下载和预装环境镜像极大地提高了工作效率。
在模型部署和使用过程中我能够明显感受到 Llama 3.1 在生成式对话方面的强大性能尤其是在自然语言理解和生成方面的表现出色。即便是 8B 版本响应速度和文本生成质量都让我非常满意。这次实践让我深刻认识到开源大模型与云端计算资源的结合可以让开发者以更低的门槛接触到前沿的 AI 技术快速实现自己的项目和想法。
总结
总体来说丹摩智算平台提供了一个强大且高效的 AI 开发环境尤其适合像我这样需要进行大模型部署和实验的开发者。无论是硬件资源的灵活选择还是内置的环境配置和工具支持都极大地简化了部署流程。通过这次部署 Llama 3.1 的实践我不仅学会了如何高效利用云计算平台也对大模型在实际项目中的应用有了更深刻的理解。
