wordpress 标题分隔符,seo自动优化工具,建设银行校招网站入口,怎么进去wordpress的仪表盘本地部署大模型 0.引言1.部署安装1.1部署工具1.2 概念介绍1.3 ollama安装后的基本使用1.4 大模型权重下载1.4.1 ollama在线下载1.4.2 huggingFace下载大模型权重及如何使用ollama进行调用 2.带有UI界面的使用3.参考 0.引言
#xff08;1#xff09;目的 本教程主要关于开源A… 本地部署大模型 0.引言1.部署安装1.1部署工具1.2 概念介绍1.3 ollama安装后的基本使用1.4 大模型权重下载1.4.1 ollama在线下载1.4.2 huggingFace下载大模型权重及如何使用ollama进行调用 2.带有UI界面的使用3.参考 0.引言
1目的 本教程主要关于开源AI大模型部署在个人电脑上能够让用户轻松在本地运行大模型这里的本地既可以指完全杜绝网络的个人PC也可以指能够进行网络连接的PC 2部署后的使用预览 这里有两种使用方式首先是cmd终端其次是带有WebUI界面的 1.部署安装
1.1部署工具
大模型管理工具ollama大模型权重ollama(在线下载huggingFace权重主要GGUF格式Web-UI利用docker以及open-web-UI库进行web端使用大模型
1.2 概念介绍
1)什么是ollama以及ollama安装 重点是部署和管理 本教程环境为win11系统ollama在win系统就跟安装软件一样下载ollama.exe文件进行安装即可 win安装地址这里需要说明的是ollama.exe默认只能安装在C盘但调用的大模型权重文件位置可以放在其它盘详见后续教程。
1.3 ollama安装后的基本使用
安装完成后可以在cmd终端查看使用类似docker使用一样 指令说明
ollama -h # 查看ollama帮助使用
ollama list #查看已有大模型
ollama pull大模型模型 #下载大模型
ollama run 大模型 # 运行大模型
ollama create 大模型配置文件 #ollama配置其它途径下载的权重文件如huggingFace
ollama rm yi:8b #卸载yi:8b大模型
ollama cp yi:
#ctrld退出1.4 大模型权重下载
常用的模型如llama3,通义千问qwen)等部分模型权重可以通过两种方式下载
ollama在线下载ollama模型地址huggingFace下载huggingFace网站镜像受限与国内网络huggingFace需要梯子官网链接这里的网站镜像功能跟官网一样不需要梯子。
1.4.1 ollama在线下载
在ollama网站中models,利用cmd终端命令进行下载ollama pull llama3:8b 下载完成后cmd终端查询已有大模型命令ollama list 运行使用ollama run llama3:8b
1.4.2 huggingFace下载大模型权重及如何使用ollama进行调用
1首先是模型权重下载 如何从hugging Face官网下载大模型权重参考本链接教程huggingFace模型权重下载教程 需要注意的是推荐下载大模型格式为gguf或者GGUF因此这里在搜索大模型时最好加上gguf如下图 2huggingFace下载的大模型如何配置使用 下载到本地的模型文件不能直接导入到Ollama需要编写一个配置文件随便起个名字如config.txt配置文件内容如下
# 主要是FROM需要改成自己从hugging face上面下载的路径
FROM /Users/liaoxuefeng/llm/llama3-8b-cn-q6/Llama3-8B-Chinese-Chat.q6_k.GGUFTEMPLATE {{- if .System }}
|im_start|system {{ .System }}|im_end|
{{- end }}
|im_start|user
{{ .Prompt }}|im_end|
|im_start|assistant
SYSTEM PARAMETER stop |im_start|
PARAMETER stop |im_end|最后cmd调用命令 ollama create llama3-cn -f ./config.txt #即可将下载的模型导入ollama中
2.带有UI界面的使用
这里主要安装不管是大模型还是stableDiffusion文生图等常用的网页交互库open-webUI 安装webUI需要先安装docker ,然后利用docker安装webUI并运行。 1具体安装教程 参考链接教程的第3部分docker以及webUI安装 部署后使用在docker 容器点击进入见下图 2注意 此外关于链接教程的3.4 离线部署部分重点
3.参考
1ollama的默认路径地址 2未完待续
