域名与空间购买后怎么做网站,创新网站建设论文,wordpress如何把文件添加到媒体库,广东网络文明大会开幕目录
一、Ollama 介绍
二、Linux 安装 Ollama
2.1 一键安装
2.2 手动安装
三、使用Ollama
3.1 配置模型下载路径
3.2 运行模型
3.3 常用命令
四、模型管理
4.1 官方模型库
4.2 导入自定义模型
五、REST API
六、Web UI 一、Ollama 介绍 Ollama 是一个基于 Go 语言…目录
一、Ollama 介绍
二、Linux 安装 Ollama
2.1 一键安装
2.2 手动安装
三、使用Ollama
3.1 配置模型下载路径
3.2 运行模型
3.3 常用命令
四、模型管理
4.1 官方模型库
4.2 导入自定义模型
五、REST API
六、Web UI 一、Ollama 介绍 Ollama 是一个基于 Go 语言开发的可以本地运行大模型的开源框架同时提供 REST API 管理和使用大模型。
二、Linux 安装 Ollama
2.1 一键安装 #安装 curl -fsSL https://ollama.com/install.sh | sh #更新再次执行安装脚本即可更新 curl -fsSL https://ollama.com/install.sh | sh 2.2 手动安装 1.下载Ollama二进制文件 curl -L https://ollama.com/download/ollama-linux-amd64 -o /usr/bin/ollama 2.修改文件权限 chmod x /usr/bin/ollama 3.创建ollama用户 sudo useradd -r -s /bin/false -m -d /usr/share/ollama ollama 4.创建系统服务文件 vi /etc/systemd/system/ollama.service [Unit] DescriptionOllama Service Afternetwork-online.target [Service] ExecStart/usr/bin/ollama serve Userollama Groupollama Restartalways RestartSec3 [Install] WantedBydefault.target 5.启用服务 systemctl daemon-reload systemctl enable ollama 6.启动Ollama systemctl start ollama 7.更新Ollama #重新下载二进制文件即可 curl -L https://ollama.com/download/ollama-linux-amd64 -o /usr/bin/ollama chmod x /usr/bin/ollama 8.删除Ollama 具体操作查看官方文档。
三、使用Ollama
3.1 配置模型下载路径 export OLLAMA_MODELS/data/weisx/ollama 3.2 运行模型 #第一次执行会下载模型到本地 ollama run llama3 3.3 常用命令 创建模型 ollama create mymodel -f ./Modelfile 删除模型 ollama rm llama3 复制模型 ollama cp llama3 my-model 查看模型 ollama list 运行模型 ollama run llama3 四、模型管理
4.1 官方模型库 可访问官网查看模型列表以下是一些常用模型示例
ModelParametersSizeDownloadLlama 38B4.7GBollama run llama3Llama 370B40GBollama run llama3:70b
4.2 导入自定义模型 途径1从GGUF导入 1.下载GGUF文件 #Huggingface网站下载模型的GGUF https://huggingface.co/shenzhi-wang/Llama3-8B-Chinese-Chat-GGUF-8bit 2、创建Modelfile文件 vi Modelfile #使用FROM指令导入本地模型 FROM ./Llama3-8B-Chinese-Chat-GGUF-8bit.gguf #Modelfile文件中还可以添加系统提示词以及各项参数 3. 创建模型 ollama create example -f Modelfile 4.运行模型 ollama run example 途径2从PyTorch或Safetensors导入 具体操作请参阅关于导入模型的指南。
五、REST API
https://github.com/ollama/ollama/blob/main/docs/api.md
六、Web UI
https://github.com/open-webui/open-webui
