排版漂亮的网站,创新的网站建设公司,开旗wordpress pdf缩略图,公司注册费用计入什么科目本文系统环境
Windows 10
Ollama 0.5.7
Ollama 是什么#xff1f;
Ollama 可以让你快速集成和部署本地 AI 模型。它支持各种不同的 AI 模型#xff0c;并允许用户通过简单的 API 进行调用
Ollama 的安装
Ollama 官网 有其下载及安装方法#xff0c;非常简便
但如果希…本文系统环境
Windows 10
Ollama 0.5.7
Ollama 是什么
Ollama 可以让你快速集成和部署本地 AI 模型。它支持各种不同的 AI 模型并允许用户通过简单的 API 进行调用
Ollama 的安装
Ollama 官网 有其下载及安装方法非常简便
但如果希望不占用系统盘大量空间可以参考 Ollama Windows 文档 这样安装
1. 把 Ollama 安装到其它磁盘
命令行定位到 Ollama 安装包 OllamaSetup.exe 的目录下运行如下命令指定你希望的安装目录
OllamaSetup.exe /DIRD:\Program Files\Ollama 2. 更改 Ollama 的模型存放位置
Ollama 后续下载安装的模型默认存放在系统盘会非常占用位置
设置 OLLAMA_MODELS 系统变量指定希望的模型存放目录 设置完后如果 Ollama 服务已在运行要重启一下 Ollama 服务方能生效
从 ModelScope 下载模型并加载
Ollama 官方安装模型的方法很简单
例如
ollama run qwen2.5
但下载速度一般非常慢
我们可以从 ModelScope 先下载模型再通过 Ollama 加载模型
1. 下载 GGUF 格式模型
Ollama 能轻易加载 GGUF 格式的模型检索 GGUF 模型进行下载 推荐用官方命令行方式下载下载过程中有进度条可指定下载目录
modelscope download --model Qwen/Qwen1.5-0.5B-Chat-GGUF --local_dir D:\Models\Qwen1.5-0.5B-Chat-GGUF 下载完成后目录类似这样 关于 gguf 文件简单理解就是体积越大的回答准确率就越高
2. 加载 GGUF 模型
参考 Ollama 关于加载 GGUF 的说明 和 Qwen 官网关于 Ollama 加载 GGUF 模型 的文档
在上述下载 gguf 模型的目录中新建一个名为 Modelfile 的文件 Modelfile 文件内容如下
FROM ./qwen1_5-0_5b-chat-q5_0.gguf
在 gguf 模型的目录下运行 Ollama 加载 gguf 的命令
ollama create qwen1.5:0.5b -f Modelfile 至此在上面 OLLAMA_MODELS 系统变量对应的目录下会生成 Ollama 的模型数据 Ollama 运行模型
由于 Ollama 已安装因此 ollama 命令可用
ollama run qwen1.5:0.5b
