淄博网站制作多样定制天津搜索引擎seo
最近在尝试搭建公司内部用户的大模型，可视化回答，并让它能画图出来， 主要包括四块：
- Ollama 管理和下载各个模型的工具
- Open WebUI 友好的对话界面
- Stable Diffusion 绘图工具
- Docker 部署在容器里，提高效率
以上运行环境Win10, Ollama,SD直接装在windows10下， 然后安装Docker Desktop版， 将Open WebUI部署在Docker内
一 Ollama
- 1. 修改存储路径
- 2. 安装大模型和索引模型
- 1. 提速改国内源下载：
- 2. 修改默认存储位置
- 1. 查看Ollama 关联
- 2. 关联Stable Diffusion
直接去 https://ollama.com/ 下载安装
1. 修改存储路径
不改的话系统盘装不下，默认情况下ollama模型的存储目录如下：
macOS: ~/.ollama/models
Linux: /usr/share/ollama/.ollama/models
Windows: C:\Users\<username>\.ollama\models
我的Windows10, 则需设置环境变量 OLLAMA_MODELS, 把它设置为所选目录。
OLLAMA_MODELS=D:\ollama-models
如果想在其他电脑用ip可以访问加环境变量，为了安全可以不加：
OLLAMA_HOST=0.0.0.0
OLLAMA_ORIGINS=*
默认端口：11434 ， 打开显示Ollama is running 表示成功
2. 安装大模型和索引模型
从这里查看模型库： https://ollama.com/library
下载 qwen2 qwen ,chinese, llama3 shaw/dmeta-embedding-zh 等模型
阿里巴巴的大模型：
ollama run qwen
ollama run qwen:14b
ollama run qwen:32b
ollama run qwen:72b
ollama run qwen:110b # 110b 表示该模型包含了 1100 亿（110 billion）个参数
脸书大模型：
ollama run llama2
ollama run llama3
ollama run llama3:8b
谷歌的大模型：
ollama run gemma
微软的大模型
ollama run phi3
显示所有模型
# ollama list
删除模型
# ollama rm llama3:latest
下载完后可以直接在CMD下与它对话：
二 Docker
- 1. 修改存储路径
- 2. 安装大模型和索引模型
- 1. 提速改国内源下载：
- 2. 修改默认存储位置
- 1. 查看Ollama 关联
- 2. 关联Stable Diffusion
下载：https://www.docker.com/products/docker-desktop/ 最新版本， 我当时下载的l默认版本 4.31.1， 后来发现是大坑， 一会儿再讲原因， 后来重装了4.29.0，从这里下载历史版本：
https://docs.docker.com/desktop/release-notes/
1. 提速改国内源下载：
"registry-mirrors": ["https://hub-mirror.c.163.com",