重庆科技网站建设,织梦cms网站搬家,网络工程师培训学校,h5建站系统源码服务器Ubuntu22.04系统 使用dcocker部署安装ollama和搭配open_webui使用
一、ubuntu和docker基本环境配置
1.更新包列表#xff1a;
打开终端#xff0c;输入以下命令#xff1a;
sudo apt-get updatesudo apt upgrade更新时间较长#xff0c;请耐心等待
2. 安装docke…服务器Ubuntu22.04系统 使用dcocker部署安装ollama和搭配open_webui使用
一、ubuntu和docker基本环境配置
1.更新包列表
打开终端输入以下命令
sudo apt-get updatesudo apt upgrade更新时间较长请耐心等待
2. 安装docker依赖
sudo apt-get install ca-certificates curl gnupg lsb-release3. 添加docker密钥
curl -fsSL http://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo apt-key add -4.添加阿里云docker软件源
sudo add-apt-repository deb [archamd64] http://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable如果是arm架构命令换成下面这个否则第5步会出错
sudo add-apt-repository deb [archarm64] http://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable5.安装docker
apt-get install docker-ce docker-ce-cli containerd.i6.安装完成docker测试
docker -v7. docker配置国内镜像源
7.1 编辑配置文件
vi /etc/docker/daemon.json按i进入编辑模式
加入以下内容
{registry-mirrors: [https://docker.mirrors.ustc.edu.cn,https://hub-mirror.c.163.com,https://docker.m.daocloud.io, https://ghcr.io,https://mirror.baidubce.com,https://docker.nju.edu.cn]
}按ESC键退出编辑模式接着输入:wq保存并退出
7.2 重新加载docker
sudo systemctl daemon-reload7.3 重启docker
sudo systemctl restart docker2. 安装英伟达显卡驱动
2.1 使用wget在命令行下载驱动包
注意这里是要根据自己的机器选择驱动版本进行安装这里是选择的是aarch64架构的550.90.07驱动其他的可以去英伟达官网自己找。官方高级驱动搜索 。注意选择cuda的时候要选择你要安装的版本我这里是选择最新的12.4除了12.4还可以兼容12.4以下的。
https://cn.download.nvidia.com/tesla/550.90.07/NVIDIA-Linux-aarch64-550.90.07.run2.2 更新软件列表和安装必要软件、依赖
sudo apt-get update
sudo apt-get install g
sudo apt-get install gcc
sudo apt-get install make2.2 卸载原有驱动如果执行nvidia-smi报错可以不用执行这一步
sudo apt-get remove --purge nvidia* 使用vim修改配置文件
sudo vim /etc/modprobe.d/blacklist.conf按i键进入编辑模式,在文件尾增加两行
blacklist nouveau
options nouveau modeset0按esc键退出编辑模式,输入:wq保存并退出 更新文件
sudo update-initramfs –u重启电脑
sudo reboot2.3 安装驱动
授予执行权限记得将文件名换成自己的驱动文件
sudo chmod 777 NVIDIA-Linux-aarch64-550.90.07.run执行安装命令
sudo ./NVIDIA-Linux-aarch64-550.90.07检测显卡驱动是否安装成功
nvidia-smi出现以下界面则证明驱动安装成功注意Processes是我在执行的进程如果你是新安装的应该是空白的。 2.4 安装CUDA
注意这里选择安装的版本一定要等于或者低于你执行nvidia-smi命令后显示的CUDA Version那个版本比如我是显示12.4则我可以安装12.4或者是之前的版本。驱动与CUDA版本对应关系可以看官网这里介绍驱动版本与CUDA版本的对应表
wget https://developer.download.nvidia.com/compute/cuda/12.4.0/local_installers/cuda_12.4.0_550.54.14_linux.run输出accept开始安装 注意这里要按enter取消勾选第一个选项,因为之前已经安装了驱动 然后选择Install开始安装
sudo sh cuda_12.4.0_550.54.14_linux.run2.5 环境变量配置
以vim方式打开配置文件
sudo vim ~/.bashrc在文件尾中加入以下两行
export PATH/usr/local/cuda-12.4/bin:$PATH
export LD_LIBRARY_PATH/usr/local/cuda-12.4/lib64:$LD_LIBRARY_PATH更新环境变量
source ~/.bashrc检测CUDA是否安装成功
nvcc -V出现下面的信息则证明CUDA安装成功 3. 安装conda
3.1 软件下载
wget -c https://repo.anaconda.com/archive/Anaconda3-2023.03-1-Linux-x86_64.sh
bash Anaconda3-2023.03-1-Linux-x86_64.sh3.2 设置环境变量
vim /etc/profile在末尾添加环境变量
export PATH~/anaconda3/bin:$PATHvim ~/.bashrc
export PATH~/anaconda3/bin:$PATH刷新环境变量
source /etc/profile
source ~/.bashrc然后conda -V要是正常就安装成功了
conda -V3.3 conda配置
配置清华镜像源 代码如下
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/设置搜索时显示通道地址
conda config --set show_channel_urls yes配置pip 镜像源
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple三、使用docker安装ollama
1. 使用docker拉取ollama镜像
docker pull ollama/ollama:latest国内镜像
docker pull dhub.kubesre.xyz/ollama/ollama:latest2.使用docker运行以下命令来启动 Ollama 容器
docker run -d --gpusall --restartalways -v /home/docker/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama使ollama保持模型加载在内存显存中
参考文章 ollama如何保持模型加载在内存显存中或立即卸载执行以下命令
docker run -d --gpusall -e OLLAMA_KEEP_ALIVE-1 --restartalways -v /home/docker/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama3.使用ollama下载模型
这里示例下载阿里的通义千问
docker exec -it ollama ollama run qwen2运行效果如图 模型库
模型参数数量大小下载方式Llama 27B3.8GBdocker exec -it ollama ollama run llama2Mistral7B4.1GBdocker exec -it ollama ollama run mistralDolphin Phi2.7B1.6GBdocker exec -it ollama ollama run dolphin-phiPhi-22.7B1.7GBdocker exec -it ollama ollama run phiNeural Chat7B4.1GBdocker exec -it ollama ollama run neural-chatStarling7B4.1GBdocker exec -it ollama ollama run starling-lmCode Llama7B3.8GBdocker exec -it ollama ollama run codellamaLlama 2 Uncensored7B3.8GBdocker exec -it ollama ollama run llama2-uncensoredLlama 213B7.3GBdocker exec -it ollama ollama run llama2:13bLlama 270B39GBdocker exec -it ollama ollama run llama2:70bLlama 3.18B4.7GBdocker exec -it ollama ollama run llama3.1:70Orca Mini3B1.9GBdocker exec -it ollama ollama run orca-miniVicuna7B3.8GBdocker exec -it ollama ollama run vicunaLLaVA7B4.5GBdocker exec -it ollama ollama run llavaGemma2B1.4GBdocker exec -it ollama ollama run gemma:2bGemma7B4.8GBdocker exec -it ollama ollama run gemma:7b
4.使用ollama下载模型
下载微调版本的可以看这篇文章[HuggingFace Ollama Llama 3.1轻松搞定Llama 3.1中文微调版本安装]( 四、使用docker安装open-webui
1. docker部署ollama web ui
main版本
docker run -d -p 30131:8080 --gpus all --add-hosthost.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.nju.edu.cn/open-webui/open-webui:maincuda版本
docker run -d -p 30131:8080 --gpus all --add-hosthost.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.nju.edu.cn/open-webui/open-webui:cuda安装成功后可以在另一台计算机进行访问如下
2.注册账号
默认第一个账号是管理员
3.成功进入 4. 聊天界面 参考来源https://blog.csdn.net/weixin_62798503/article/details/140658151
