手机网站活动策划方案,公司做网站买服务器多少钱,在线法律咨询免费,html投票代码文章目录 前言工具介绍与作用工具的关联与协同工作必要性分析 1、DeepSeek 简介1.1、DeepSeek-R1 硬件要求 2、Linux 环境说明2.1、最小部署#xff08;Ollama DeepSeek#xff09;2.1.1、扩展#xff08;非必须#xff09; - Ollama 后台运行、开机自启#xff1a; 2.2、… 文章目录 前言工具介绍与作用工具的关联与协同工作必要性分析 1、DeepSeek 简介1.1、DeepSeek-R1 硬件要求 2、Linux 环境说明2.1、最小部署Ollama DeepSeek2.1.1、扩展非必须 - Ollama 后台运行、开机自启 2.2、Page Assist - 浏览器插件2.3、知识库2.3.1、Embedding 向量化模型 - bge-m32.3.2、AnythingLLM 前言
工具介绍与作用 Ollama - 官方网站 定义与作用 Ollama 是一个开源的本地化大语言模型LLM部署工具旨在简化大型语言模型的安装、运行和管理。它封装了底层的模型运行逻辑提供了一个用户友好的命令行界面CLI和 API 接口使得用户可以在本地设备上轻松运行各种开源模型如 LLaMA、DeepSeek 等。Ollama 支持 GPU 加速能够自动利用设备的 GPU 资源来提高模型的推理效率。 在 DeepSeek 部署中的作用 Ollama 作为 DeepSeek 模型的本地运行环境负责加载和运行 DeepSeek 模型文件。它提供了模型管理功能用户可以通过 Ollama 的命令行工具下载、加载和切换不同的模型版本。 Embedding - 官方网站 定义与作用 Embedding嵌入是指将高维数据如文本转换为低维向量的过程。这些向量能够捕捉数据的语义信息便于进行高效的检索和比较。在自然语言处理中嵌入模型如 nomic-embed-text 将文本片段转换为向量这些向量可以存储在向量数据库中。 在 DeepSeek 部署中的作用 在部署 DeepSeek 时Embedding 模型用于将文档内容转换为向量形式并将这些向量存储在向量数据库中。当用户向 AI 助手提问时系统会通过嵌入模型将问题文本转换为向量然后在向量数据库中搜索与问题最相关的文档片段从而提供更精准的回答。 AnythingLLM - 官方网站 定义与作用 AnythingLLM 是一个全栈应用程序用于构建私有化的 AI 知识库。它支持多种文档格式如 PDF、TXT、DOCX 等可以将文档内容嵌入到向量数据库中并通过智能问答功能与用户进行交互。AnythingLLM 提供了前端管理界面用户可以通过界面上传文档、管理知识库并与 AI 助手进行对话。 在 DeepSeek 部署中的作用 AnythingLLM 作为前端管理工具与 Ollama 结合使用提供了一个完整的知识库管理解决方案。它通过调用 Ollama 提供的模型推理能力结合嵌入模型和向量数据库实现了对用户上传文档的智能检索和问答功能。AnythingLLM 支持多种 LLM 和嵌入模型用户可以选择适合的模型组合来优化知识库的性能。 Page Assist - 官方网站 定义与作用 Page Assist 是一个开源的浏览器扩展插件用于与本地运行的 AI 模型进行交互。它提供了一个直观的 WebUI 界面用户可以通过侧边栏或网页 UI 与 AI 模型进行对话。Page Assist 支持多种功能包括与网页内容、PDF 文件和文档进行聊天交流。 在 DeepSeek 部署中的作用 Page Assist 为用户提供了一个便捷的交互界面使得用户可以通过浏览器与本地运行的 DeepSeek 模型进行对话。它与 Ollama 配合使用通过配置 Ollama 的地址和嵌入模型用户可以在浏览器中直接与 DeepSeek 模型进行交互。
工具的关联与协同工作
Ollama 是底层的模型运行环境负责加载和运行 DeepSeek 模型。Embedding 模型将文档内容转换为向量存储在向量数据库中为智能问答提供支持。AnythingLLM 作为前端管理工具结合 Ollama 和嵌入模型实现了知识库的管理和智能问答功能。Page Assist 提供了一个用户友好的交互界面使得用户可以通过浏览器与本地运行的 DeepSeek 模型进行对话。
必要性分析
必须使用的工具
Ollama 作用Ollama 是部署 DeepSeek 的核心工具负责下载、管理和运行 DeepSeek 模型。它是本地化部署 DeepSeek 的基础必须使用。最小需求安装 Ollama 客户端并通过命令行运行 DeepSeek 模型如 ollama run deepseek-r1:7b 。 DeepSeek 模型 作用DeepSeek 是一个强大的语言模型用于提供智能问答和生成内容。最小需求下载并运行 DeepSeek 模型如 deepseek-r1:7b 这是实现功能的基础。
可选的工具
AnythingLLM 作用提供一个用户友好的界面用于管理文档、知识库和与 DeepSeek 模型进行交互。它支持文档上传、向量化和智能检索功能。是否必须可选但强烈推荐。如果没有 AnythingLLM用户只能通过命令行与 DeepSeek 交互无法实现知识库管理和智能检索功能。 Embedding 作用将文档内容转换为向量形式以便存储在向量数据库中支持智能检索功能。是否必须可选但如果你需要实现基于文档的知识库功能如智能检索和问答则需要使用 Embedding。 Page Assist 作用提供一个浏览器扩展界面用于与本地运行的 DeepSeek 模型进行交互增强用户体验。是否必须可选主要用于提升用户体验使用户可以通过浏览器界面与模型进行对话。 1、DeepSeek 简介
官方网站
1.1、DeepSeek-R1 硬件要求
参考文档 参考文档R1蒸馏版-1.5B 无需GPU任意四核 CPU内存 8GB硬盘空间 12GB 即可运行 2、Linux 环境说明
操作系统Ubuntu 24.04.1 LTS 安装包ubuntu-24.04.1-desktop-amd64.iso
硬件环境i5-10400 虚拟化软件ESXi-8.0 虚拟机CPU 8核 内存 16G 硬盘 80G
2.1、最小部署Ollama DeepSeek
目标快速启动并运行 DeepSeek 模型进行基本的智能问答
最小需求
Ollama用于下载和运行 DeepSeek 模型DeepSeek 模型选择合适的模型版本如 deepseek-r1:7b 并运行
参考文档Ollama GitHub 部署文档
# 安装 curl 工具 - 系统默认没有
apt install curl# 安装 Ollama
# 不推荐好慢 curl -fsSL https://ollama.com/install.sh | sh
# 推荐 - 通过工具下载地址https://ollama.com/download/ollama-linux-amd64.tgz
# 解压
sudo tar -C /usr -xzf ollama-linux-amd64.tgz
# 启动 Ollama 服务 - 前台运行
ollama serve
# 查看 Ollama 是否正常启动 - 通过浏览器访问 http://localhost:11434# 验证是否安装成功
# 打开另外一个中端
ollama -v
ollama --version# 下载并运行 DeepSeek 模型
# 说明有点慢 1.1 GB
ollama run deepseek-r1:1.5b
# 成功后即可愉快的玩耍啦 ~2.1.1、扩展非必须 - Ollama 后台运行、开机自启
编辑配置文件
nano /etc/systemd/system/ollama.service
# 重载 systemd 配置
sudo systemctl daemon-reload
# 开机自启
sudo systemctl enable ollama
# 启动服务
sudo systemctl start ollama
# 查看状态
sudo systemctl status ollama配置文件示例
[Unit]
DescriptionOllama Service
Afternetwork.target[Service]
ExecStart/usr/bin/ollama serve
Restartalways
Userroot
Grouproot
RestartSec3
# 如果需要远程访问设置为 0.0.0.0
EnvironmentOLLAMA_HOST0.0.0.0
# 如果需要更改端口可以在这里设置
EnvironmentOLLAMA_PORT11434
EnvironmentOLLAMA_ORIGINS*
# 模型文件存储目录当前为默认。推荐变更为 /data/ollama/models
EnvironmentOLLAMA_MODELS/root/.ollama/models[Install]
WantedBymulti-user.target2.2、Page Assist - 浏览器插件
以上方法只能通过命令行进行交互。 如何通过浏览器进行交互呢浏览器上面安装个插件 Page Assist
FireFox 安装示例Chrome 也有 点击插件之后显示的页面 配置页面 - 配置成中文 配置页面 - 选择模型 插件页面 - 开始聊天啦 ~ 2.3、知识库
2.3.1、Embedding 向量化模型 - bge-m3
# 拉取模型
ollama pull bge-m3
# 验证是否拉取成功
ollama list2.3.2、AnythingLLM
参考文档AnythingLLM 官方部署文档 说明通过官方命令下载有点慢可以通过工具下载。 AnythingLLMDesktop.AppImage 安装文件下载地址
说明使用 .AppImage 文件依赖 FUSE FUSE 官方网站
# 安装 FUSE
sudo add-apt-repository universe
sudo apt install libfuse2t64
# 安装好后鼠标双击 AnythingLLMDesktop.AppImage 文件即可出现可视化界面啦 ~初始界面 skip 注册的流程 - 创建工作区 - 设置 LLM 首选项 设置 Embedding 向量化模型 上传自定义的知识并向量化保存。 下拉点击 Save 部署完成啦 ~ 可以使用啦 ~
