建设网站的整个费用预算,推广排名,哪家公司做门户网站,万能网址大全文章目录 前言1. 本地部署OllamaDeepSeek2. 本地安装Anything LLM3. 配置与使用演示4. 远程调用大模型5. 安装内网穿透6. 配置固定公网地址 前言
本文主要介绍如何在Windows电脑上本地部署Ollama并接入DeepSeek R1大模型#xff0c;然后使用强大的开源AI工具Anything LLM结合… 文章目录 前言1. 本地部署OllamaDeepSeek2. 本地安装Anything LLM3. 配置与使用演示4. 远程调用大模型5. 安装内网穿透6. 配置固定公网地址 前言
本文主要介绍如何在Windows电脑上本地部署Ollama并接入DeepSeek R1大模型然后使用强大的开源AI工具Anything LLM结合cpolar内网穿透工具轻松实现随时随地使用与上传内容来训练本地部署的大模型无需公网IP也不用准备云服务器那么麻烦
之前和大家分享过如何在Windows电脑上快速搭建DeepSeek R1大模型并通过open webui实现在浏览器端远程访问与使用大模型但是如果除了想要一个美观的聊天界面外还想要训练AI让他更懂你所从事的专业问题的话如果有一个可以将任何文档、资源如网址链接、音频、视频或内容片段转换为上下文以便任何大语言模型LLM在聊天期间作为参考使用的软件就非常有必要了。
AnythingLLM就是这样一个全栈应用程序您可以使用现成的商业大语言模型或流行的开源大语言模型再结合向量数据库解决方案构建一个私有DeepSeek不再受制于人您可以本地运行也可以远程托管并能够与您提供的任何文档智能聊天。AnythingLLM将您的文档划分为称为workspaces (工作区)的对象工作区的功能类似于线程同时增加了文档的容器化。工作区可以共享文档但工作区之间的内容不会互相干扰或污染因此您可以保持每个工作区的上下文清晰。
Anything LLM支持多种部署方法本例中我们将在Windows系统进行演示下面就来详细进行介绍
1. 本地部署OllamaDeepSeek
如果没有安装Ollama与DeepSeek可以查看这篇教程进行安装《Windows本地部署deepseek-r1大模型并使用web界面远程交互》
简单来说就是访问Ollama的官网下载适配你的操作系统的客户端安装好之后用cmd打开Windows系统自带的终端界面 然后回到Ollama的官网找到你想要下载的各种量级的模型对应的模型下载命令 比如我这里下载1.5b的轻量级deepseek模型就在cmd终端中执行这个命令就能安装了
ollama run deepseek-r1:1.5b现在我们就已经能够在本地Windows电脑上通过ollama正常使用deepseek-r1模型与AI进行聊天了
2. 本地安装Anything LLM
下面我们访问Anything LLM的官网下载Windows客户端 下载后双击应用程序进行安装 安装完毕后打开软件后点击get started按钮进入使用界面 3. 配置与使用演示
第一步选择Ollama 选择好之后点击右侧的箭头下方会出现选择使用哪个大模型的下拉框我们可以在这里看到之前本地部署的deepseek-r1:1.5b模型如果你本地还有其他模型也会出现在这里。 下一步确认信息后点击右侧箭头继续 现在我们需要创建一个工作区并给它取个名字输入后继续点击右侧箭头 在Anything LLM中配置好了大模型并创建了一个工作区后就可以看到欢迎界面了 点击左下角的扳手设置我们可以对界面语言进行修改 设置好之后点击同一位置的返回按钮即可回到工作区在下方的输入框中就可以和大模型聊天了 如果我们需要上传文件或是图片等资料点击工作区名称标签后的上传按钮即可打开上传界面 除了支持多种文档类型PDF、TXT、DOCX等在上传按钮下方还可以直接粘贴网址真的是非常方便又全面。勾选你要上传的文件 点击右下角的保存和嵌入按钮即可上传你的资料。通过Anything LLM管理超大文档时高效、低耗。只需要一次就可以嵌入Embedding)一个庞大的文档或文字记录比其他文档聊天机器人解决方案节省超多成本。
4. 远程调用大模型
在设置界面的LLM首选项中我们能看到刚才选择的LLM提供商是ollama下方是模型信息最底部有ollama运行的地址和端口 如果我们想要在局域网内让其他的小伙伴也能远程使用Anything LLM调用ollama使用大模型进行聊天那么我们需要进行对ollama进行一下环境变量设置
打开cmd终端执行下面两个命令
setx OLLAMA_HOST 0.0.0.0
setx OLLAMA_ORIGINS *然后点击电脑桌面右下角的ollama图标退出并重启服务 重新开启ollama服务后同一局域网下的小伙伴在Anything LLM中将ollama的地址改为你的电脑IP加上端口号11434后就能使用你在本地部署的大模型进行聊天或者上传文件训练了。 5. 安装内网穿透
不过我们目前只能在本地局域网内多人使用Anything LLM远程访问大模型如果想让异地好友、让更多人也能使用你在部署的deepseek大模型应该怎么办呢很简单只要安装一个cpolar内网穿透工具就能轻松实现远程访问内网主机中部署的服务了接下来介绍一下如何安装cpolar内网穿透。
首先进入cpolar官网
cpolar官网地址: https://www.cpolar.com
点击免费使用注册一个账号并下载最新版本的cpolar 登录成功后点击下载cpolar到本地并安装一路默认安装即可本教程选择下载Windows版本。 cpolar安装成功后在浏览器上访问http://localhost:9200使用cpolar账号登录,登录后即可看到配置界面,结下来在WebUI管理界面配置即可。 接下来配置一下 Ollama 的公网地址
登录后点击左侧仪表盘的隧道管理——创建隧道
隧道名称ollamads可自定义命名注意不要与已有的隧道名称重复协议选择 http本地地址11434域名类型选择随机域名地区选择China Top 隧道创建成功后点击左侧的状态——在线隧道列表,查看所生成的公网访问地址有两种访问方式,一种是http 和https 在Anything LLM的设置界面中使用上面的任意一个公网地址替换刚才IP加端口号的地址点击右上角的保存按钮后就可以实现异地远程访问本地部署的deepseek大模型聊天了使用了cpolar的公网域名,无需自己购买云服务器轻松搞定远程访问。 PS如果替换地址后无法使用退出重新启动一下Anything LLM即可 总结
为了方便演示我们在上边的操作过程中使用cpolar生成的HTTP公网地址隧道其公网地址是随机生成的。这种随机地址的优势在于建立速度快可以立即使用。然而它的缺点是网址是随机生成这个地址在24小时内会发生随机变化更适合于临时使用。
如果有长期使用Anything LLM远程访问本地部署的DeepSeek等大模型或者异地访问与使用其他本地部署的服务的需求但又不想每天重新配置公网地址还想让公网地址好看又好记并体验更多功能与更快的带宽那我推荐大家选择使用固定的二级子域名方式来配置公网地址。
6. 配置固定公网地址
接下来演示如何为ollama服务配置固定的HTTP公网地址该地址不会变化方便分享给别人长期访问你部署的大模型而无需每天重复修改服务器地址。
登录cpolar官网点击左侧的预留选择保留二级子域名设置一个二级子域名名称点击保留,保留成功后复制保留的二级子域名名称 保留成功后复制保留成功的二级子域名的名称myolds大家也可以设置自己喜欢的名称。 返回Cpolar web UI管理界面点击左侧仪表盘的隧道管理——隧道列表找到所要配置的隧道ollamads点击右侧的编辑 修改隧道信息将保留成功的二级子域名配置到隧道中
域名类型选择二级子域名Sub Domain填写保留成功的二级子域名myolds
点击更新(注意,点击一次更新即可,不需要重复提交) 更新完成后,打开在线隧道列表,此时可以看到公网地址已经发生变化,地址名称也变成了固定的二级子域名名称的域名 最后,我们在Anything LLM的设置界面中使用上面的任意一个固定的二级子域名公网地址替换刚才的随机公网地址现在开始就不用每天都更换公网地址来远程访问本地部署的大模型了。 以上就是如何在Windows系统本地安装Ollama大模型工具与deepseek r1模型使用Anything LLM结合cpolar内网穿透工具实现随时随地远程访问本地部署的大模型并配置固定不变的二级子域名公网地址与AI聊天并搭建智能知识库的全部流程感谢您的观看有任何问题欢迎留言交流。
