国外装饰公司网站,恩施seo搜索引擎优化,湖北专业网站建设质量保障,哪些域名不能够做淘宝客网站春节期间我也尝试了一下Deepseek的本地部署#xff0c;方案选用了Ollama Chatbox或AnythingLLM。Chatbox里有很多有意思的“助手”#xff0c;而AnythingLLM支持本地知识库。
网上教程很多#xff0c;总的来说还是很方便的#xff0c;不需要费太多脑子。甚至可以这么说方案选用了Ollama Chatbox或AnythingLLM。Chatbox里有很多有意思的“助手”而AnythingLLM支持本地知识库。
网上教程很多总的来说还是很方便的不需要费太多脑子。甚至可以这么说网络是否通畅才是决定安装体验的唯一制约因素。像Ollama第一次运行需要下载模型而AnythingLLM安装过程中还要下载巨大的Ollama库包。其实我还想实验前端用Docker方式部署Open-WebUI但现在还卡在尝试下载docker中。
以下是各工具的下载或部署方式链接
Download Ollama on Windows Chatbox AI官网办公学习的AI好助手全平台AI客户端官方免费下载 Download AnythingLLM for Desktop GitHub - open-webui/open-webui: User-friendly AI Interface (Supports Ollama, OpenAI API, ...) ⏱️ Quick Start | Open WebUI
具体安装方式就不赘述了这些工具的安装配置网上随便一搜就有很多博主喂饭级的教程一步步跟着做就行了。如果windows开启防火墙需要允许入站11434。
这里说说我的实际使用感受吧。
必须首先提一下电脑配置。我的电脑是2年前买的当时想用来学AI画画。32G内存12代i51T Nvme SSDN记显卡 A2000 12G工包版操作系统 Windows 11 LTSC 24H2。
看到一个说法模型标号建议选和自己显卡内存接近的。我在刚装完Ollama之后首先选择的是deepseek-r1:7b模型。询问它的知识库截至日期回答2024年7月回答的没毛病并且速度能接受优秀。但问多了也会犯天底下所有AI都会犯的错一本正经的胡说八道。当然这跟模型规模也有关系。比如问7b上海市长宁区有什么旅游景点它的推荐名单里有“长宁区静安寺”。这是错误的静安寺属于静安区但确实离长宁和静安的交界处很近。所以直接上强度下载32b模型再问。果然同样的问题32b上就不存在了但代价是基本上只能每秒钟三四个汉字往外蹦的节奏。。。没事能mei忍qian。
另一个很有意思的印象是如果套用拟人化星座刻板印象来形容离线DS-R1我会说它是处女座学霸。问它如何用1236算24点它原生就知道规则但开启穷举尝试后一直都没能算对。鉴于我那破电脑感人的蹦字速度算了十来次没成功后就按了ctrl c放弃并岔开话题问它24点是谁发明的。谁知它还会钻牛角尖因为还处于同一个会话中上下文中还保留着刚才的问题所以居然又开始尝试用1236怎么算24点。。。吐血。。。
不管怎样总的说来DS确实很牛。尤其是配上AnythingLLM做前端之后上传自定义的文件做知识库。这对于一个注重隐私保护的应用比如医院的业务来说太重要了。
