认证网站所有权要添加代码,温州市建设局网站,wordpress微软雅黑,嵌入式开发就业前景在Mac mini上实现本地话部署AI和知识库 硬件要求#xff1a;大模型AI#xff0c;也叫LLM#xff0c;需要硬件支持#xff0c;常见的方式有2种#xff1a;一种是采用英伟达之类支持CUDA库的GPU芯片或者专用AI芯片#xff1b;第二种是采用苹果M系列芯片架构的支持统一内存架… 在Mac mini上实现本地话部署AI和知识库 硬件要求大模型AI也叫LLM需要硬件支持常见的方式有2种一种是采用英伟达之类支持CUDA库的GPU芯片或者专用AI芯片第二种是采用苹果M系列芯片架构的支持统一内存架构的硬件 软件要求软件基于ollama anything LLM模型主要选择的是OpenChat感觉openchat的中文支持比较好 步骤先安装Ollama步骤也很简单主要下载官网的安装包安装即可以下是下载页链接[https://ollama.com/download](https://ollama.com/download)安装完了Ollama之后就可以在终端里用Ollama run openchat现在大模型本地安装就完成了接下来就可以继续部署本地的知识库本地知识库的部署anythingLLM的安装。可以说AI的出现就是懒人的福音基本上你按照官网的指引来做不会有什么难的。唯独是如果英语阅读可能对某些同学有点障碍不过这种障碍估计很快也要被AI消除了。anthingLLM的配置资料的投喂搜索检验。总结下一步考虑把系统的bug list喂给AI模型看看能不能方便地查到有用的东西。投喂网页数据之前的查询投喂数据之后的查询 硬件要求
大模型AI也叫LLM需要硬件支持常见的方式有2种一种是采用英伟达之类支持CUDA库的GPU芯片或者专用AI芯片第二种是采用苹果M系列芯片架构的支持统一内存架构的硬件
本文主要讲基于苹果M系列的方式采用的内存建议16M8M内存也能支持但支持模型会比较少除此之外即使普通的电脑如果你的内存够大CPU够快也是可以运行一些小的模型的只是速度上会比较慢CPU占用比较高具体情况大家可以实际体验一下例如我用一台T460Intel i5 4核2.3G x416G内存显卡GeForce 940MX/PCIe/SSE2运行Ollama openchat 4B模型一分钟大概生成100个词左右。
软件要求
软件基于ollama anything LLM
模型主要选择的是OpenChat感觉openchat的中文支持比较好
步骤
先安装Ollama步骤也很简单主要下载官网的安装包安装即可以下是下载页链接https://ollama.com/download
安装完了Ollama之后就可以在终端里用Ollama run openchat
这样第一次执行的话会自动拉取模型建议选择8B左右大小的8B就是8billion也就是80亿参数模型文件的大小大概是8G左右以下是模型的说明openchat等下载完模型之后就可以在终端里直接使用模型输入一些问题可以看到模型有回复就说明正常运行了如果机器的硬件不支持例如内存不够可能会比较慢
现在大模型本地安装就完成了接下来就可以继续部署本地的知识库
本地知识库的工作原理是通过人工投喂特定的数据给大模型使大模型可以在我们投喂的数据里学习到特定的知识这样当用户向大模型提问的时候就可以从我们投喂的数据里匹配响应的结果给我们目前这种技术常见应用于电商平台的AI客服上但不限于这种场景对于公司内部的经验库管理也是挺适合的对于个人的桌面电脑也会有很好的帮助本地知识库具有保密性的优势不必把公司内部的资料上传到外部云端或者第三方而且没有常见的数据规模上的约束所以以后会是一个受欢迎的方式
本地知识库的部署
本地知识库使用anything LLM来实现工作原理就是使用一个embeding模型来对文档进行词向量的提取词向量是一个专业术语是人工智能对人类的文件的一种编码方式。可以理解为把学习到的词语投射到二维坐标上意思相近的词的距离靠的比较近而意思无关的词距离就比较远例如猫和狗都是动物他们会靠得比较近而花和草就不会跟猫狗靠得近还有一个模型是用来实现向量数据的存储的是向量数据库。这2种模型都是anythingLLM这个APP里面内置的我们只需要拿来直接用就可以。但是我们必须知道他们的概念因为这个embeding的功能对于知识库的管理效果至关重要如果提取到的数据质量不够好最终用户查询到的结果就会不满意这个时候可以尝试改变其配置使用其他的第三方模型。不管是LLM模型还是embeding模型我们的选择是很多的既有开源模型也有闭源模型既有免费模型也有收费模型这些都是可以选择的。
anythingLLM的安装。
在官网下载安装即可。安装好后会有一个引导过程让用户设置好LLM模型working space这些。LLM模型我们选择Ollama。以下是anythingLLM的链接地址https://anythingllm.com/desktop
可以说AI的出现就是懒人的福音基本上你按照官网的指引来做不会有什么难的。唯独是如果英语阅读可能对某些同学有点障碍不过这种障碍估计很快也要被AI消除了。
anthingLLM的配置资料的投喂搜索检验。
最简单的投喂方式就是把Excel表格投喂给模型也可以投喂一个网页链接让其下载并消化embeding模型消化数据时有一个等待过程这个过程就是把文档里面的资料进行词向量的计算和映射过程。怎么知道我们投喂的数据有效果呢例如我们可以这样进行测试首先没有投喂资料之前我们可以先提一个问题例如Mac mini的价格是多少这样因为AI模型的数据是比较早期的回复的结果通常是不知道或者不准确这个时候我们可以打开苹果的官网进入有Mac mini价格的页面然后把这个页面的URL复制粘贴给模型让模型进行一个消化整理完了之后再询问这个时候模型就可以输出有用的信息了而且还会附带引用的来源 总结下一步考虑把系统的bug list喂给AI模型看看能不能方便地查到有用的东西。 投喂网页数据之前的查询 投喂数据之后的查询
