为什么要建微网站,上海设计公司电话,沈阳市官网,无锡注册公司流程和费用多少前言
AI新时代#xff0c;提高了生产力且能帮助用户快速解答问题#xff0c;现在用的比较多的是Openai、Claude#xff0c;为了保证个人隐私数据#xff0c;所以尝试本地#xff08;Mac M3#xff09;搭建Llama模型进行沟通。
Gpt4all
安装比较简单#xff0c;根据 G…前言
AI新时代提高了生产力且能帮助用户快速解答问题现在用的比较多的是Openai、Claude为了保证个人隐私数据所以尝试本地Mac M3搭建Llama模型进行沟通。
Gpt4all
安装比较简单根据 GitHub - nomic-ai/gpt4all: GPT4All: Run Local LLMs on Any Device. Open-source and available for commercial use. 下载客户端软件即可打开是这样的 然后选择并下载模型文件这里以Llama为例 下载模型文件完选择模型文件则可以进行对话了 也可以利用基于 nomic-embed-text嵌入模型把文档转成向量方便语义检索和匹配。选择文档所在的目录 然后对话中选择对应的文档即可 如果文件太大需要在设置适当添加token大小太大也不好处理会慢且机器会卡死 gpt4all使用起来还是比较方便的但是有几个缺点有些能在huggingface.co搜到的模型在gpt4all上面搜不到、退出应用后聊天记录会消失。
帮助网安学习全套资料S信免费领取 ① 网安学习成长路径思维导图 ② 60网安经典常用工具包 ③ 100SRC分析报告 ④ 150网安攻防实战技术电子书 ⑤ 最权威CISSP 认证考试指南题库 ⑥ 超1800页CTF实战技巧手册 ⑦ 最新网安大厂面试题合集含答案 ⑧ APP客户端安全检测指南安卓IOS
Ollama
安装也很方便下载 https://ollama.com/download/Ollama-darwin.zip 然后运行如下命令即可启动Llama
ollama run llama3.2 为了方便图形化使用可以借助 GitHub - open-webui/open-webui: User-friendly AI Interface (Supports Ollama, OpenAI API, ...) 完整图形化的使用启动也很简单直接使用官方仓库中的命令即可
docker run -d -p 3000:8080 --add-hosthost.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
然后访问本地的3000端口即可 open-webui的原理也比较简单Ollama启动后会在本地监听11434端口open-webui也是利用这个端口来和Ollama通信完成的图形化使用。 open-webui还可以多选模型一起回答 整体测试下来发现Llama3.2对于文档分析差点意思给他提供一个pdf文档也看不出个啥来。但是上面的gpt4all然后通过nomic-embed-text模型嵌入后好点。
总结
本文演示了通过不同手段来运行Llama模型来达到本地使用LLM的目的。
