蚌埠做企业网站,推动高质量发展就是要,网站icp备案管理系统,企业网站建设实训小结自从OpenAI的ChatGPT横空出世以来#xff0c;国内外各类大语言模型#xff08;LLM#xff09;层出不穷#xff0c;其中不乏Google的Gemini、Claude、文心一言等等。相较于竞争激烈的商业模型赛道#xff0c;以Llama为代表的开源大模型的进步速度也十分惊人。
伴随着大语言…自从OpenAI的ChatGPT横空出世以来国内外各类大语言模型LLM层出不穷其中不乏Google的Gemini、Claude、文心一言等等。相较于竞争激烈的商业模型赛道以Llama为代表的开源大模型的进步速度也十分惊人。
伴随着大语言模型的百花齐放如何评价一个模型的各项指标与综合能力成了新的问题其中大规模多任务语言理解MMLU-Massive Multitask Language Understanding是评估语言模型能力最常用和权威的基准之一它由约 16,000 个多项选择题组成涵盖数学、哲学、法律和医学等 57 个学科。
在最新的以MMLU为基准的大语言模型排行榜上国产的开源大模型通义千问Qwen2和零一万物Yi-Large在与Claude3、ChatGPT4o、Gemini等商业模型的竞争中不遑多让名列前茅。 通常情况下我们都是在线使用大语言模型难免会遇到网络不便、账号受限等问题既然国产开源大模型已经有了如此强大的性能能否将其部署在本地来使用呢
答案是可以的而且对计算机配置的需求比各位想象的低很多。
本地大模型框架ollama介绍
既然想要在本地计算机或服务器配置大模型就不得不提到一个神器 — Ollama
Ollama是一个开源框架专门设计用于在本地运行大型语言模型。 它的主要特点是将模型权重、配置和数据捆绑到一个包中从而优化了设置和配置细节包括GPU使用情况简化了在本地运行大型模型的过程。
Ollama一开始仅支持macOS和Linux操作系统近期也推出了支持Windows系统的预览版。 这里以Windows系统为例首先在官网或GitHub下载并安装Ollama注意系统版本要求Windows 10及以上 官网下载https://ollama.com/download GitHubhttps://github.com/ollama/ollama/releases 下载完成后进行安装 ollama没有GUI安装完成后需要在PowerShell或命令行进行使用。
在PowerShell运行命令ollama help将显示 Ollama 中的可用命令。 通过输入“ollama 可用命令”即可对ollama进行操作例如
ollama list显示模型列表。ollama show显示模型的信息ollama pull拉取模型ollama push推送模型ollama cp拷贝一个模型ollama rm删除一个模型ollama run运行一个模型
安装并运行本地模型
完成ollama的安装并熟悉了基本操作后可以开始安装所需的模型了。
在ollama官方网站的模型页面可以浏览支持的开源模型列表。 这里选择国产qwen2模型ollama支持0.5b、1.5b、7b、72b四种参数规模b即billion十亿参数量可根据个人硬件配置与存储空间进行选择经过实测拥有NVidia独显的笔记本电脑完全可以跑的动7b模型。 硬件需求 RAM 7B模型推荐16GB70B需要64GB或更多。GPU 具有至少8GB 显存的GPU最好是支持CUDA的NVIDIA GPU。 在下图标记1出选择对应参数的模型标记2处会自动切换至该模型的安装命令复制命令并在PowerShell中运行即可进行下载安装。 这里选择安装qwen2:7b模型。 模型文件的保存路径为
C:\Users\“你的用户名”\.ollama\models\安装完成后即可进行对话。 在每次使用前请先确认ollama服务已经开启可在开始菜单启动ollama或创建快捷方式ollama启动后会在系统任务栏显示图标。
接着在PowerShell通过ollama run qwen2启动模型。
进阶使用方法
很显然通过PowerShell与本地大模型进行对话不是那么的方便ollama支持很多桌面客户端通过端口进行调用其默认使用11434端口可通过 http://localhost:11434 访问。
聊天对话推荐使用chatbox可实现无需部署开箱即用内置大量prompt可以最大程度的发挥模型的能力。 官网https://chatboxai.app/zh Githubhttps://github.com/Bin-Huang/chatbox 翻译、润色、总结等功能推荐使用OpenAI Translator其最初是ChatGPT API 的划词翻译浏览器插件和跨平台桌面端应用但目前同样支持ollama的本地模型。 Githubhttps://github.com/Bin-Huang/chatbox 总结
ollama不仅可以让我们在本地随时随地使用大语言模型不受网络、账户等限制同时可以利用ollama提供的api接口开发基于各类大语言模型的应用与服务并且ollama支持安装多个模型方便我们进行对比和使用。
ollama的特点可以总结为
开源开源推动项目的持续发展。开箱即用一条命令的方式简化了大量的工作降低了门槛。可扩展可以和很多工具进行集成使用有更多的玩法。轻量化不需要太多的资源个人电脑完全可以胜任。
