网站两侧对联广告图片,公共资源交易中心是属于哪个部门,社旗网站设计,小程序制作填写信息llamafile 是一种AI大模型部署#xff08;或者说运行#xff09;的方案#xff0c;它的特点就是可以将模型和运行环境打包成一个独立的可执行文件#xff0c;这样就简化了部署流程。用户只需要下载并执行该文件#xff0c;无需安装运行环境或依赖库#xff0c;这大大提高…llamafile 是一种AI大模型部署或者说运行的方案它的特点就是可以将模型和运行环境打包成一个独立的可执行文件这样就简化了部署流程。用户只需要下载并执行该文件无需安装运行环境或依赖库这大大提高了使用大型语言模型的便捷性。 本文将详细的介绍如何在 Windows 系统电脑端下载运行llamafile 并且结合路由侠内网穿透实现外网访问本地的llamafile 。
第一步下载 llamafile
1先下载llamafile下载包https://www.modelscope.cn/api/v1/models/bingal/llamafile-models/repo?RevisionmasterFilePathllamafile-0.6.2.win.zip
2下载后需要解压文件解压后可以看到一个llamafile.exe文件不用点击这个文件。 3进入这个链接魔搭社区去下载对应的大语言模型本文以下载的是第一个模型为例。 4下载好后把下载的大语言模型和上面我们下载的llamafile.exe文件放在一起。 5在llamafile目录下点击左上角文件直接打开powershell命令窗口。 6执行输入下面命令运行llamafile。
.\llamafile-0.6.2.exe -m .\Qwen-7B-Chat-q4_0.llamafile -ngl 9999 --port 8080 --host 0.0.0.0
.\llamafile-0.6.2.exe 表示运行llamafile
.\Qwen-7B-Chat-q4_0.llamafile表示运行自己下载的大语言模型
-ngl 999 表示调用GPU显卡运行
8080 是web 界面访问端口可以自己修改
后面-host 默认即可。 7打开浏览器输入本地访问地址就能看到 llama 的web ui 界面,这样表示启动就成功了 第二步如何在外网访问本地局域网的llamafile
在内网的电脑上安装路由侠点此下载
1下载安装完成后打开路由侠界面点击【内网映射】。 2点击【添加映射】。 3选择【原生端口】。 4在内网端口里填写默认端口 8080 后点击【创建】按钮如下图。 5创建好后就可以看到一条映射的公网地址鼠标右键点击【复制地址】。 6在外网的浏览器的地址栏输入复制的外网地址就可以访问llamafile了。
