南宁的网站建设,网站建设做得好,苏州最新通知,做网站素材网ChatGPT的成功#xff0c;让越来越多的人开始关注大语言模型#xff08;LLM#xff09;。如果拥有了属于自己的大语言模型#xff0c;就可以对其进行一些专属优化。例如#xff1a;打造属于自己的AI助理#xff0c;或是满足企业自身的业务及信息安全需求。 所以#xff…
ChatGPT的成功让越来越多的人开始关注大语言模型LLM。如果拥有了属于自己的大语言模型就可以对其进行一些专属优化。例如打造属于自己的AI助理或是满足企业自身的业务及信息安全需求。 所以这段时间围绕LLM出现了不少的开源方案能够实现私有化部署的同时打造专属模型。 以LangChain-Chatchat为例 不仅最新版本可使用FastChat接入Vicuna, Alpaca, LLaMA, Koala, RWKV等模型。 同时支持API调用服务并可通过基于Streamlit的WebUI进行操作满足多人使用或是项目集成的需求。 然而如需远程访问自建的私有LLM服务还需解决不少的问题。 面对这类难题贝锐花生壳无需公网IP、无需设置路由/网关即可实现局域网服务的远程访问。 以下是贝锐花生壳搭配LangChain-Chatchat实现远程访问的整体流程 首先完成LangChain-Chatchat部署具体可参考其github主页本次使用了docker一键安装。 其次在贝锐官网下载、安装花生壳的客户端并在安装完成后登录注册好的贝锐账号。 花生壳除了支持Windows、Mac、Linux、树莓派、OpenWRT、Android等多种操作系统及设备。 此外花生壳还提供了硬件——花生壳盒子适用于一些不便于安装软件客户端的场景。 随后只需在花生壳主界面的内网穿透一栏点击新增映射进入云端管理平台根据提示信息填写提交后就会自动生成外网访问地址。 例如需浏览器远程访问LangChain-Chatchat Web UI在填写时选择映射类型HTTPS并填入Web UI局域网IP端口号即可。 完成上述配置后如需要远程访问LangChain-Chatchat时只要使用贝锐花生壳生成的外网访问地址即可。 当然除了能够实现快速部署贝锐花生壳还拥有其他诸多优势。同时经过多年的迭代升级贝锐花生壳内网穿透已被1800万用户广泛应用于OA/ERP/CRM办公系统、私有云、视频监控、Web服务器、软件开发调试、遥感测绘、工业4.0等各种场景助力企业快速实现内外网信息互联互通。
