django 做网站,免费 wordpress,网站建设有哪些名词,东莞网站建设公司排名网易有道QAnything可以使用本地部署大模型#xff08;官网例子为qwen#xff09;也可以使用大模型接口(OPENAI或者其他大模型AI接口 )的方式#xff0c;使用在线大模型API接口好处就是不需要太高的硬件配置。 本机环境windows11 首先安装WSL环境, 安装方法参考https://zhuan…网易有道QAnything可以使用本地部署大模型官网例子为qwen也可以使用大模型接口(OPENAI或者其他大模型AI接口 )的方式使用在线大模型API接口好处就是不需要太高的硬件配置。 本机环境windows11 首先安装WSL环境, 安装方法参考https://zhuanlan.zhihu.com/p/671942941 安装好WSL环境后启动WSL安装的ubuntu 然后在ubuntu下安装git 下面安装git和git-lfs
sudo apt install git安装 Git LFS
curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
sudo apt-get install git-lfs设置 Git LFS 安装完 Git LFS 后你需要运行一次 git lfs install 来设置它
git lfs install安装QAnything(我这里使用的是纯Python环境CPU openai模式目前只有纯Python环境支持CPU模式)
#安装pip
sudo apt install python3-pip
#安装 OpenGL的库文件libGL.so.1
sudo apt-get install libgl1-mesa-glx
#安装QAnything
git clone -b qanything-python https://github.com/netease-youdao/QAnything.git
cd QAnything
pip install -e .
#安装一些必要的包
pip install -r requirements.txt修改qanything_kernel/connector/llm/llm_for_openai_api.py程序中top_p参数值否则运行qwen模型会报错 Error code: 400 - {‘error’: {‘code’: ‘invalid_parameter_error’, ‘param’: None, ‘message’: ‘Range of top_p should be (0.0, 1.0)’, ‘type’: ‘invalid_request_error’}}
top_p: float 0.9 # top_p must be (0,1] 修改值为0到1之间修改scripts/run_for_openai_api_with_cpu_in_Linux_or_WSL.sh中对应的参数 主要是设置api的 URL api key 以及模型名称 比如我使用的阿里千问72B ,对应修改如下
然后启动 qanything
bash scripts/run_for_openai_api_with_gpu_in_Linux_or_WSL.sh运行成功后提示如下
根据提示在浏览器中输入http://127.0.0.1:8777/qanything/
