网站开发要注意的问题,Wordpress支持分布发布吗,专业网站设计 软件,网站制作目的上一篇已经讲解了如何构建自己的私人GPT#xff0c;这一篇主要讲如何让GPT支持中文。 privateGPT 本地部署目前只支持基于llama.cpp 的 gguf格式模型#xff0c;GGUF 是 llama.cpp 团队于 2023 年 8 月 21 日推出的一种新格式。它是 GGML 的替代品#xff0c;llama.cpp 不再…上一篇已经讲解了如何构建自己的私人GPT这一篇主要讲如何让GPT支持中文。 privateGPT 本地部署目前只支持基于llama.cpp 的 gguf格式模型GGUF 是 llama.cpp 团队于 2023 年 8 月 21 日推出的一种新格式。它是 GGML 的替代品llama.cpp 不再支持 GGML。 本文主要采用国产YI-34B-CHAT模型。 1.模型下载 yi模型下载TheBloke/Yi-34B-Chat-GGUF · Hugging Face 下载后放置在 models 文件夹下 embedding模型下载BAAI/bge-small-en-v1.5 · Hugging Face 下载后放置在models/cache文件夹下bge is short for BAAI general embeddingFlagEmbedding 可以将任何文本映射到低维密集向量该向量可用于检索、分类、聚类或语义搜索等任务。它还可以用于法学硕士的矢量数据库 2.settings.yaml 文件修改 主要修改local部分使用YI模型使用prompt_style: tag类型的提示词模板
llm_hf_model_file: yi-34b-chat.Q4_K_M.gguf
prompt_style: tag
3.代码修改 使用YI-34B-CHAT模型源码要简单修改下修改如下 文件路径 privateGPT/private_gpt/components/llm/llm_component.py 第44行添加如下内容
generate_kwargs{stop:[|im_end|]},
如图 导航到 UI在浏览器中打开 http://localhost:8001/。 创作不易多多支持
