建个什么网站赚钱,php做网站的公司有哪些,wordpress 本文目录,项目推广方案系列文章目录
玩转大语言模型——使用langchain和Ollama本地部署大语言模型 玩转大语言模型——ollama导入huggingface下载的模型 玩转大语言模型——langchain调用ollama视觉多模态语言模型 玩转大语言模型——使用GraphRAGOllama构建知识图谱 玩转大语言模型——完美解决Gra…系列文章目录
玩转大语言模型——使用langchain和Ollama本地部署大语言模型 玩转大语言模型——ollama导入huggingface下载的模型 玩转大语言模型——langchain调用ollama视觉多模态语言模型 玩转大语言模型——使用GraphRAGOllama构建知识图谱 玩转大语言模型——完美解决GraphRAG构建的知识图谱全为英文的问题 文章目录 系列文章目录前言下载安装Ollama安装模型测试模型使用终端调用使用request直接调用使用langchain调用Ollama接口使用langchain调用OpenAI接口 前言
Ollama 是一个开源的大型语言模型服务工具旨在简化在本地运行大语言模型的过程降低使用大语言模型的门槛。用户可以在自己的设备上运行模型无需依赖云服务或远程服务器保护了数据隐私。支持 Windows、macOS 和 Linux 等多种操作系统方便不同用户安装使用。在本篇中将介绍Windows下使用Ollama进行本地大模型的部署。 下载安装Ollama
Ollama官网https://ollama.com/ 点击下载选择符合自己系统的版本点击下载 下载后按照提示安装即可
安装模型
回到官网点击左上角的Models 点击后可以看到会有众多支持的模型 在本篇中笔者将使用Qwen2.5:7b可以在搜索栏中搜索Qwen 在左侧可以选择模型大小复制右侧的命令打开命令行执行就可以直接下载并运行模型了。如果已经下载过使用这个命令不会重复下载。如果只下载不运行可以使用命令ollama pull qwen2.5
测试模型
使用终端调用
打开命令行执行命令
ollama run qwen2.5:7b随后就可以在命令行交互式使用大语言模型了
使用request直接调用
由于ollama支持OpenAI接口的调用所以也可以像直接调用OpenAI一样使用request方式调用调用方式只要是ollama符合提供的API即可API可以参考https://ollama.readthedocs.io/api/ 例如使用这一接口
curl http://localhost:11434/api/generate -d {model: llama3.2,prompt: Why is the sky blue?,stream: false
}可以使用requests调用的方式如下下面的代码中改成了我们需要的内容
import requests# 定义请求的URL
url http://localhost:11434/api/generate# 定义要发送的数据
data {model: qwen2.5:7b,prompt: 你好,stream: False
}# 发送POST请求使用json参数自动处理JSON数据
response requests.post(url, jsondata)# 检查响应状态码
if response.status_code 200:# 解析并打印响应内容result response.json() # 假设服务器返回的是JSON格式的数据print(result)print(result[response])
else:# 打印错误信息print(f请求失败状态码{response.status_code})print(response.text) # 打印服务器返回的原始文本可能是错误信息上述代码中的data字典中prompt对应的值就是我们所提的问题在这里以你好为例下同。
使用langchain调用Ollama接口
langchain也是一个常用的大语言模型开发框架其中提供了关于ollama调用的接口在实例化参数中temperature代表的是生成回答的随机程度取值在0~1越大随机程度越高。如果是本地配置的ollamaurl_base参数可以省略。
from langchain_ollama import ChatOllamallm ChatOllama(temperature0,modelqwen2.5:7b,url_basehttp://localhost:11434/v1/,
)
ans llm.invoke(你好)
print(ans)
print(ans.content)使用langchain调用OpenAI接口
上边也提到了ollama会提供OpenAI的接口所以也可以使用langchain为OpenAI提供的调用接口。不同的是openai_api_base要改为ollama地址http://localhost:11434/v1/openai_api_key可以为任意值但不能为中文也不能为空。
from langchain_openai import ChatOpenAIllm ChatOpenAI(temperature0,modelqwen2.5:7b,openai_api_basehttp://localhost:11434/v1/,openai_api_keyanything
)
ans llm.invoke(你好)
print(ans)
print(ans.content)
