手机网站的开发,遵义做网站哪家好,php做的网站好么,深圳关键词优化公司哪家好目录 ollama
介绍
使用
下载#xff1a;
安装#xff1a;
点击这个玩意next就行了。
运行
spring ai使用ollama调用本地部署的大模型
加依赖
配置yml
写代码 ollama
介绍
官网#xff1a;Ollama
Ollama是一个用于部署和运行各种开源大模型的工具#xff1b;
…目录 ollama
介绍
使用
下载
安装
点击这个玩意next就行了。
运行
spring ai使用ollama调用本地部署的大模型
加依赖
配置yml
写代码 ollama
介绍
Ø官网Ollama
ØOllama是一个用于部署和运行各种开源大模型的工具
Ø它能够帮助用户快速在本地运行各种大模型极大地简化了大模型在本地运行的过程。
Ø用户通过执行几条命令就能在本地运行开源大模型如Llama2等
Ø综上Ollama是一个大模型部署运行工具在该工具里面可以部署运行各种大模型方便开发者在本地搭建一套大模型运行环境
使用
下载
Download Ollama on macOS
安装 点击这个玩意next就行了。
运行
ollama run qwen:0.5b-chat大模型的名字去ollama官网找library
后面这个qwen:0.5b-chat是模型名字你需要自己去找对应的想用的模型 注意默认的ollama api会监听11434端口可以使用命令进行查看如下
netstat-ano | findstr 11434
spring ai使用ollama调用本地部署的大模型
加依赖
dependencygroupIdorg.springframework.ai/groupIdartifactIdspring-ai-ollama-spring-boot-starter/artifactId/dependency
配置yml 因为ollama这个依赖默认用的是minster这个大模型为了能使用别的大模型我们可以在配置文件中标明
chat:
option:
model: xxxxx(模型名字)
其他配置默认的直接抄就行。
写代码
import jakarta.annotation.Resource;
import org.springframework.ai.ollama.OllamaChatClient;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;RestController
public class olllamacoll {Resourceprivate OllamaChatClient ollamaChatClient;RequestMapping(value /ai/ollama)public Object ollama(RequestParam(value msq) String msq){String calledollamaChatClient.call(msq);return called;}
}
