做二手车网站需要什么手续费,wordpress短信插件,网站的死链,wordpress分页太丑1.什么是qwen:0.5b#xff1f;
模型介绍#xff1a;
Qwen1.5是阿里云推出的一系列大型语言模型。 Qwen是阿里云推出的一系列基于Transformer的大型语言模型#xff0c;在大量数据#xff08;包括网页文本、书籍、代码等#xff09;进行了预训练。
硬件要求#xff1a;…1.什么是qwen:0.5b
模型介绍
Qwen1.5是阿里云推出的一系列大型语言模型。 Qwen是阿里云推出的一系列基于Transformer的大型语言模型在大量数据包括网页文本、书籍、代码等进行了预训练。
硬件要求
CPU配置CPU最低第六代intel酷睿4核AMD ZEN 4核以上推荐12代intel酷睿8核AMD ZEN 8核以上 内存要求运行内存4G及以上
Qwen 1.5版本的新增功能如下
6个模型大小包括0.5B、1.8B、4B默认、7B、14B、32B新和72B 人类对话模型的偏好显著改善 基础模型和对话模型都支持多语言 所有大小的模型都稳定支持32K上下文长度 原始的Qwen模型提供了四种不同的参数大小1.8B、7B、14B和72B。
模型功能
低成本的部署推理过程的最低内存要求小于2GB。 大规模高质量的训练语料库模型在超过22万亿个令牌的语料库上进行了预训练包括中文、英文、多语言文本、代码和数学涵盖了一般和专业领域。通过大量的消融实验对预训练语料库的分布进行了优化。 良好的性能Qwen支持较长的上下文长度在1.8b、7b和14b参数模型上为8K在72b参数模型上为32K在多个中英文下游评估任务包括常识、推理、代码、数学等上显著超过了现有的开源模型甚至在一些基准测试中超过了一些更大规模的模型。 更全面的词汇覆盖与其他基于中英文词汇的开源模型相比Qwen使用了超过15万个令牌的词汇表。这个词汇表对于多种语言更友好使用户在不扩展词汇表的情况下能够直接增强特定语言的能力。 系统提示通过使用系统提示Qwen可以实现角色扮演、语言风格转换、任务设置和行为设置等功能。
模型效果
ModelMMLUC-EvalGSM8KMATHHumanEvalMBPPBBHCMMLUGPT-486.469.992.045.867.061.886.771.0Llama2-7B46.832.516.73.312.820.838.231.8Llama2-13B55.041.429.65.018.930.345.638.4Llama2-34B62.6-42.26.222.633.044.1-Llama2-70B69.850.154.410.623.737.758.453.6Mistral-7B64.147.447.511.327.438.656.744.7Mixtral-8x7B70.6-74.428.440.260.7--Qwen1.5-7B61.074.162.520.336.037.440.273.1Qwen1.5-14B67.678.770.129.237.844.053.777.6Qwen1.5-32B73.483.577.436.137.249.466.882.3Qwen1.5-72B77.584.179.534.141.553.465.583.5
2.什么是ollama
Ollama 是一个便于本地部署和运行大型语言模型Large Language Models, LLMs的工具。使用通俗的语言来说如果你想在自己的电脑上运行如 GPT-3 这样的大型人工智能模型而不是通过互联网连接到它们那么 Ollama 是一个实现这一目标的工具。下面我们来详细总结一下 Ollama 的功能和使用场景。
主要功能
本地运行大型语言模型Ollama 允许用户在自己的设备上直接运行各种大型语言模型包括 Llama 2、Mistral、Dolphin Phi 等多种模型。这样用户就可以在没有网络连接的情况下也能使用这些先进的人工智能模型。跨平台支持Ollama 支持 macOS、Windows预览版、Linux 以及 Docker这使得几乎所有主流操作系统的用户都可以利用这个工具。语言库和第三方库支持它提供了一个模型库用户可以从中下载并运行各种模型。此外也支持通过 ollama-python 和 ollama-js 等库与其他软件集成。快速启动和易于定制用户只需简单的命令就可以运行模型。对于想要自定义模型的用户Ollama 也提供了如从 GGUF 导入模型、调整参数和系统消息以及创建自定义提示prompt的功能。
3.什么是open-webui
Open WebUI以前称为Ollama WebUI是一款面向大型语言模型LLMs的用户友好型Web界面支持Ollama和兼容OpenAI的API运行。通过一个直观的界面它为用户提供了一种便捷的方式与语言模型进行交互、训练和管理。
主要特点
直观的界面灵感来源于ChatGPT保证了用户友好的体验。响应式设计无论是在桌面还是移动设备上都能享受到无缝的体验。快速响应性能快速且响应迅速。简明的设置过程通过Docker或Kubernetes安装旨在提供无忧的体验。代码语法高亮提高代码的可读性。完整的Markdown和LaTeX支持为了丰富交互体验提供广泛的Markdown和LaTeX功能。本地RAG集成未来聊天交互的特色功能通过#命令加载文档或添加文件。网页浏览功能使用#命令来丰富聊天体验。快捷预设支持使用/命令快速访问预设提示。RLHF注释通过评分消息帮助构建用于RLHF的数据集。对话标签方便地分类和查找特定聊天。多模型支持无缝切换不同聊天模型。多模态支持允许与支持图像等多模态的模型进行交互。
4.环境准备
ollama
version: 3services:ollama:image: ollama/ollamacontainer_name: ollamarestart: unless-stoppedports:- 11434:11434volumes:- ./data:/root/.ollama
run
docker-compose up -d
visit http://localhost:11434/ return “Ollama is running ” into the docker shell and run command
ollama pull llama2-chinese:7b
run model llama2-chinese:7b
ollama run llama2-chinese:7b
open-webui
version: 3services:ollama-webui:image: ghcr.io/open-webui/open-webui:maincontainer_name: ollama-webuirestart: unless-stoppedports:- 11433:8080volumes:- ./data:/app/backend/dataenvironment:- OLLAMA_API_BASE_URLhttp://10.11.68.77:11434/api- WEBUI_SECRET_KEYTkjGEiQ5K^j
run
docker-compose up -d
http://localhost:11433/ 第一次需要注册账号 5.代码工程
实验目标
用open ai包对接qwen:0.5b
pom.xml
?xml version1.0 encodingUTF-8?
project xmlnshttp://maven.apache.org/POM/4.0.0xmlns:xsihttp://www.w3.org/2001/XMLSchema-instancexsi:schemaLocationhttp://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsdparentgroupIdorg.springframework.boot/groupIdartifactIdspring-boot-starter-parent/artifactIdversion3.2.1/version/parentmodelVersion4.0.0/modelVersionartifactIdQwen/artifactIdpropertiesmaven.compiler.source17/maven.compiler.sourcemaven.compiler.target17/maven.compiler.target/propertiesdependenciesdependencygroupIdorg.springframework.boot/groupIdartifactIdspring-boot-starter-web/artifactId/dependencydependencygroupIdorg.springframework.boot/groupIdartifactIdspring-boot-autoconfigure/artifactId/dependencydependencygroupIdorg.springframework.boot/groupIdartifactIdspring-boot-starter-test/artifactIdscopetest/scope/dependencydependencygroupIdorg.springframework.ai/groupIdartifactIdspring-ai-openai-spring-boot-starter/artifactIdversion0.8.0-SNAPSHOT/version/dependency/dependenciesrepositoriesrepositoryidspring-snapshots/idnameSpring Snapshots/nameurlhttps://repo.spring.io/snapshot/urlreleasesenabledfalse/enabled/releases/repository/repositoriesbuildpluginManagementplugins!-- 配置 Maven Compiler 插件 --plugingroupIdorg.apache.maven.plugins/groupIdartifactIdmaven-compiler-plugin/artifactIdversion3.8.1/versionconfigurationforktrue/forkfailOnErrorfalse/failOnError/configuration/plugin!-- 配置 Maven Surefire 插件 --plugingroupIdorg.apache.maven.plugins/groupIdartifactIdmaven-surefire-plugin/artifactIdversion2.22.2/versionconfigurationforkCount0/forkCountfailIfNoTestsfalse/failIfNoTests/configuration/plugin/plugins/pluginManagement/build
/project
controller
package com.et.qwen.controller;import org.springframework.ai.chat.ChatClient;
import org.springframework.ai.chat.prompt.Prompt;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;import java.util.HashMap;
import java.util.Map;RestController
public class HelloWorldController {RequestMapping(/hello)public MapString, Object showHelloWorld(){MapString, Object map new HashMap();map.put(msg, HelloWorld);return map;}AutowiredChatClient chatClient;GetMapping(/ai/chat)public String chat(RequestParam(value message, defaultValue Tell me a joke) String message) {Prompt prompt new Prompt(message);return chatClient.call(prompt).getResult().getOutput().getContent();}}
application.yaml
server:port: 8088spring:ai:openai:base-url: https://api.openai.com/api-key: sk-xxxembedding:options:model: text-davinci-003chat:#指定某一个API配置(覆盖全局配置)api-key: sk-xxxbase-url: http://localhost:11434options:model: qwen:0.5b # 模型配置
以上只是一些关键代码所有代码请参见下面代码仓库
代码仓库
https://github.com/Harries/springboot-demo(qwen)
6.测试
启动Spring boot应用程序访问http://127.0.0.1:8088/ai/chat你将看到qwen:0.5返回的信息ollama服务端查看日志
2024-07-15 15:06:28 [GIN] 2024/07/15 - 07:06:28 | 200 | 4.810762037s | 172.20.0.1 | POST /api/chat
2024-07-15 15:06:29 [GIN] 2024/07/15 - 07:06:29 | 200 | 1.081850365s | 172.20.0.1 | POST /v1/chat/completions
2024-07-15 15:06:46 [GIN] 2024/07/15 - 07:06:46 | 200 | 46.802µs | 172.20.0.1 | GET /api/version
7.引用
Introducing Qwen1.5 | Qwenhttps://ollama.com/blog/openai-compatibilityhttps://github.com/open-webui/open-webuihttps://ollama.com/blog
