大型门户网站开发公司,srm采购管理系统,网站建设app,微信小程序源代码模板1#xff0c;关于xinference
Xorbits Inference (Xinference) 是一个开源平台#xff0c;用于简化各种 AI 模型的运行和集成。借助 Xinference#xff0c;您可以使用任何开源 LLM、嵌入模型和多模态模型在云端或本地环境中运行推理#xff0c;并创建强大的 AI 应用。
Xor…1关于xinference
Xorbits Inference (Xinference) 是一个开源平台用于简化各种 AI 模型的运行和集成。借助 Xinference您可以使用任何开源 LLM、嵌入模型和多模态模型在云端或本地环境中运行推理并创建强大的 AI 应用。
Xorbits InferenceXinference是一个性能强大且功能全面的分布式推理框架。可用于大语言模型LLM语音识别模型多模态模型等各种模型的推理。通过 Xorbits Inference你可以轻松地一键部署你自己的模型或内置的前沿开源模型。无论你是研究者开发者或是数据科学家都可以通过 Xorbits Inference 与最前沿的 AI 模型发掘更多可能。
官方网站 https://inference.readthedocs.io/zh-cn/latest/index.html
启动Xinference服务 https://gitee.com/fly-llm/xinference-run-llm
项目地址 https://github.com/xorbitsai/inference
2安装qwen 1.5 大模型
发现代码已经支持啦
https://github.com/xorbitsai/inference/pull/1161 {model_format: awq,model_size_in_billions: 0_5,quantizations: [Int4],model_id: Qwen/Qwen1.5-0.5B-Chat-AWQ},然后就可以查看全部支持的模型进行启动
2024-04-02 22:51:48,866 xinference.model.llm.llm_family 1358 INFO Caching from Modelscope: qwen/Qwen1.5-0.5B-Chat-AWQ
2024-04-02 22:51:48,982 - modelscope - INFO - PyTorch version 2.1.2cu121 Found.
2024-04-02 22:51:48,984 - modelscope - INFO - Loading ast index from /root/autodl-tmp/modelscope/ast_indexer
2024-04-02 22:51:49,301 - modelscope - INFO - Loading done! Current index file version is 1.13.3, with md5 2ce72687914bb920fc5ddbea16bddaae and a total number of 972 components indexed
Downloading: 100%|████████████████████████████████████████████████████████████████████████████████████████| 839/839 [00:0000:00, 287kB/s]
Downloading: 100%|█████████████████████████████████████████████████████████████████████████████████████| 52.0/52.0 [00:0000:00, 39.5kB/s]
Downloading: 100%|████████████████████████████████████████████████████████████████████████████████████████| 205/205 [00:0000:00, 158kB/s]
Downloading: 100%|████████████████████████████████████████████████████████████████████████████████████| 7.11k/7.11k [00:0000:00, 255kB/s]
Downloading: 100%|███████████████████████████████████████████████████████████████████████████████████| 1.59M/1.59M [00:0000:00, 6.58MB/s]
Downloading: 0%| | 0.00/747M [00:00?, ?B/s]
可以进行下载说明模型已经支持了
curl -X POST http://0.0.0.0:9997/v1/chat/completions \-H Content-Type: application/json \-d {model: qwen-chat,messages: [{role: user,content: 北京景点}],max_tokens: 512,temperature: 0.7}{id:chatc043f510-f100-11ee-b0dc-0242ac110004,object:chat.completion,created:1712069603,model:qwen1.5-chat,choices:[{index:0,message:{role:assistant,content:北京是中国的首都拥有众多的文化遗产和风景名胜。以下是一些热门的北京景点\n\n1. 故宫故宫是中国明清两代的宫殿被誉为“皇家的后宫”。这里有大量的宫殿、文物和艺术品是了解中国古代建筑艺术的最好地方。\n\n2. 二里头二里头是北京的一条历史悠久的街道有许多保存完好的古建筑和商店。这里的建筑风格独特充满了历史韵味。\n\n3. 颐和园颐和园是清朝皇家园林的瑰宝也是世界文化遗产。这里有大量古建筑和园林艺术是了解中国古代园林艺术的好地方。\n\n4. 淮河风光北京的淮河风光是北京市的标志之一也是中国最美的风景之一。这里有众多的河流风光是骑行和步行的好地方。\n\n5. 颐和园荷花颐和园的荷花是皇家园林的代表也是中国最美的风景之一。这里有众多的荷花是观赏荷花的好地方。\n\n6. 人民英雄纪念碑人民英雄纪念碑是北京的标志性建筑是展示中国历史和人民英雄的重要场所。\n\n7. 北京动物园北京动物园是世界上最大的动物保护基地也是北京的一道亮丽的风景线。这里有众多的动物是了解动物保护的重要场所。\n\n以上是一些在北京的主要景点还有许多其他的景点等待游客探索。},finish_reason:stop}],usage:{prompt_tokens:21,completion_tokens:288,total_tokens:309}}测试接口正常
速度特别快。瞬间返回 3还支持函数调用
# encoding:utf-8import openai
import jsonclient openai.OpenAI(base_urlhttp://127.0.0.1:9997/v1,
)
messages [{role: system, content: 你是一个有用的助手。不要对要函数调用的值做出假设。},{role: user, content: 北京 现在的天气怎么样}
]tools [{type: function,function: {name: get_current_weather,description: 获取当前天气,parameters: {type: object,properties: {location: {type: string,description: 城市例如北京,},format: {type: string,enum: [celsius, fahrenheit],description: 使用的温度单位。从所在的城市进行推断。,},},required: [location, format],},},}
]chat_completion client.chat.completions.create(modelqwen1.5-chat,messagesmessages,toolstools,temperature0.7
)
func_name chat_completion.choices[0].message.tool_calls[0].function.name
print(func_name, func_name)
func_args chat_completion.choices[0].message.tool_calls[0].function.arguments
func_args_dict json.loads(func_args)
print(func_args, func_args_dict[location])返回 北京。
