淘宝客如何做返积分制网站,怎样做网络推广方法,网站设计与实现,做宠物店网站的素材Kong Gateway 3.7 版本已经重磅上线#xff0c;我们给 AI Gateway 带来了一系列升级#xff0c;下面是 AI Gateway 的更新亮点一览。
AI Gateway 正式 GA
在 Kong Gateway 的最新版本 3.7 中#xff0c;我们正式宣布 Kong AI Gateway 达到了通用可用性#xff08;GA…Kong Gateway 3.7 版本已经重磅上线我们给 AI Gateway 带来了一系列升级下面是 AI Gateway 的更新亮点一览。
AI Gateway 正式 GA
在 Kong Gateway 的最新版本 3.7 中我们正式宣布 Kong AI Gateway 达到了通用可用性GA阶段。
现在AI 开发者们可以专注于开发 AI 定制应用比如利用大型语言模型LLM和检索增强生成RAG技术打造的聊天机器人或者其他 AI 集成方案。他们无需再从零开始搭建底层架构去构建保证 AI 应用在生产环境中安全、可监控的基础设施。Kong Konnect 和 Kong Gateway Enterprise 平台将提供所需的扩展性支持。
此外Kong AI Gateway 现在也可以作为一个软件即服务SaaS解决方案完全部署在云端。同时Kong 还推出了新的 Konnect Dedicated Cloud Gateways 选项供用户进行云端部署。 Kong AI Gateway 可以用于广泛的场景帮助加速新的人工智能应用程序在生产环境中的落地。
对现有的 OpenAI SDK 提供支持
Kong AI Gateway 允许让用户通过 OpenAI API 规范作为统一标准访问其支持的所有 LLM。
使用开发人员熟悉的 OpenAI API 规范将大大简化大家上手的难度。
并且 Kong AI Gateway 原生支持了 OpenAI SDK 客户端库进一步简化了构建 AI 代理和应用程序的过程。您只需将请求重定向到指向 AI Gateway 路由的 URL即可通过 AI Gateway 使用LLM。
如果您已经使用 OpenAI SDK 编写了现有的业务逻辑则可以重用它来使用 Kong AI Gateway 支持的每个 LLM无需修改代码因为它是100%兼容的。
引入流式 AI 消息支持
Kong AI Gateway 已在”ai-proxy” 插件中对所有LLM引擎加入了对AI的流式交互能力的原生支持。这将解锁更多实时体验而不用等待 LLM 完成处理后再发送回客户端。
在流式模式下响应将以词元token为单位通过 HTTP 响应块SSE逐个发送。用户可以通过设置“ ai-proxy” 的以下属性来启用该功能
config:model:options:response_streaming: allow
功能启用后客户端便可在请求体中显式地进行流式请求例如
{prompt: What is 1 1?,stream: true
}
凭借这项新功能Kong AI Gateway 的用户将能够打造更具吸引力和互动性的人工智能体验。
基于 Token 的高级限流能力 (企业版)
我们正在引入一项基于 token 请求量进行限流的企业级功能。通过启用新的“ai-rate-limiting-advanced” 插件客户可以更好地管理组织中不同团队的 token 消耗水平从而更好地控制整体 AI 开销。对于自托管 LLM 提供商当应用程序中的 AI 流量增加时客户将能够更好地调整其在 AI 基础设施上的流量。
Kong 已经提供了基于发送到 API 的请求数量进行速率限制的 API 速率限制功能。而新版“ai-rate-limiting-advanced” 插件则专注于所请求 AI token 的数量并不考虑发送给它们原始 HTTP 请求的数量。如果客户希望同时对原始请求和特定AI Token进行速率限制则“ai-rate-limiting-advanced” 插件可以与标准 Kong 速率限制插件结合使用。
ai-rate-limiting-advanced 插件是目前市面上唯一可以用于 AI 的速率限制插件。
基于 Azure 的内容安全能力 (企业版)
新的企业插件“ai-azure-content-safety”允许客户与包括“Azure AI”在内的多个内容安全服务无缝集成以验证每个通过AI网关的prompt请求。这项功能也被所有ai-proxy插件的所有LLM引擎所支持。
例如凭借该功能客户可以使用 Azure 的原生安全服务策略在 Kong AI Gateway 中检测和过滤所有不和谐的内容并将该策略应用于所有 LLM 提供商的prompt请求以实现内容安全的统一管理。 基于 URL 动态选择 LLM
该特性使用户可以通过客户端请求的 URL 路径动态调用所需的模型。同时用户可以通过在插件配置中硬编码其名称来使用模型。通过启用此功能Kong AI Gateway 便可以更容易地扩展到希望尝试各种模型的团队而无需预先在 “ai-proxy” 插件中进行配置。
该功能可以通过 “ai-proxy” 的新 “config.route_source” 配置参数进行配置。并且用户只需配置一次便可使所有模型均通过识别URL路径的方式来动态地、灵活地调用。
支持 Anthropic Claude 2.1 Messages API
Kong AI Gateway 提供一个 API 接口使用户可以随意调用部署在云端的或自托管提供商提供的模型。该接口在新版本中得到了扩展以支持 Anthropic Claude 2.1 Messages 这样的通常用于创建聊天机器人或虚拟助手应用程序的API用于管理用户与 Anthropic Claude 模型助手之间的对话交流。
基于用户需求 Kong AI Gateway 将持续增加对更多 LLM 的支持。
更新 AI 用量统计的格式
随着 Kong AI Gateway 进入 GA 阶段我们已经更新了所有由 Kong 处理的 AI 请求的分析日志格式。
通过这种新的日志格式用户可以测量 “ai-proxy”“ai-request-transformer”和“ai-response-transformer” 所请求的每个模型的消耗情况。
ai: {ai-proxy: {meta: {request_model: gpt-35-turbo,provider_name: azure,response_model: gpt-35-turbo,plugin_id: 5df193be-47a3-4f1b-8c37-37e31af0568b},payload: {},usage: {prompt_token: 89,completion_token: 56,total_tokens: 145}},… more AI Plugins
这种新的分析日志格式取代了旧的格式以便企业用户实现更精细化的用量管理。
那么我们该如何学习大模型
作为一名热心肠的互联网老兵我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
一、大模型全套的学习路线
学习大型人工智能模型如GPT-3、BERT或任何其他先进的神经网络模型需要系统的方法和持续的努力。既然要系统的学习大模型那么学习路线是必不可少的下面的这份路线能帮助你快速梳理知识形成自己的体系。
L1级别:AI大模型时代的华丽登场 L2级别AI大模型API应用开发工程 L3级别大模型应用架构进阶实践 L4级别大模型微调与私有化部署 一般掌握到第四个级别市场上大多数岗位都是可以胜任但要还不是天花板天花板级别要求更加严格对于算法和实战是非常苛刻的。建议普通人掌握到L4级别即可。
以上的AI大模型学习路线不知道为什么发出来就有点糊高清版可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】 二、640套AI大模型报告合集
这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示。 三、大模型经典PDF籍
随着人工智能技术的飞速发展AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型如GPT-3、BERT、XLNet等以其强大的语言理解和生成能力正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。 四、AI大模型商业化落地方案 作为普通人入局大模型时代需要持续学习和实践不断提高自己的技能和认知水平同时也需要有责任感和伦理意识为人工智能的健康发展贡献力量。
