网站建设数据库,如何建设企业电子商务网站,网站建设成功案例,南阳专业做网站公司哪家好作者#xff1a;来自 Elastic Vinay Chandrasekhar•Andres Rodriguez 我们很高兴地宣布 Azure OpenAI 集成现已全面上市#xff0c;它提供了对 Azure OpenAI 服务性能和使用的全面可观察性#xff01;另请参阅本博客的第 2 部分
虽然我们已经提供了对 LLM 环境的可视性一段…作者来自 Elastic Vinay Chandrasekhar•Andres Rodriguez 我们很高兴地宣布 Azure OpenAI 集成现已全面上市它提供了对 Azure OpenAI 服务性能和使用的全面可观察性另请参阅本博客的第 2 部分
虽然我们已经提供了对 LLM 环境的可视性一段时间了但添加 Azure OpenAI 集成后你可以更清楚地了解基于 Azure OpenAI 的应用程序的性能和使用情况从而进一步增强 LLM 可观察性。 Azure OpenAI 集成利用 Elastic Agent 的 Azure 集成功能来收集日志使用 Azure EventHub和指标使用 Azure Monitor以深入了解 Azure OpenAI 服务的使用情况。
该集成包括一个开箱即用的仪表板其中总结了服务使用情况的最相关方面包括请求和错误率、token 使用情况和 chat completion 延迟。 创建警报和 SLOs 以监控 Azure OpenAI
与所有其他 Elastic 集成一样所有日志和指标信息均可在 Elastic Observability 的每项功能中充分使用包括 SLOs、警报、自定义仪表板、深入日志探索等。
例如要创建警报以监控 token 使用情况请从 Azure OpenAI 数据流上的自定义阈值规则开始并设置聚合条件以跟踪和报告超过特定阈值的 token 使用违规行为。 发生违规时该警报通知中链接的 “Alert Details” 视图提供有关违规的丰富背景信息例如违规开始的时间、当前状态以及此类违规的任何历史记录从而实现快速分类、调查和根本原因分析。
同样地要创建一个用于监控 Azure OpenAI 调用错误率的 SLO首先使用自定义查询 SLI 定义将符合条件的事件定义为所有响应中状态码在 400 或以上的结果。然后通过设定一个合适的 SLO 目标例如 99%开始在 7 天、30 天或 90 天内监控 Azure OpenAI 的错误率 SLO以跟踪性能下降并在问题普遍化之前采取措施。 请参阅用户指南以了解更多信息并开始使用 原文LLM Observability: Azure OpenAI — Elastic Observability Labs
