360推广做网站,企业seo排名外包,ui网页设计师职责能力,怎么创建个人微信公众号可观测性
在监控章节的引言中#xff0c;我们提到了老板、前端、后端眼中的监控是各不相同的#xff0c;那么有没有办法将监控模型进行抽象、统一呢#xff1f;
来简单分析一下#xff1a;
业务指标实时展示#xff0c;这是一个指标型的数据( metric )手机 APP 上传的数…可观测性
在监控章节的引言中我们提到了老板、前端、后端眼中的监控是各不相同的那么有没有办法将监控模型进行抽象、统一呢
来简单分析一下
业务指标实时展示这是一个指标型的数据( metric )手机 APP 上传的数据包含了日志( log )和指标类型( metric )如果考虑到 APP 作为一次 HTTP 请求的发起端那还涉及到请求链路的跟踪( trace)后端链路跟踪是 trace请求错误率、QPS 是 metric异常日志是 log
喔好像线索很明显哎我们貌似可以把监控模型分为三种指标 metric、日志 log 和 链路 trace。
先别急我们对总结出来的三种类型进行下对比看看彼此之间是否存在关联性( 良好的模型设计彼此之间应该是无关联的 ):
指标用于表示在某一段时间内一个行为出现的次数和分布日志记录在某一个时间点发生的一次事件链路记录一次请求所经过的完整的服务链路可能会横跨线程、进程也可能会横跨服务( 分布式、微服务 )
按照这个定义来看三种类型几乎没有关联性是不是意味着我们的监控模型非常成功
恭喜你刚才总结出的监控模型正是这几年非常火热的可观测性监控的三大基础Metrics / Log / Trace。
各自为战的三种模型
但是如果按照这个模型我们将监控分成三个部分开发彼此没有关联并且在使用之时也带着孤立的观点去看待这些数据和功能那可观测性就失去了其应有的意义。
例如要看指标趋势变化就使用 metrics查看详细问题使用 log要看请求链路、链路各部分的耗时、服务依赖都使用 trace虽然看起来很美好但是它们都在各自为战。
例如一个很常见的场景现在我们通过 metrics 获得了一个告警发现某个服务的 SLA 降低、错误率上升此时该如何排查错误原因 查看日志你如何确保日志跟错误率上升有内在的联系呢而且一个大型服务它的各种类型的日志、错误都是非常频繁的要大海捞针般地找出特定的日志非常难。
由于缺乏数据模型上的关联最后只能各自为战发现了错误率上升就人工去找日志和链路运气好就能很快地查明原因运气不好等待老板和用户的咆哮吧
这个过程很不美好需要工程师们充分理解每一项数据的底层逻辑而在大型微服务架构中没有一个工程师可以清晰的知道所有的底层逻辑此时就需要分工协作去排查那问题处理的复杂度和挑战性最终会急剧增加。
模型纽带
看来要解决这个问题我们需要一个纽带来把三个模型串联起来目前来看trace 是最适合的。
因为问题的跟踪和解决其实就是沿着数据的流向来的我们只要在 trace 流动的过程中在沿途把相关的 log 收集上来然后再针对收到的各种 trace根据其标签去统计相应的指标。
这样是不是就成功地将三个模型关联在了一起而且还不是强扭的瓜
再回到之前假设的场景当我们对某个 Metric 波动发生兴趣时可以直接将造成此波动的 Trace 关联检索出来然后查看这些 Trace 在各个微服务中的所有执行细节最后发现是底层某个微服务在执行请求过程中发生了 Panic这个错误不断向上传播导致了服务对外 SLA 下降。
如果可观测平台做得更完善一些将微服务的变更事件数据也呈现出来那么一个工程师就可以快速完成整个排障和根因定位的过程甚至不需要人通过机器就可以自动完成整个排障和根因定位过程。
看到这里相信大家都已经明白了 trace 的重要性以及可观测性监控到底优秀在哪里。那么问题来了该如何落地
数据采集
首先没有数据就没有一切因此我们需要先把监控数据采集上来。
除了跨服务的数据统一规范外由于现在的微服务往往使用多种语言实现我们的数据采集还要支持不同的语言选择一个合适的数据采集 SDK 就成了重中之重。
目前来说我们最推荐大家采用 OpenTelemetry 作为可观测性解决方案它提供了完整的数据协议规范、API和多语言采集 SDK我们将在下个章节进行详细介绍。
数据处理和存储
虽然在我们之前的模型设计完善后数据彼此之间存在内在关联性但是不代表它们就能够按照同样的格式来存储了甚至都无法保证使用同一个数据库来存储。
就目前而言对于三种模型的数据处理和存储推荐如下:
Trace使用 jaeger 接收采集上来的 trace 数据经过处理后存储到一个分布式数据库中例如 cassandra、scyllaDB 等Log如果对日志的关键词索引有较高的要求还是建议使用 ElasticeSearch如果可以提前在日志中通过 kv 的形式打上标签然后未来也只需要通过标签来索引那可以考虑使用 lokiMetrics啥都不用说了prometheus 走起当然还可以使用 influxdb后者正在使用 Rust 重写期待未来的一飞冲天
数据查询和展示
大家知道可观测性现在为什么很多人搞不清楚吗就是因为你怎么做都可以比如之前的存储就有很多解决方案而且还都不错。
对于数据展示也是你可以使用上面的 jaeger、prometheus 自带的 UI也可以使用 grafana 这种统一性的 UI而从我个人来说更推荐使用 grafana毕竟 UI 的统一性和内联性对于监控数据的查询是非常重要的。
再说了grafana 的 UI 做的好看啊没人能拒绝美好的事物吧
好了一篇口水文终于结束了在后续章节我们将学习如何使用 OpenTelemetry Jaeger Prometheus Grafana 搭建一套可用的监控服务先来看看如何搭建和使用分布式追踪监控。 “tracing 呢你这个监控服务怎么没有它的身影日志章节口口声声的爱现在就忘记了吗” “别急我还记得呢先卖个关子” 推荐几款学习编程的免费平台
免费在线开发平台https://docs.ltpp.vip/LTPP/ 探索编程世界的新天地为学生和开发者精心打造的编程平台现已盛大开启这个平台汇集了近4000道精心设计的编程题目覆盖了C、C、JavaScript、TypeScript、Go、Rust、PHP、Java、Ruby、Python3以及C#等众多编程语言为您的编程学习之旅提供了一个全面而丰富的实践环境。 在这里您不仅可以查看自己的代码记录还能轻松地在云端保存和运行代码让编程变得更加便捷。平台还提供了私聊和群聊功能让您可以与同行们无障碍交流分享文件共同进步。不仅如此您还可以通过阅读文章、参与问答板块和在线商店进一步拓展您的知识边界。 为了提升您的编程技能平台还设有每日一题、精选题单以及激动人心的编程竞赛这些都是备考编程考试的绝佳资源。更令人兴奋的是您还可以自定义系统UI选择视频或图片作为背景打造一个完全个性化的编码环境让您的编程之旅既有趣又充满挑战。 免费公益服务器https://docs.ltpp.vip/LTPP-SHARE/linux.html 作为开发者或学生您是否经常因为搭建和维护编程环境而感到头疼现在您不必再为此烦恼因为一款全新的免费公共服务器已经为您解决了所有问题。这款服务器内置了多种编程语言的编程环境并且配备了功能强大的在线版VS Code让您可以随时随地在线编写代码无需进行任何复杂的配置。 随时随地云端编码 无论您身在何处只要有网络连接就可以通过浏览器访问这款公共服务器开始您的编程之旅。这种云端编码的便利性让您的学习或开发工作不再受限于特定的设备或环境。 丰富的编程语言支持 服务器支持包括C、C、JavaScript、TypeScript、Go、Rust、PHP、Java、Ruby、Python3以及C#等在内的多种主流编程语言满足不同开发者和学生的需求。无论您是初学者还是资深开发者都能找到适合自己的编程环境。 在线版VS Code高效开发 内置的在线版VS Code提供了与本地VS Code相似的编辑体验包括代码高亮、智能提示、代码调试等功能让您即使在云端也能享受到高效的开发体验。 数据隐私和安全提醒 虽然服务器是免费的但为了保护您的数据隐私和安全我们建议您不要上传任何敏感或重要的数据。这款服务器更适合用于学习和实验而非存储重要信息。 免费公益MYSQLhttps://docs.ltpp.vip/LTPP-SHARE/mysql.html 作为一名开发者或学生数据库环境的搭建和维护往往是一个复杂且耗时的过程。但不用担心现在有一款免费的MySQL服务器专为解决您的烦恼而设计让数据库的使用变得简单而高效。 性能卓越满足需求 虽然它是免费的但性能绝不打折。服务器提供了稳定且高效的数据库服务能够满足大多数开发和学习场景的需求。 在线phpMyAdmin管理更便捷 内置的在线phpMyAdmin管理面板提供了一个直观且功能强大的用户界面让您可以轻松地查看、编辑和管理数据库。 数据隐私提醒安全第一 正如您所知这是一项公共资源因此我们强烈建议不要上传任何敏感或重要的数据。请将此服务器仅用于学习和实验目的以确保您的数据安全。 免费在线WEB代码编辑器https://docs.ltpp.vip/LTPP-WEB-IDE/ 无论你是开发者还是学生编程环境的搭建和管理可能会占用你宝贵的时间和精力。现在有一款强大的免费在线代码编辑器支持多种编程语言让您可以随时随地编写和运行代码提升编程效率专注于创意和开发。 多语言支持无缝切换 这款在线代码编辑器支持包括C、C、JavaScript、TypeScript、Go、Rust、PHP、Java、Ruby、Python3以及C#在内的多种编程语言无论您的项目需要哪种语言都能在这里找到支持。 在线运行快速定位问题 您可以在编写代码的同时即时运行并查看结果快速定位并解决问题提高开发效率。 代码高亮与智能提示 编辑器提供代码高亮和智能提示功能帮助您更快地编写代码减少错误提升编码质量。 免费二维码生成器https://docs.ltpp.vip/LTPP-QRCODE/ 二维码QR Code是一种二维条码能够存储更多信息并且可以通过智能手机等设备快速扫描识别。它广泛应用于各种场景如 企业宣传 企业可以通过二维码分享公司网站、产品信息、服务介绍等。 活动推广 活动组织者可以创建二维码参与者扫描后可以直接访问活动详情、报名链接或获取电子门票。 个人信息分享 个人可以生成包含联系方式、社交媒体链接、个人简历等信息的二维码。 电子商务 商家使用二维码进行商品追踪、促销活动、在线支付等。 教育 教师可以创建二维码学生扫描后可以直接访问学习资料或在线课程。 交通出行 二维码用于公共交通的票务系统乘客扫描二维码即可进出站或支付车费。 功能强大的二维码生成器通常具备用户界面友好操作简单即使是初学者也能快速上手和生成的二维码可以在各种设备和操作系统上扫描识别的特点。
