网站建设协议书范本,wordpress 添加备案号,网站更改备案信息在哪里,石家庄建筑网云原生环境下金融业务的微服务化改造以及分布式架构的部署#xff0c;使得业务与开发部门的关联更为紧密#xff0c;传统运维监控已满足不了业务运营需求#xff0c;亟需建设具备可观测性的运维体系。所以这次我们以某金融客户的实践案例为例#xff0c;跟大家说一说在金…
云原生环境下金融业务的微服务化改造以及分布式架构的部署使得业务与开发部门的关联更为紧密传统运维监控已满足不了业务运营需求亟需建设具备可观测性的运维体系。所以这次我们以某金融客户的实践案例为例跟大家说一说在金融微服务场景下应如何提升运维可观测性从而助力业务转型。 一、行业痛点 随着金融行业数字化转型战略实践工作的深化推进数字化业务快速发展日志类型和日志量急速增加但各类日志数据软硬件分散且繁杂缺乏统一的全生命周期管理和海量日志的监控分析处理能力给业务监控告警、日志搜索分析、审计溯源造成了一定制约。 其次在云原生环境中随着微服务化进程加快很多业务系统微服务化后带来了复杂的运维排障屏障。总体难点表现如下
1.生产环境业务级异常感知滞后
这导致了故障影响范围往往被放大且降低了服务品质。其次生产故障定位处理缺少快速有效的辅助工具也影响了业务连续性。 2.增加问题排查难度
各系统日志数据分散存储日志路径、格式、打印规范等各有差异增加问题排查难度技术迭代演进微服务化、容器化等传统运维方式支撑不足。 3.国家相关法规要求
国家网络安全法要求及行业监管机构要求对日志进行统一的采集、存储、分析、可视化等配合审计需实现异常行为快速提取与回溯。 二、建设目标 以云原生可观测性建设为主目标拉通各类基础监控、数据采集、日志等分析工具的数据孤岛以云原生领域中对业务场景的需求为驱动通过技术手段实现业务运营全过程的透明化提升业务连续性保障提升服务开发上线效率提高IT服务质量等在运维能力提升的同时亦提升用户体验。 三、解决方案 本方案主要通过协助金融客户完善管理规范制度、建设统一日志平台、整合观测数据三个关键步骤助力可观测性提升。主要从以下几个方面入手解决 1.完善管理制度规范
技术平台为管理服务要做好技术平台就需要首先梳理、完善管理规范制度我司与行方客户一起对现有的客户规范、业内规范进行调研、条目梳理并进行日志管理规范的总结及能力应用规划。
如对业务日志的规范化进行了4层的丰富度说明并根据不同的级别梳理了不同的规范度、可以实现的不同效果、达到的不同能力级别通过规范的梳理可以更好的评估客户现有不同业务系统及其日志的规范化程度并根据客户数字化推进的阶段反推不同业务系统的下一步管理要求。 2.建设统一日志平台
对数字化转型的提升管理制度的规范化是道具体实现还需要有术的支持我们这里的术就是基于擎创的日志管理平台作为基础底座通过整合监控及调用链数据以可观测性提升为核心的统一日志平台。
平台架构主要分4层最底层为数据源层及接入层。日志数据、监控数据、调用链数据都归为数据源对不同的数据源通过不同的采集技术进行纳管如agnetsyslog、API等。
在数据处理层采用数据中台进行数据缓冲、计算、存储把原始的最基础的数据通过规范化、清洗、聚合计算、数据关联等方式实现从数据到业务运行状态观测的转变。
在应用层通过前端进行交互界面给运维使用方以直观、高效的操作体验在后端及中间件层对运行状态观测数据进行缓冲高效查询及部分业务逻辑处理。 3.整合观测数据 数据源的丰富度及质量直接决定了可观测性的挖掘深度在现有的环境中我们接入了操作系统、数据库、中间件、硬件设备、容器及应用这些类型的日志及监控数据在链路层通过skywalking接入了多套业务系统的链路数据同时在日志中根据客户规范增加的对应的TID标示用于日志及链路数据的深度结合。 四、解决方案亮点
1.实现业务日志统一查询
能够全局性覆盖主要业务系统实现日志的统一快速高效的查询并通过部分日志的合并、解析、分析实现日志的更高效利用。在这个基础上实现更多贴合实际生产环境的功能开发如二次查询、全链路排障、数据湖冷备数据查询、上下文行数自动滚动、日志内xmljson段格式化、用户使用统计分析等功能。 2.关注业务系统运行状态及告警
从日志角度对业务系统进行统计分析得到业务系统的整体概览状态方便快速了解系统运行状态。 3.实现业务日志全链路串联 根据现有的系统环境及业务场景打通统一日志系统与Skywalking的数据通过中间层处理用TID在日志及Skywalking做上下文关联通过全局流水号SEQ_NO、业务流水号或任意内容搜索得到业务系统详细日志及链路信息实现了排障一体化解决。同时可以直观方便的了解业务系统中业务拓扑及单笔交易的链路拓扑为排障提供了非常方便的工具丰富了排障场景且易于使用。 4.整合监控内容
运维场景中除了查询日志及trace信息经常还需要核对到监控平台查看监控数据通过整合监控数据减少运维场景下的不同平台跳转提升运维效率。 5.数据湖冷备数据查询
对接原有数据湖实现数据的双写一份用于日常查询排障使用到存储容量限制后定期滚动删除一份存储于数据湖内长期保存用于审计场景下使用。
同时实现冷备数据的在线查询以及更高的压缩率及接近热数据查询的查询速度。 云原生时代下金融业务发展迅速数字化转型的脚步日益加快。
该案例主要解决的是企业在进行云端微服务化改造时面临传统监控无法高度细化分析与关联数据等问题。我们从日志维度出发建设可观测运维体系的方法并有效落地从而提升金融企业用户数据处理和分析能力的精细程度辅助用户挖掘数据深层价值全面提升业务运营的连续性与稳定性。 擎创科技Gartner连续推荐的AIOps领域标杆供应商。公司致力于协助企业客户提升对运维数据的洞见能力优化运维效率充分体现科技运维对业务运营的影响力。 行业龙头客户的共同选择 更多运维思路与案例持续更新中敬请期待
随手点关注更新不迷路~
