wordpress多站点功能,建网站提供下载,您在工信部门备案网站获取的icp备案号,开发网站的技术风险河南移动#xff0c;作为电信全业务运营企业#xff0c;不仅拥有庞大的客户群体和业务规模#xff0c;还引领着业务产品与服务体系的创新发展。河南移动的原有核心营业系统承载着超过6000万的庞大用户量#xff0c;管理着超过80TB的海量数据#xff0c;因此也面临着数据规…
河南移动作为电信全业务运营企业不仅拥有庞大的客户群体和业务规模还引领着业务产品与服务体系的创新发展。河南移动的原有核心营业系统承载着超过6000万的庞大用户量管理着超过80TB的海量数据因此也面临着数据规模急剧扩张与业务连续性要求高的双重挑战对数据库的分布式升级显得尤为迫切。在全方位综合评估后河南移动选择了OceanBase作为其核心系统的分布式数据库。
在 2024 外滩大会的 OceanBase 见解论坛上河南移动高级专家彭庆军作为嘉宾受邀分享了河南移动营业系统核心数据库分布式改造升级经验。他表示基于自研轩辕数据总线替换方案河南移动在两个月内完成了一套承载 1500 万用户的核心系统从传统数据库到 OceanBase 的平滑升级并取得运维效率显著提升、7×24 小时稳定运行的卓越成效。 1. 建设背景:新一代干架构需要新一代数据库 河南移动的现网即核心营业系统 CRM 呈数据容量大、业务并发高、连续性要求高、数据安全性高四大业务特征 数据容量大。伴随着业务发展河南移动用户数量现已突破 6000 万其营业核心系统数据量已超过 80TB。相当于每个库拥有 1500 万用户大约 20TB 数据。 业务并发高。单库日 SQL 数量超 40 亿次日订单量 3 千万笔含查询工单逢月末、月初业务量峰值更加持续增长。 业务连续性要求高。众所周知移动行业是涉及民生的基础通信服务需要为用户提供 7*24h 电信级服务保障业务中断三个小时即为重大故障。 数据安全性高。核心营业系统数据库存储着超 1500 万用户的敏感信息和数据数据不能错、不能丢且存储和访问安全要求高。
彭庆军介绍河南移动新一代 IT 架构对数据库有七大需求高兼容、高可靠、高性能、高扩展、高容量、高安全、高运维。 对于当时的河南移动来说数据库改造面临成本高、访问性能低、割接风险大、替换周期长四大难题。传统的数据库替换方案主要围绕功能、性能、运维涉及数据库和应用系统两方面一般存在两种替换方案一从 Oracle 迁移到国产数据库需要该国产数据库完全适配应用和兼容 Oracle二应用适配国产数据库这是目前数据库替换采用的主流方案。
因为数据库的替换历来高风险低收益而通过应用进行大量适配改造的换库方式等于是单程车票不仅并行期应用存在两个版本且上线后难以回切一旦替换后的新库不满足要求再次替换的难度和风险更高。有没有第三种替换方案
基于此河南移动开始为核心系统探寻新的数据库。根据河南移动的经验数据库选型可以分为两个方面一是如何评估一家数据库企业二是如何评估一款数据库产品。 在彭庆军看来第一要看企业的综合实力其次是企业的研发实力最后需要关注这个企业做的产品是“长期主义”还是“短期的功利主义”。 2. 两个月完成割接上线成效显著 河南移动从选型到上线整体周期历经 7 个月。2023 年 5 月河南移动开启国产数据库选型并重点关注几大国产分布式数据库6 月河南移动选型集团公招标中标的 OceanBase9 月双方团队一起确认升级改造方案10 月召开国产升级启动会12 月核心系统成功割接上线。截止 2024 年 9 月底河南移动核心营业系统数据库已稳定运行 300 余天。
彭庆军介绍在确认升级改造方案时团队一直比较犹豫因为核心系统升级至国产数据库的动作很大担心分布式数据库上线后运行不稳害怕没有给业务带来任何效益。基于此河南移动调研了已经上线 OceanBase 的山东移动和江苏移动。在听取了两地的实践经验后整个团队心里底气大增。10 月份正式启动了核心营业系统数据库的分布式产升级之路。最终仅用两个月当年 12 月份即完成系统上线。”
完成迁移升级之后河南移动建设成效显著基本总结为“一少、二快、三稳、四超”。 投入少。应用不改人力、资源、成本投入少极大降低了国产数据库替换成本。河南移动营业核心库的分布式改造和以往数据库的替换方式不同不仅自有人员和应用开发商投入特别少而且核心营业库的替换所需测试资源只有 OceanBase 数据库的资源先将 OceanBase 生产库的资源做测试库做完适配验证、性能压测觉得可行后再转为生产库就不需要搭建一套完整的测试环境 替换快。生态不变脚本不变免学习替换快大库两个月、小库一个月。河南移动有 1500 万的营业核心大库两个月就替换完毕 割接稳。风险不升应用适配、性能测试 360 度全覆盖生产上线后性能和上线前压测一致 性能超。实现性能不降缓存提效连接增效最佳配置模型硬件加速数据压缩比高。
营业系统核心数据库上线 OceanBase后河南移动运行效果也比较亮眼。下图为割接前后对比主要分为 SQL 执行性能对比和数据库性能对比。 SQL 执行性能对比显示通过跟踪业务整体运行、高峰时段运行对比 Oracle 与 OceanBase SQL 平均执行时长割接上线由平均 2.515 毫秒降低为 1.626 毫秒性能整体提升 35.35%通过跟踪核心 CBOSS 业务运行情况对比多天 Oracle 与 OceanBase SQL 执行时长割接上线后由原来平均 116 毫秒降低为 114 毫秒平均节省 2 毫秒。
数据库性能对比显示通过总线连接收敛能力业务连接数 10760 不变的情况下使用 OceanBase 进一步将数据库活跃连接数由原来的 4765 压降至 2140 数据库连接收敛比提升 45.4%。替换完成后经历多个账期测试发现整体业务运行稳定数据库集群的平均资源利用率从 7%-10% 提升至 12%-20%资源利用率大大提升。
从 2023 年 12 月份至今河南移动核心营业系统稳定运行平稳支撑多次月初、月末的流量高峰与此同时数据库集群平均的资源利用率也非常稳定较原有集中式数据库的 CPU 利用率提升 8%-9%。 3. 自研轩辕数据总线中间件产品助力数据库升级
此前河南移动 CRM 系统数据库现网的部署架构为集中式各个应用系统通过数据总线连到后端 Oracle该架构共 6 个 Proxy 节点中间通过 SAN 路由交换机连接后端的全闪存阵列这种配置较此前 Oracle 小型机集中的高端存储性能提升明显。 原集中式数据库共 6 个 RAC 节点共享存储 40TB实际使用 15TB 左右新分布式架构将 9 个计算存储合并为一个节点总存储量 57TB。得益于 OceanBase 的数据压缩功能三副本架构最终实际使用 15TB 左右总占用容量和原库基本持平。
新架构前端应用先连接轩辕数据总线再连到后端 OceanBase共有 12 个节点分为三个部分每个部分有 3 个计算与存储一体的节点和 3 个 OCP 管理节点从新架构可以看出将路由器和比较昂贵的高端存储进行优化后硬件成本得到一定下降其数据库容量也有了显著提升。通过性价比高的本地存储代替昂贵集中存储OceanBase 全库数据压缩成效显著告别容量焦虑。在数据库软件许可成本层面单台 x86 主机的 License 费用仅为此前 1/50成本也实现了大幅下降。
新分布式架构中的轩辕数据总线作为河南移动自主研发的一款助力数据库国产升级的数据库中间件产品以应用不改、性能不降、风险不升、生态不变为目标通过在业务应用与数据库之间增加一层“数据总线”抽象层将国产数据库升级中的四大难题上移至轩辕数据总线层解决以此助力大规模高并发场景 OLTP 数据库平滑国产升级具有“投入少、替换快、割接稳、性能超”四大优势。 应用不改不仅仅 JAVA 应用不改C、C应用sqlplus、sqlldr、python 脚本及配置全部不改经过 1.5 万个以上的生产程序检验以及真实生产割接验证实现了国产数据库无感知平滑上线的重大突破 性能不降将性能调优的关注点从关注数据库单次访问性能上升到关注业务办理每笔交易的整体性能针对性地创造了高效缓存技术和连接收敛技术两项创新点使交易中访问次数下降 50%连接数减少 80%从而实现了国产库性能下降 40%的前提下交易性能整体不降的重大突破。 生态不变针对国产库替换后开发、运维人员整体转型学习成本巨大的问题打造了异构数据库混合组网能力和透明的数据库运维工具两项功能新库可异构组网替换且完全继承 Oracle 技术生态从维护脚本、告警报错、维护工具全部访问如初无需改变开发、运维人员无需改变技术栈实现了数据库升级过程中选择权提升和替换后生态不变的可持续性突破。
总的来说基于轩辕数据总线架构河南移动国产数据库上线分 4 个步骤
第一步应用接入数据总线实现应用和数据库解耦从总线侧获取全量生产应用 SQL
第二步部署国产数据库作为生产测试库
第三步流量回放及测试将 Oracle 流量引入对应国产数据库进行兼容性和性能的适配测试
第四步一键切换通过总线一键切换功能实现国产数据库的生产上线。 轩辕数据总线为河南移动节省了数千万应用改造费用同时为数据库国产升级探索出了一条全新且可行的道路。 4. 实践经验应用适配与性能提升
当下对于新建系统的国产数据库升级改造往往会选择基于新的数据库进行开发以避免适配迁移等问题包括河南移动在内的众多企业数据库系统国产升级往往是指存量系统的国产升级。
虽然很多国产数据库的兼容性都可以达到 90%以上但不同应用因这些不兼容的差异改造工作量不同应用改造费用评估标准很模糊所以对于存量系统有升级改造需求的企业如何选型一款性价比高的数据库是一个避不开的难题。以河南移动为例彭庆军介绍了其所在数据库团队的应用适配和评估流程。
第一步识别改造工作量。传统方式是通过数据库厂商提供的评估能力确认数据库中有哪些不兼容的语句然后让应用花费大量人力通过排查代码进行评估河南移动评估方式是基于河南数据库中间件的评估方案记录应用到后端数据库每个 SQL 的访问情况先将整个 SQL 进行回放以筛选不兼容的 SQL同时根据 SQL 的访问记录去反查每个不兼容 SQL 下有问题的应用进程统计出每个应用进程有多少处不兼容点初步确认迁移改造的工作量
第二步对不兼容或不适配的 SQL 语句进行中间件改写使其符合目标国产数据库并且能够在该数据库顺利运行。在这个过程中河南移动自研了一套中间件产品轩辕数据总线助力此次国产数据库平稳高效升级
第三步性能测试。传统的性能压测无法面面俱到往往是通过主要业务根据日常配比去做测试。而河南移动采用的是真实全仿真的测试将包括营业系统在内的每一天的全量 SQL 语句以 200、300 的高并发分别在国产数据库上进行压力测试并将测试出来的较慢的 SQL 与该数据库一起进行优化通过评估后确认具备上线条件。
在河南移动营业系统应用适配和性能提升过程中由于营业 A 库数据量及每日归档量较大原传统集中式存储空间紧张归档过早清理导致 OMS 增量同步任务经常中断。在迁移演练阶段OMS 产品通过多次及时发版提升了同步效率最终在正式割接期间平稳迁移完成数据校验 100%一致。在特定统计场景营业日报业务内河南移动对递归查询进行了优化进一步适配了 OceanBase性能获得了明显提升目前的性能基本可以保证在 40 多秒内进行查询。
此外河南移动还利用自研轩辕数据总线产品承担了主要适配改造工作解决了兼容性相对比较弱的一些问题代码。比如面对高 CPU 利用率的函数切换到国产数据库经常会出现的一些难题针对性地对 OceanBase 进行了一定程度的性能优化。
可以说对比上面所提到的“单程车票”改造方法基于轩辕数据总线架构的国产数据库升级方式是一张“往返车票”支持无感切换回原数据库。 5.写在最后
未来河南移动将持续推进 B业务支撑系统/M管理支撑系统/O网管支撑系统全业务域升级改造并结合特有轩辕数据总线产品推进 OceanBase 生态构建。
彭庆军表示OceanBase 经过了十年的内部打磨又经过五年的外部推广作为一款顶天立地的产品其未来发展大有可为。此次河南移动自研的轩辕数据总线可以帮助千行百业解决场景差异的 SQL 适配问题。相信在轩辕数据总线的加持下会让整个 OceanBase 分布式生态如虎添翼为企业节省大量的改造费用同时加快分布式数据库改造推广的进度实现多赢
