公司云网站建设,营销网建,wordpress极验,餐饮装修公司作者#xff1a;家泽
ApsaraMQ 与时俱进#xff0c;砥砺前行
阿里云消息队列从诞生开始#xff0c;至今已有十余年。今年#xff0c;阿里云消息产品全面品牌升级为 ApsaraMQ#xff0c;与时俱进#xff0c;砥砺前行。 2012 年#xff0c;RocketMQ 诞生于集团内部…作者家泽
ApsaraMQ 与时俱进砥砺前行
阿里云消息队列从诞生开始至今已有十余年。今年阿里云消息产品全面品牌升级为 ApsaraMQ与时俱进砥砺前行。 2012 年RocketMQ 诞生于集团内部用于淘宝交易等核心业务链路。历经集团多年来双 11 万亿级的考验、稳定性的打磨依托云计算孵化以及开源社区的协力。 于 2015 年RocketMQ 在阿里云上面向企业提供商业化的消息队列服务。随后以 RocketMQ 为基础拓展 KafkaRabbitMQMQTTMNS 等商业化产品致力于服务有更多场景需求的企业
2017 年RocketMQ 成为 Apache 基金会顶级项目
2022 年RocketMQ5.0 正式发布完全构建于云原生基础设施之上 充分释放云基础设施的池化能力全方位提高消息的核心技术指标。在事件、流处理方面做了新的提升。消息处理方面在队列模型之上构建了消息模型 业务可以只需要关心消息而无需关心队列 基于消息消费模型客户端、连接和消费都是无状态的 可在任意 Proxy 节点上飘移真正做到轻量化。
2023 年全系列产品 Serverless 化面向企业提供极速弹性、更高性价比的云消息队列产品帮助企业在消息队列使用上降本。
面向应用、数据集成的可靠消息通道 回顾过去十余年消息产品始终坚持开源、集团、商业三位一体的发展思路内核演进和产品共同迭代。十年来在阿里云上累计服务了 10 万企业覆盖互联网、零售、金融、汽车等 20 多个行业大规模的生产实践持续积累产品的核心优势。同时面向企业诉求丰富产品矩阵覆盖多样化的业务场景需要。为企业上云提供更精准的产品选型。
RocketMQ 在微服务、应用领域以其 4 个 9 的可用性9 个 9 的数据可靠性被广泛应用。同时RocketMQ 提供了定时顺序事务多样性的消息类型满足应用复杂业务需求RabbitMQ 同样也是 messaging 的开源生态代表。商业化的 RabbitMQ 解决了开源 RabbitMQ 无法灵活扩缩容、脑裂、堆积等痛点问题支持开源 RabbitMQ 无缝迁移到云上Kafka是流式存储的代表被广泛应用于大数据/日志处理场景商业化版本兼容开源 3.3 之前的版本并在存算分离高可用容灾弹性上做深、做强相比开源自建成本更低服务可用性更高MQTT 在物联网/移动互联网的终端场景提供了千万链接百万并发的服务相比开源版本加强了 MQTT 服务的后端生态建设让数据链路可延续。MNS 是一款对标 AWS SQS/SNS 的消息产品以轻量的消息队列支持简单的业务异步通信场景提供轻量化的事件通知和 SaaS 集成能力。
无论是开源迁移上云还是新业务构建在 ApsaraMQ 产品系列中总能找到一款适合业务场景的可靠的消息中间件。近年阿里云消息团队在存算分离、多级存储和弹性上重点投入进行架构升级使消息产品从云原生走向 Serverless。
云产品从云原生走向 Serverless 云原生的本质是充分释放云计算的红利实现企业业务的降本增效。在云原生阶段云厂商提供全托管的中间件服务在开源兼容的同时补充运维及可视化的用户界面达到开箱即用的效果此时商业化形态多数以资源预留的包年包月方式面向企业收费。
随着云上资源规模的不断扩大规模效应允许企业按照使用量付费但对于单实例仍有规模限制比较难应对业务突发流量。
随着云原生的发展Serverless 的思想不断被加强产品 Serverless 化的实现也不断的被赋能。Serverless 已经到了落地的阶段。企业只需聚焦在自身业务逻辑对资源的使用和业务的流量无感。
面向 Serverless 设计的云消息服务
站在用户的视角消息的 Serverless 化从成本、易使用、稳定性、生态集成几个方面持续演进 低成本
架构解耦将网络、计算和存储分离提升自身计算能力的同时充分利用云原生网络和存储的弹性能力提升产品性能降低产品自身资源使用成本同时建设 SRE 平台实现自动化交付、升级、扩容降低交付成本与运维成本优化计费方式计费项消息量存储网络解耦做到计费项按实际资源的使用量付费降低以往固定计费项造成预估过量的浪费。
易使用 主要考虑迁移上云方便可靠无损以及迁移后的控制面提供对业务有价值的数据不仅帮助企业观测云产品的使用同时对于业务的优化能够提供参考依据。
稳定性
稳定性是企业使用云产品的基础考量云产品运行稳定过程可监测应急有预案是业务持续性的重要保障。
生态集成
丰富的消息产品生态能够帮助企业快速完成业务的开发放大消息的价值。
ApsaraMQ 核心产品升级 ApsaraMQ 全系列产品发布 Serverless 版RocketMQ、RabbitMQ、MQTT Serverless 版实例 0 门槛按实际使用量进行收费。计算成本最高可降低 75% 左右并发流量可达秒级万 QPS 自适应弹性在存算分离、多级存储架构之后消息存储成本最高可降低 1/3。
Kafka 在十月底发布了 3.0 版本计算节点无状态存储及数据可用性下沉至云存储基础设施解决了单盘吞吐能力受限、存算比例绑定、扩缩容数据迁移影响业务和跨可用区高可用性能等问题。单实例流量可达秒级 GB 自适应弹性。对比开源自建成本最高降低 20%。
存算分离是消息服务 Serverless 化的基础 和应用解耦一样在技术上计算和存储分开计算层才能更专注于业务逻辑的定义和演进。才能更好的实现按量使用按需自适应弹性。
系统架构中元数据用户实例关系、订阅关系、参数配置等统一管理业务消息数据完全由基础存储设施做专业的存储保障真正的做到计算层无状态。
计算层将复杂的数据可靠性机制下沉到存储层 降低计算层的复杂逻辑如数据复制成本提升了性能和稳定性 降低了跨AZ网络数据传输的影响同时降低网络吞吐以避免网络拥塞 降低扩容、缩容时数据复制带来的资源开销和业务影响提升了服务的可用性。
存储层充分利用阿里云基础能力。
盘古 DFS 使用多副本以及 EC 等策略来保证数据极高的可靠性。将数据打散到不同的 rack 上当某一台廉价的服务器发生故障时仍然能够快速地恢复出数据的副本以保证数据安全这种可靠性保证为有把握对上层承诺数据不丢失提供了稳固的基石使得消息数据更加可靠数据更加安全。盘古 DFS 支持跨数据中心的容灾策略百微秒级平均延迟、毫秒级长尾延迟以及单存储节点打满 200Gbps 网络的 IOPS 处理能力同时数据可靠性达到 12 个 9可用性高达 5 个 9。
计算能力秒级弹性降低闲置成本
消息的流量图基本是潮汐型或潮汐型伴随着高毛刺。自建使用者以及云产品过去基本可以概括为资源预留型。
使用者用一批固定的资源支持业务的流量。当出现核心业务流量高峰时富裕的使用者有预留或提前增加机器以缓解毛刺流量不富裕的使用者限制非核心业务流量。但给使用者带来了评估难成本浪费的问题。 在 Serverless 架构版本中将网络、计算和存储分离网络和存储交由基础产品提供自适应弹性的能力按量付费。
计算层在资源弹性的方式外增加了基于实例以往业务流量指标、集群水位指标的智能化预弹方式。同时也增加了实例流量跨集群调度的方式。尽可能的缩短业务流量被限制的时间达到快速支持毛刺流量的目标。
多级存储实现按需存储大容量低成本
消息是一个中间态数据理论上消息快速被生产快速被消费数据在内存中流转速度是最快的。但实际生产中我们可能面临着消息不能被及时消费或消息需要被重新消费的场景。 在这些场景下这些数据往往不在 PageCache 中需要从磁盘读取并加载到 PageCache当冷读较多时 PageCache 竞争激烈频繁的换入换出导致缓存污染严重影响写入性能。此外处理生产和消费请求的同一线程池可能会受到冷读阻塞的影响导致所有请求无法及时处理出现故障。为缓解此问题通过冷热数据隔离、冷热线程协程分离和预加载等策略进行优化消息生产不受影响服务更稳定。
引入廉价的多级存储降低了消息存储成本同时又可以延长数据保存时间。
可靠的 SLA 保障是服务稳定的基础
在一系列的架构演进的基础上产品的可用性在技术实现得到了保障单节点或可用区故障不影响服务的可用同时单节点故障也可以利用容器的特性快速自愈。服务可用性上最高可达 4 个 9数据可靠性上最高可达 9 个 9 在运行时稳定性保障上理论与实践相结合通过 SRE 平台实现黑盒探测及指标监控相结合覆盖 50 多项检测指标可以做到全天 24 小时检测覆盖异常分钟内被告警服务 SLO 可观测。对于异常告警的每一项都有对应的可操作应急预案。
MQ User Plane 全面升级 此外产品体验也得到了提升统一 ApsaraMQ 全系列产品面向用户的看版基于 Metric 指标、消息轨迹、关键事件和业务日志面向业务开发和运维人员提供告警巡检诊断基于专家经验定义事件模型给出根因分析帮助企业快速排查和解决业务问题。
面向架构师在接入前的评估提供产品能力一键体验成本估算的能力方便分析师从体验中快速了解产品统一消息系列产品生态以消息流入、流出的能力快速实现数据集成。
可视化平滑迁移上云风险小成本低
迁移上云阶段提供了可视化的迁移工具保障上云平滑、无损的完成迁移。 丰富的消息生态助力企业快速构建应用
上云后消息提供了丰富的生态助力企业快速构建应用。 以 EventBridge /函数计算/云工作流 为核心构建云集成范式增强云产品间可联通性EventBridge 在云产品事件集成方面目前已经集成 200 云产品事件源3000 多种事件类型。
在 SaaS 应用集成方面包括钉钉、聚石塔以及云上 50 多个 SaaS 服务都可以通过 webhook 方式连接到 EB。
除此之外目前 EB 已经对接了阿里云全量的云产品 API任何一个事件都可以通过云产品 API 的方式进行触达。
云工作流提供可视化流程编排完整的API对接无需编写代码即可编排 EventBridge 的云服务函数计算提升集成体验基于 EventBridge 可以完成消息数据到大数据存储的分析场景等。
Confluent 成为背靠背的技术合作伙伴
10 月 31 日杭州云栖大会上阿里云云原生应用平台负责人丁宇宣布Confluent 成为阿里云技术合作伙伴合作全新升级一起拓展和服务亚太市场。 本次合作伙伴签约阿里云与 Confluent 将进一步加深合作Confluent 将作为阿里云一方产品在阿里云国内站国际亚太站点全面发布在阿里云 Apsara for Kafka下推出Confluent 规格全面支持 Confluent 的商业化能力及解决方案。通过与 Confluent团队联合提供的技术支持国内企业将在阿里云上使用 Confluent 服务。
点击阅读原文ApsaraMQ Serverless 资源包抢先了解
