网站开发后端有哪些,网页版淘宝网登录入口,找培训机构的网站,公司做网站的费用记到哪个科目3 月 9 日#xff0c;“AutoMQ x 阿里云云原生创新论坛”在阿里巴巴西溪园区圆满落幕。本次论坛现场不仅重磅发布了新一代云原生 Kafka 产品#xff08;AutoMQ On-Prem 版#xff09;#xff0c;还邀请了来自得物的稳定生产负责人分享 AutoMQ 在生产场景中的应用实践…3 月 9 日“AutoMQ x 阿里云云原生创新论坛”在阿里巴巴西溪园区圆满落幕。本次论坛现场不仅重磅发布了新一代云原生 Kafka 产品AutoMQ On-Prem 版还邀请了来自得物的稳定生产负责人分享 AutoMQ 在生产场景中的应用实践以及阿里云的资深专家为大家剖析多 AZ 块存储的原理。现场吸引了众多技术爱好者参加大家探讨氛围热烈。下面就让我们来回顾本次论坛的精彩内容。 活动现场照片 一、AutoMQ加速云原生创新助力大数据上云 AutoMQ 联合创始人 CEO 王小瑞老师带来了主题为《AutoMQ加速云原生创新助力大数据上云》的技术分享本次分享有以下几个核心观点Kafka 在数字化系统中具有举足轻重的生态地位但长期困囿于四大生产痛点 ● 云账单失控Kafka 消耗大量的计算、存储资源对于国外的云厂商还将收取跨 AZ 的复制流量费。对于企业来讲Kafka 的 IT 成本占比越来越高。 ● 扩缩容复杂度高 扩容 Kafka 集群风险极高需要以复制的形式迁移分区带来极高的稳定性风险。 ● 冷读抢占 IOPS 和网络带宽 业务正常的数据回放需求将抢占宝贵的带宽和磁盘资源影响数据写入的实时性。 ● 多租户带来的“近邻干扰”问题 因缺乏弹性能力企业往往通过多应用共享 Kafka 集群缓解成本问题但随之带来了多租户共享下的一些「近邻干扰」问题。
诞生于 13 年前的 Kafka 是面向物理硬件设计的与今天的云计算环境格格不入
在 IDC 环境有着单机算力有限通过预算制购买机器的鲜明特征意味着计算资源很难水平或者垂直弹性同时受到存算一体的局限性Kafka 采用了经典的 Shared-Nothing 架构以提高在 IDC 环境的可扩展性。但今天在云上算力几乎无限通过 API 按需创建计算资源存储按量付费同时存算天然分离这些特征显著区别于 IDC 环境。
云服务将逐渐演进为多云原生架构云托管Cloud-Hosted类型的云服务即将被淘汰
在互联网高速发展的时代云计算厂商为了满足互联网企业的快速上云、弹性的需求以最快的速度提供了一批「Cloud-Hosted」的云服务帮助企业以 Rehost 的方式快速上云。以成本换效率的上云方式需要高速发展的业务来支撑在今天降本的大环境下以云原生甚至多云原生重新设计的云服务相较于「Cloud-Hosted」的云服务将在弹性、成本、容量、效率等各方面有数量级的优势云托管Cloud-Hosted类型的云服务即将被淘汰。
AutoMQ 全面的云原生技术栈为 Kafka 带来了 10 倍的成本优势和百倍的效率提升
AutoMQ 的云原生架构是一个将云的能力发挥到极致的架构首先通过将存储层完全替换为云原生存储利用对象存储和 EBS 加速提供了低延迟、高吞吐、低成本和容量无限的流存储服务。然后受益于几乎无状态的云原生存储计算节点可以充分利用 Serverless 技术按需使用计算资源同时能撬动 Spot 实例带来的进一步降本。AutoMQ 创新的云原生架构达到了 10 倍的成本优化百倍的弹性效率提升100%兼容性认证等优势。 AutoMQ 联合创始人 CEO 王小瑞介绍 AutoMQ 产品
二、阿里云 x AutoMQ 联合发布新一代云原生 Kafka
活动现场阿里云产品生态发展部总经理赵林与 AutoMQ 联合创始人 CEO 王小瑞联合发布了“新一代云原生 Kafka”。该产品以计算巢的方式正式入驻了阿里云云市场感兴趣的企业可以一键生产云原生的 Kafka 集群https://market.aliyun.com/prod**ucts/55530001/cmgj00064902.html 在随后的演讲中赵林非常相信 AutoMQ 背后的技术团队凭借在消息中间件领域多年的积累一定能为企业带来极具竞争力的新一代云原生中间件。同时针对近期上云下云的一些观点争论赵林也给出了自己的看法“阿里云拥有专业的存储、优秀的 ISV 和互联网客户。对于企业来说更多地利用云服务是明智之选。” 作为产品生态发展部的总经理赵林鼓励更多的创业厂商基于云去构建更有竞争力的 PaaS 和 SaaS 产品阿里云会大力支持类似 AutoMQ 这样的企业在云上发展和迭代。“阿里云是非常开放的站在生态的角度我们鼓励竞争希望基于阿里云基础设施的产品能够繁荣发展。” 阿里云产品生态发展部总经理赵林发表合作感言 最后AutoMQ 联合创始人 CEO 王小瑞揭晓了产品价格他表示云技术应该普惠价格应像水电煤一样便宜。阿里云近期大幅降价AutoMQ 充分利用云原生基础设施优势相比友商账单下降 50% 以下并以 7 折价格服务新客户提供专业支持。 未来AutoMQ 与阿里云一起为企业向云原生架构演进提供全方位能力支撑落地更多普适化行业解决方案服务更多的客户 阿里云 x AutoMQ 联合发布新一代云原生 Kafka
三、得物基于 AutoMQ 构建万亿级监控体系有效压缩 85% 的云支出
得物稳定生产负责人郝豪老师首先分享了得物 SLA 从业界第四梯队做到持续业界第一梯队的历程郝豪分享的经验引起了现场同学的共鸣。
坚持技术创新
这可能是得物能快速将 SLA 做到业界领先的原因得物构建了端到端的可观测体系推广蓝绿发布/同城双活架构建设混沌工程基础设施一直在坚持探索稳定性领域的先进技术。
聪明人一起下笨功夫
稳定性有其高大上的一面也有需要埋头苦干的另一面聪明人一起坚持做一件事情可能是得物稳定性的内涵郝豪提到他在业务场景的治理上告警规则的梳理上持续做了 3 年从 21 年到 23 年持续在投入每一年都有不同的方向和目标。提到 Kafka 在得物稳定性的应用场景郝豪分享了在 23 年的双十一因 Kafka 在高峰期间无法扩容导致部分 Trace 相关的产品化能力被降级。同时得物的业务一直处于快速发展基本上每隔 3 个月数据就有很大的增长也导致 Kafka 集群每隔 3 个月就需要扩容一次每次扩容得折腾好几天非常痛苦。为了应对突发的流量洪峰快速扩缩容得物在 23 年下半年的时候开始评估 AutoMQ讲到这里郝豪分享了得物引入 AutoMQ 的期望和一些思考。
要降本增效不仅要降本还要把业务的稳定性提高一个级别
引入 AutoMQ 是为了达到降本增效的目标但企业对降本增效的理解不能片面化首先如果企业降本把“效果”降下去了那省下的成本会对业务带来更大的损伤这对得物来讲是完全不能接受的。其次降本要有数量级的差异如果说只降低 10% 或者 20%用一些传统的手段就能达到比如缩短数据的生命周期优化编解码等但要做到数量级的降本需要从架构上优化整个链路。
选择 AutoMQ还有人效的考虑得物不可能投入人力进行无效调研
这也反映了郝豪的工程师哲学当一个新物种出现时如何进行选型。郝豪有两个观点 ● 新的技术方案不能破坏现有业务的兼容性要做到上层透明无感知。 ● 技术方案不能过于复杂要简单易于理解得物没有办法投入大量人力去熟悉一个复杂的系统。AutoMQ 100% Kafka 兼容的存算分离架构以及将复杂度用云原生的方式进行卸载这些理念正好符合得物的选型标准。最终得物引入了 AutoMQ以降低成本、提高系统稳定性和运维效率。通过对新系统特性的观察和分析AutoMQ 匹配他们系统需求并决定尝试引入并持续改进。当在场的观众问到云计算到底为得物带来了什么核心价值郝豪老师的观点幽默却也引人深思。
得物是阿里云上一个典型的互联网客户对云的压榨还不够狠没有像 AutoMQ 那样将云用到极致 得物稳定生产负责人郝豪老师分享AutoMQ 在生产场景中的应用实践 四、云上企业级块存储的技术与最佳实践
在论坛的最后阿里云高级技术专家张乐和存储产品专家陶毅进行了压轴分享介绍了 ESSD 产品技术体系ESSD 虽然以块设备的形式提供使用但区别于本地盘ESSD 已经是具备 99.995% 可用性和 12 个 9 持久性的云存储服务。除了在业务连续性、性能表现和业务便捷性等维度有显著提升外ESSD 还提供了大量的产品化能力包括 ● 容灾多活能力以异步复制和同城冗余两种机制满足不同业务场景的容灾需求。 ● 灵活的快照策略同时满足一致性要求且无损 IO 性能还具备跨区域复制等产品能力。 ● 多维度的弹性和共享能力支持空间和性能的弹性扩容以及 NVMe 共享访问在一写多读和多写多读都有应用场景。 不难发现ESSD 相较于本地盘是硬件和服务的区别应用程序依赖 ESSD 提供的产品化能力完全能构建满足多种业务场景的存储服务提供差异化的可靠性、成本、以及容灾指标。
最后张乐预告了阿里云即将发布的 Regional ESSD 产品系列该产品基于盘古多 AZ 同城冗余数据分布和一致性读写技术能容忍 AZ 级故障。同时支持 Region 内 VM 跨可用区挂载以及多可用区 NVMe 共享挂载。阿里云也是国内第一家支持 Regional 级别的块设备的云厂商。AutoMQ 也将基于 Regional ESSD 构建多 AZ 的云原生 Kafka 技术架构满足业务更高的可用性诉求。 阿里云的资深专家为大家剖析多 AZ 块存储的原理
现场精彩瞬间
现场技术爱好者们热情高涨积极参与互动与讲师们展开深入的讨论和交流。感谢大家的踊跃参与也期待更多小伙伴参与下次活动
资源分享
● 活动直播录屏在 AutoMQ B站和视频号发布
END 关于我们
我们来自 Apache RocketMQ 和 Linux LVS 项目的核心团队曾经见证并应对过消息队列基础设施在大型互联网公司和云计算公司的挑战。现在我们基于对象存储优先、存算分离、多云原生等技术理念重新设计并实现了 Apache Kafka 和 Apache RocketMQ带来高达 10 倍的成本优势和百倍的弹性效率提升。 GitHubhttps://github.com/AutoMQ/automq-for-kafka 官网https://www.automq.com B站AutoMQ官方账号 视频号AutoMQ 扫二维码加入我们的社区群 关注我们一起学习更多云原生技术干货
