慈溪网站建设公司,网站再就业技能培训班,wordpress 改相对路径,wordpress百度云cdn本文根据 2023 云栖大会演讲实录整理而成#xff0c;演讲信息如下#xff1a;
演讲人#xff1a;陈守元 | 阿里云计算平台事业部开源大数据产品总监
演讲主题#xff1a;阿里云开源大数据产品年度发布
随着云计算的不断发展#xff0c;未来数据处理和应用的趋势将围绕C…本文根据 2023 云栖大会演讲实录整理而成演讲信息如下
演讲人陈守元 | 阿里云计算平台事业部开源大数据产品总监
演讲主题阿里云开源大数据产品年度发布
随着云计算的不断发展未来数据处理和应用的趋势将围绕Cloud Native、Severless和DataAI展开。其中云原生架构已成为主流趋势因为它可以提高数据处理和应用程序的可伸缩性和灵活性支持大规模部署和更快的响应时间。同时Serverless作为一种新型计算模式可以提高处理效率、降低运营成本并减少资源浪费其独特的特点使得其成为处理大规模数据的理想选择。此外Data与AI融合正在快速发展不断提高智能化和自动化程度同时需要高质量的数据来支撑算法的准确性和有效性。 EMR面向下一代湖仓和全面Serverless化
下面进入产品发布环节我们将围绕上面三个点 做哪些事情、有哪些发布更好地服务用户上云 来讲述我们产品的重点发布。 首先我们来看EMR。EMR 是一个云原生开源大数据平台系统。对于 EMR 而言线下IDC 大量基于开源 Hadoop生态构建的线下用户搬站上云第一站就会选择EMR因为改造代价特别地小几乎可以无缝平迁上云。这对用户来说是具有巨大的人力资本和机器资本的节省。 我们将阿里云EMR 定位为 用户搬站上云的第一站。
今年我们的产品矩阵做了升级我们希望在云上基于更多样化的 IaaS 提供多样化的 EMR 产品形态。EMR 通用版核心解决的用户问题就是帮助用户的大数据系统平迁上云这也是和用户线下部署兼容度最高的方案。第二个是 EMR 容器版即 EMR ACK 版。现在 IT 基础设施的云原生容器化基本上都深入人心我们大量客户在云上基于 IT 系统的构建都会选择容器化的平台例如阿里云的 ACK。用户自然而然会联想到如何把Data 和 AI 的 workload 迁移到IT 基础设施的同一个集群里完成DataAI 的负载 与 IT 设施负载混用EMR 容器版或者说 EMR onACK 就是帮用户解决这类问题的产品。
最后也是我们今天想强调的重点就是 EMR Serverless 版。对于 EMR Serverless 子产品线而言内部有些feature 或者功能 在之前云栖中已做了发布。今天对于 EMR Serverless 产品线是一个更加完整的矩阵呈现今天会重点讲一下 Serverless Spark、Serverless StrarRocks 两大主流 EMR 计算引擎的 Serverless 化今天也是我们正式对外提出一个完整的 EMR Serverless化的产品线矩阵。
EMR Serverless 版是 EMR 产品线形态中诞生最晚、发布最新的一代产品和技术其实 EMR 围绕 Serverless 的布局在一年前、两年前都在紧锣密鼓地进行。前面 OSS-HDFS、Serverless HDFS 这一块其实在去年、前年已有发布但是今年我们做了更多的尝试努力我们希望把 EMR 上面主流的大数据计算引擎、存储引擎、开发平台、元数据管理全都 Serverless 化只有这样方才能够更好地满足云原生用户更好地利用大数据。Serverless Spark更好地解决了湖仓场景下 Data ETL 的处理能力Serverless StrarRocks 更好地解决了湖仓场景下 Data analytic 能力Serverless HDFS 更好解决了湖仓场景下数据存储能力最后 EMR Stutio 帮助用户线下可以平迁体验上云让用户能够更好使用云上大数据基础设施同时还能免运维。所以EMR 今年从计算到存储到开发环境 几乎全部实现了 EMR 主力引擎和平台都能够做到 Serverless 化我们希望能够把整个大数据开发运维闭环从而进一步帮助云原生上的开发者更好地把大数据用起来。 下面仍然回到 EMR 主力场景 EMR通用版围绕湖仓场景做了大量更新。EMR 主力场景仍然围绕着湖仓处理围绕在湖仓计算、存储、运维、开发做了大量的更新。在计算层面我们核心还是降本提效IaaS 层适配了新的倚天 CPUPaaS 层做了 Native Spark RunTime这些都是从 IaaS 层和 PaaS 层更好地帮助用户降本提效。存储部分Serverless HDFS (同时也称之为 OSS-HDFS) 很早已有发布但是在这一年希望让Serverless HDFS 和 本地 HDFS 在使用层面给用户体验完全一致包括 在 文件性能、数据访问、源数据获取等方案 做到几乎完全一致。为上述目标我们因此做了大量有关系统性能优化 以及 系统安全性优化。我们的 Open 文件性能的提升、DU 访问源数据的提升这些都是今年的成果。 EMR 运维这主要体现在两个方面。在云上来说 EMR 能结合到云原生上面给用户创造比较大的平台价值就在于弹性今年我们做到大量的弹性优化。我们大量客户给我们反馈说 EMR 的平台弹性越来越稳定另外一个运维重点即 EMR Doctor我们希望通过 AI 的方式、自动化、智能化的运维平台方式帮助用户去解决开源大数据运维的问题。从社区开源大数据用户反馈来看开源大数据使用最大的、最痛的点就是系统运维。如何长期有效地保证我们的业务在云上健康地运行这是很多用户上云和云下使用开源大数据非常大的痛点EMR Doctor 就是解决这个问题。EMR 开发即 EMR Studio我们希望云原生 Serverless 化托管了我们的开发平台、调度平台帮助用户从线下的体验完全平迁到云上的一套体验。以上均是 EMR 围绕湖仓场景的重大更新。
最后仍然回到 EMR For AI我们每个产品都在拥抱积极的变化这里分为三部分EMR DataScience、EMR Doctor、EMRDataWorks 的 Code Pilot。EMR DataScience 是在 EMR 的容器版里面我们提供了一个新的集群叫 EMR DataScience里面内置了不少 AI 最流行的组件包括 Pytorch、TF。我们希望用户在一个平台上既能够处理大数据同时还能够云原生地处理 AI 的工具这是 EMR DataScience 帮助用户做的相关工作。EMR Doctor这个工作前面提到希望用 AI 化、智能化的方式帮助用户实现 AIOps能够用自动化的手段定位问题、诊断问题、及早发现问题。EMRDataworks今年DataWorks重磅的发布就是 code pilot 的发布但是那上面作为一个平台实际上底下也对接了 EMR 等等正好实际上 code pilot 也是平台引擎无关的Feature可以生成 EMR 里面的 HIVE 代码用户就可以用 DataWorks 上面开发平台能够通过自然语言生成 MaxCompute 的 SQL能够操作业务这样能够极大地减少用户开发代码的成本这在 DataWorks 对外提供公测的时候欢迎去试用一下。
Flink Streaming Lakehouse新一代的流式湖仓新方案
下面我们看一下 Flink Streaming Lakehouse。Lakehouse 这个概念其实在前几年很火原因就是对于一个 Lakehouse 的系统来说既兼具了 Data Warehouse 的严谨包括ACID、版本的管理、数据格式的校验等等同时它还有 Data Lake 的灵活性能够放很多大量非结构化的文本包括图片、视频、音频、图像等等。而 Lakehouse 同时能够承载结构化的数据和非结构化的数据这对用户来说是非常好的 AI 和大数据融合的底层存储方案。但是我们看 Lakehouse 的过程中发现 Lakehouse 在时效性方面有非常大的问题Flink 核心使命和价值就在帮助我们的客户解决大数据实时化转型和升级。所以Flink 社区 和 我们 一起发布了 Streaming Lakehouse 方案。 回到Streaming Lakehouse 我主要从产品方向 讲三个场景要点。前面已经提到Lakehouse 在 AI 时代下 Lakehouse 的方案会越来越重要因为它既能存储结构化的数据又能存储非阶段的数据这个是大数据和 AI 一体化存储的重要承载点。但是 Lakehouse 在实践的过程中仍然遇到时效性的问题整个 Lakehouse 的 Data Pipeline 串联起来可能达到小时级别的延迟从最开始的数据进入到数据价值的发挥比如 BI、AI能够看到整个数据链路到小时级别这其实对于用户来说要构建一个实时湖仓面临很大的延迟。所以 Flink 希望一起帮助用户做到 Lakehouse 的实时化通过流式、实时帮助用户做很大的提升。
最后是 Unified其实 Flink 社区在前几年一直主打 Unified Batch Streaming。我们希望在计算层面做到融合就是流批一体。我们在开源社区推广流批一体的方案时发现如果用户只是计算层面的融合对于用户只能解决一半的问题。还有一半问题在于存储存储仍然是两套的存储方案两套存储和两套数据因此会导致的离线和实时的数据不一致性对于用户来说是非常大的问题所以 Flink 团队和社区一起构建了 Paimon。Paimon 基于底层的分布式文件系统比如说 OSS 会构建一个 Unified 的 storage既可以做流也可以做批我们称之为批流一体的存储。所以 FlinkPaimon 构成 Lakehouse 的方案既具备 Unified 的 process也可以具备 Unified 的 Storage这一层合并在一起能够真正完整地帮助用户实现流批一体的解决方案。这是我们 Streaming Lakehouse 的价值点最终我们希望帮助用户在 DataAI 时代下提供实时化、流式化和 Serverless 化的湖仓方案。
回到 Flink 主线我们一直以来的使命就是希望帮助用户做到大数据的升级和转型所以追求实时场景下的性价比一直是 Flink 团队一直以来努力的方向。追求实时化的性价比今年有两个重要的点一个是Flink全面拥抱了倚天结合到倚天 整个实时计算 Flink 综合的性价比有 50%的提升这是Flink 团队结合IaaS 层面做了大量优化。同时在 PaaS 层 Flink 企业级内核 我们仍然在做大量优化这其中包括算子的优化以及未来我们会公布 native runtime 的优化。这部分优化相比于开源Flink引擎我们实时计算 Flink 版 会有两倍的提升特别是在吞吐部分可以解决很多用户高吞吐量或者大流量的实时计算场景。 Elasticsearch:Serverless 和 Search for Data AI
接下来讲一下 Elasticsearch这也是开源大数据很重要的组成部分。说到 Elasticsearch 可能大家更多仍然停留在比较早期 for data 的 search就是全文的检索类似于搜索引擎要做全文的检索。但今天我想告诉大家这个思想需要刷新一下Elasticsearch 不仅是 for data 的 search也是 for AI 的 search。我今天给大家重点会讲一下 ES 如何从 Data 转变成 DataAI 的 search 系统。
第一个是我们的 Elasticsearch 的版本发布。坦白地说当前产品形态即 ES on PaaS 的独立集群版本已经非常好地满足我们中国公有云和专有云客户很多的市场需求不少中大型公司都非常认可阿里云的 ES产品形态产品客户受众无论在基数以及未来增长都很不错。但实际上随着最近这一两年客户在降本提效上提上了日程之后发现有一批非常大的潜在客户以及中长尾的客户其实仍然对云上的独立集群版本所带来的成本仍然认为是比较大的上云入门门槛。他们非常希望以低门槛甚至零门槛的方式开启云上的 ES这就是我们 ES Serverless 要做的初衷我们希望以一个零门槛的方式能够帮助用户开启云上 Elasticsearch 的使用。 同时 Elasticsearch Serverless 也是我们国内首家支持通用场景的 ES 版本。去年我们也发布了一个 Elasticsearch Serverless版本但更多解决日志 ELK 场景的需求。但是该版本在数据一致性上会存在问题所以今年我们进行大量的产品技术架构重构。本次 ES Serverless 的发布是一个面向通用场景的升级发布这里面不仅支持包括日志场景还支持订单、金融等等场景这里面的数据一致性都可以得到很好的保障。这是我们今年发布相比于去年发布升级很不一样的点。针对 ES Serverless 可以真正按量付费、秒级弹性、简单运维同时可以完全兼容开源的 ES这是很多其他的厂商不一定能做到的。
下面重点强调 ES for AI 和 Data 的部分标志着 ES 真正从 Data 面向 DataAI 的搜索引擎。云栖会场外面有很大的广告栏主打的是 ESRE 的发布这是 ES 公司重大的发布。发布的核心简单跟大家说一下就是支持 AI 相关检索包括向量检索包括多路并规的查询优化这些东西都是在 ES 内核重点打的点帮助用户做 AI 检索。阿里云ES 围绕着 ES 最新的 AI 能力进行了大量方案集成就是右边的增强方案。我们跟达摩院 AI 方案做联合和 PAI—EAS 方案联合甚至会和社区一起做更多的联合方案这些方案能够帮助我们的用户更好地在云上用上阿里云、达摩院 AI 的技术和社区的 ES 更好地结合起来。所以我们希望通过 ES8.9 这个版本能够帮助用户构建下一代面向 DataAI 的检索系统。 围绕 ES 自研能力的升级阿里云 ES 是和 ES 公司一起合作也是基于开源的 ES 做更多的优化孵化其实是完全基于开源也是完全兼容开源的我们做了大量的增强。而这里面做了三个升级包括场景的升级也就是日志场景向通用场景的升级和改造。去年 ES 更多是做日志场景、ELK 场景今年的 ES Serverless 面向通用场景进行完全开放。另外就是有关搜索内核引擎的优化包括读写分离、存算分离这些更好地解决集群稳定性问题、成本流控问题、资源弹性的问题。最后我们在购买链路和相关控制台上做了比较大的体验升级我们非常推荐大家去用一用阿里云 ES Serverless 版本感受一下完全 Serverless 化的 ES。
MilvusAI时代的搜索引擎
今天最后一个也是今年完全新的产品。前面全部是我们现有的功能、现有产品线的叠加Milvus 这部分是我们今年要发布的 AI 时代新的搜索引擎。目前在向量检索部分Milvus几乎是全球最火、最亮眼的技术。我们会在12月份开启向量检索 Milvus 版本对外测试相比于开源的 Milvus 来说会做相应产品企业级的增强。同时在兼容开源的 Milvus 之上我们还会去结合达摩院的技术能够提供更好的企业级向量检索能力。同时在云上肯定会做大量的产品联合工作包括和我们的存储上有大量非结构化的数据可供用户检索查询。同时我们会跟 PAI 平台、达摩院 AI 模型做更多的深度集成做 AI 向量检索能力、做大模型向量支撑这些方案未来都会在我们的产品之上构建。所以我们最终是希望能够帮助云上使用 Milvus 的用户更快、更方便、更低门槛构建 AI 时代下的搜索系统。 回顾一下我们讲了大数据的三个趋势。Cloud Native整个 IT 投资都在往云上加速转型。Serverless 化我们认为未来的 PaaS 平台最终全部都会归到 Serverless 化所有 AI 产品、大数据产品和其他 PaaS 产品都会归到 Serverless 化。最后是 DataAI未来 AI 和大数据会做彻底的融合打通这也是我们整个开源大数据一直以来在积极围绕这三个点做布局。
最后希望大家多多关注阿里云关注阿里云的开源大数据谢谢大家
