济南网站建设流程,做ppt的网站兼职,软件开发需要学什么,苏州企业名录黄页1、架构 2、应用场景 Flink 功能强大#xff0c;支持开发和运行多种不同种类的应用程序。它的主要特性包括#xff1a;批流一体化、精密的状态管理、事件时间支持以及精确一次的状态一致性保障等。在启用高可用选项的情况下#xff0c;它不存在单点失效问题。事实证明#…1、架构 2、应用场景 Flink 功能强大支持开发和运行多种不同种类的应用程序。它的主要特性包括批流一体化、精密的状态管理、事件时间支持以及精确一次的状态一致性保障等。在启用高可用选项的情况下它不存在单点失效问题。事实证明Flink 已经可以扩展到数千核心其状态可以达到 TB 级别且仍能保持高吞吐、低延迟的特性。世界各地有很多要求严苛的流处理应用都运行在 Flink 之上。 核心点 1、高吞吐低延迟 2、结果的准确性 3、精确一次的状态一致性保证 4、高可用支持动态扩展 事件驱动型应用 什么是事件驱动型应用 事件驱动型应用是一类具有状态的应用它从一个或多个事件流提取数据并根据到来的事件触发计算、状态更新或其他外部动作。
事件驱动型应用是在计算存储分离的传统应用基础上进化而来。在传统架构中应用需要读写远程事务型数据库。
相反事件驱动型应用是基于状态化流处理来完成数据和计算不会分离应用只需访问本地内存或磁盘即可获取数据。系统容错性的实现依赖于定期向远程持久化存储写入 checkpoint。下图描述了传统应用和事件驱动型应用架构的区别。 事件驱动型应用的优势 事件驱动型应用无须查询远程数据库本地数据访问使得它具有更高的吞吐和更低的延迟。而由于定期向远程持久化存储的 checkpoint 工作可以异步、增量式完成因此对于正常事件处理的影响甚微。事件驱动型应用的优势不仅限于本地数据访问。传统分层架构下通常多个应用会共享同一个数据库因而任何对数据库自身的更改例如由应用更新或服务扩容导致数据布局发生改变都需要谨慎协调。反观事件驱动型应用由于只需考虑自身数据因此在更改数据表示或服务扩容时所需的协调工作将大大减少。 核心点 1、定期向远程持久化存储的 checkpoint 可以异步、增量式完成 对正常事件处理影响甚微 2、传统分层架构下通常多个应用会共享同一个数据库 需考虑数据安全。 3、事件驱动型应用 只需考虑自身数据在更改数据或服务扩容时所需的协调工作将大大减少
Flink 如何支持事件驱动型应用 事件驱动型应用会受制于底层流处理系统对时间和状态的把控能力Flink 诸多优秀特质都是围绕这些方面来设计的。它提供了一系列丰富的状态操作原语允许以精确一次的一致性语义合并海量规模TB 级别的状态数据。此外Flink 还支持事件时间和自由度极高的定制化窗口逻辑而且它内置的 ProcessFunction 支持细粒度时间控制方便实现一些高级业务逻辑。同时Flink 还拥有一个复杂事件处理CEP类库可以用来检测数据流中的模式。
Flink 中针对事件驱动应用的明星特性当属 savepoint。Savepoint 是一个一致性的状态映像它可以用来初始化任意状态兼容的应用。在完成一次 savepoint 后即可放心对应用升级或扩容还可以启动多个版本的应用来完成 A/B 测试。 核心点 1、允许以精确一次的一致性语义合并海量规模TB 级别的状态数据。 2、支持事件时间和自由度极高的定制化窗口逻辑内置 ProcessFunction 支持细粒度时间控制。 3、Savepoint 是一个一致性的状态映像完成一次 savepoint 后即可放心对应用升级或扩容。
数据分析应用 什么是数据分析应用 数据分析任务需要从原始数据中提取有价值的信息和指标。传统的分析方式通常是利用批查询或将事件记录下来并基于此有限数据集构建应用来完成。为了得到最新数据的分析结果必须先将它们加入分析数据集并重新执行查询或运行应用随后将结果写入存储系统或生成报告。
借助一些先进的流处理引擎还可以实时地进行数据分析。和传统模式下读取有限数据集不同流式查询或应用会接入实时事件流并随着事件消费持续产生和更新结果。这些结果数据可能会写入外部数据库系统或以内部状态的形式维护。仪表展示应用可以相应地从外部数据库读取数据或直接查询应用的内部状态。 核心点 1、传统方式通过批处理方式从原始数据提取有用的信息生成报表。 2、流式查询或应用会接入实时事件流并随着事件消费持续产生和更新结果。
如下图所示Apache Flink 同时支持流式及批量分析应用。 流式分析应用的优势 和批量分析相比由于流式分析省掉了周期性的数据导入和查询过程因此从事件中获取指标的延迟更低。不仅如此批量查询必须处理那些由定期导入和输入有界性导致的人工数据边界而流式查询则无须考虑该问题。 另一方面流式分析会简化应用抽象。批量查询的流水线通常由多个独立部件组成需要周期性地调度提取数据和执行查询。如此复杂的流水线操作起来并不容易一旦某个组件出错将会影响流水线的后续步骤。而流式分析应用整体运行在 Flink 之类的高端流处理系统之上涵盖了从数据接入到连续结果计算的所有步骤因此可以依赖底层引擎提供的故障恢复机制。
Flink 如何支持数据分析类应用 Flink 为持续流式分析和批量分析都提供了良好的支持。具体而言它内置了一个符合 ANSI 标准的 SQL 接口将批、流查询的语义统一起来。无论是在记录事件的静态数据集上还是实时事件流上相同 SQL 查询都会得到一致的结果。同时 Flink 还支持丰富的用户自定义函数允许在 SQL 中执行定制化代码。如果还需进一步定制逻辑可以利用 Flink DataStream API 和 DataSet API 进行更低层次的控制。此外Flink 的 Gelly 库为基于批量数据集的大规模高性能图分析提供了算法和构建模块支持。
数据管道应用 什么是数据管道 提取-转换-加载ETL是一种在存储系统之间进行数据转换和迁移的常用方法。ETL 作业通常会周期性地触发将数据从事务型数据库拷贝到分析型数据库或数据仓库。
数据管道和 ETL 作业的用途相似都可以转换、丰富数据并将其从某个存储系统移动到另一个。但数据管道是以持续流模式运行而非周期性触发。因此它支持从一个不断生成数据的源头读取记录并将它们以低延迟移动到终点。例如数据管道可以用来监控文件系统目录中的新文件并将其数据写入事件日志另一个应用可能会将事件流物化到数据库或增量构建和优化查询索引。
下图描述了周期性 ETL 作业和持续数据管道的差异。 数据管道的优势 和周期性 ETL 作业相比持续数据管道可以明显降低将数据移动到目的端的延迟。此外由于它能够持续消费和发送数据因此用途更广支持用例更多。
Flink 如何支持数据管道应用 很多常见的数据转换和增强操作可以利用 Flink 的 SQL 接口或 Table API及用户自定义函数解决。如果数据管道有更高级的需求可以选择更通用的 DataStream API 来实现。Flink 为多种数据存储系统如Kafka、Kinesis、Elasticsearch、JDBC数据库系统等内置了连接器。同时它还提供了文件系统的连续型数据源及数据汇可用来监控目录变化和以时间分区的方式写入文件。
分层 API Flink 根据抽象程度分层提供了三种不同的 API。每一种 API 在简洁性和表达力上有着不同的侧重并且针对不同的应用场景。 1、越顶层的抽象表达含义越简明使用越方便 。 2、越底层越具体表达能力越丰富使用越灵活。 Flink VS Spark 数据模型
spark 采用 RDD 模型Spark Streaming 的 DStream 实际上也就是一组组小批数据RDD的集合。
flink 的基本数据模型是数据流以及时间序列。 运行时架构
spark是批计算将DAG划分为不同的Stage一个完成后才可以计算下一个。
flink是标准的流执行模式一个事件在一个节点处理完后可以直接发往下一个节点进行处理。
