秦皇岛网站制作报价,网站关键词如何做,被黑的网站,wordpress多站批量发布场景 一个工厂有三个车间每个车间两条生产线 生产流程如下 原料-加工-过滤-分类-美化-包装-下线 JobManager#xff1a;工厂
在上述场景中#xff0c;工厂就是jobManager#xff0c;负责协调、调度和监控整个生产过程
TaskManager#xff1a;车间…场景 一个工厂有三个车间每个车间两条生产线 生产流程如下 原料-加工-过滤-分类-美化-包装-下线 JobManager工厂
在上述场景中工厂就是jobManager负责协调、调度和监控整个生产过程
TaskManager车间
在上述场景中车间就是taskManager按照工厂的分配进行生产所有的问题上报工厂
slot流水线
在上述场景中车间的流水线就是slot是工作台真正干活的地方每个车间有2个流水线3个车间也就是说这个工厂有6条流水线就是6个slot
Task工作
在上述场景中每一个任务都是一个task共计7个task
在代码中source.map.filter.groupby....每一个算子可以成为一个task
Parallelism并行度
同一个任务Task在6个工作台上都可以同时进行并行度可以设置为6
SubTask工作实例
在每个工作台上运行的相同任务相当于任务的实例也就是subTask
官方概念
jobmanager
Flink中的JobManager是整个Flink作业的主机控制节点负责协调、调度和监控整个作业的执行过程。JobManager有两种类型一个是执行图 JobGraph 的 JobManager另一个是执行宝贵资源的 ResourceManager。JobManager负责接收作业提交请求将作业转换为执行图JobGraph并将JobGraph提交给TaskManager执行。JobManager还负责故障恢复当TaskManager或JobManager发生错误时JobManager可以跟踪作业状态并计划故障恢复。此外JobManager还可以协调和分配集群资源并管理作业的执行策略和调度。
taskmanager
Flink中的TaskManager是Flink分布式计算框架的执行节点。一个Flink集群可以包含多个TaskManager每个TaskManager可以运行多个任务(Task)。
TaskManager的主要职责是
接收并处理来自JobManager的任务分配将任务划分成不同的子任务(Subtask)并分配到对应的线程池中执行管理和维护线程池包括线程的创建、销毁、线程的资源分配和管理等从上游的Task或Source中拉取数据并将数据发送给下游的Task或Sink。
TaskManager和JobManager之间通过RPC进行通信JobManager会将任务分配给TaskManager后TaskManager会根据任务的资源需求分配对应的资源并启动任务执行。如果TaskManager在执行任务期间发生故障JobManager会重新分配任务到其他TaskManager上以保证任务的正确执行。
Parallelism
指的是在Flink中并行处理数据的任务数。在Flink中每个任务都可以并行处理数据而并行度就是指这些任务的数量。在资源充足的情况下并行度越高处理数据的速度也就越快。
slot
在Flink中任务运行需要占用资源资源的抽象单位称为slot。每个slot包含一定数量的CPU和内存等资源。一个任务需要占用一个或多个slot才能运行。
task
在Flink中一个任务是指对应一个数据流操作的并行执行实体。任务可以是source任务、transformation任务或sink任务。
subtask
每个任务会被拆分成多个子任务这些子任务被称为subtask。每个subtask都只处理数据集中的一部分拆分成多个subtask后可以实现并行处理。
