做网站服务器需要系统,网站建设可以用什么语言,厦门网红打卡地,产品设计平台有哪些一、核心组件
1. Driver
Spark 驱动器节点#xff0c;用于执行 Spark 任务中的 main 方法#xff0c;负责实际代码的执行工作主要负责#xff1a; 将用户程序转化为作业 (job)在 Executor 之间调度任务 (task)跟踪 Executor 的执行情况通过 UI 展示查询运行情况
2. Exec…一、核心组件
1. Driver
Spark 驱动器节点用于执行 Spark 任务中的 main 方法负责实际代码的执行工作主要负责 将用户程序转化为作业 (job)在 Executor 之间调度任务 (task)跟踪 Executor 的执行情况通过 UI 展示查询运行情况
2. Executor
Executor 是集群中工作节点Worker中的一个 JVM 进程负责在 Spark 作业中运行具体任务Task任务彼此之间相互独立Spark 应用启动时Executor 节点被同时启动并且始终伴随着整个 Spark 应用的生命周期而存在。如果有 Executor 节点发生了故障或崩溃 Spark 应用也可以继续执行会将出错节点上的任务调度到其他 Executor 节点上继续运行Executor 有两个核心功能 负责运行组成 Spark 应用的任务并将结果返回给 Driver通过自身的块管理器Block Manager为用户程序中要求缓存的 RDD 提供内存式存储。RDD 是直接缓存在 Executor 进程内的因此任务可以在运行时充分利用缓存数据加速运算
3. Master
Master 是 Standalone 环境中的核心组件之一主要负责资源的调度和分配并进行集群的监控等职责类似于 Yarn 环境中的 RM
4. Worker
Worker 是 Standalone 环境中的核心组件之一一个 Worker 运行在集群中的一台服务器上由 Master 分配资源对数据进行并行的处理和计算类似于 Yarn 环境中 NM
5. ApplicationMaster
ApplicationMaster用于向资源调度器申请执行任务的资源容器 Container运行用户自己的程序任务 job监控整个任务的执行跟踪整个任务的状态处理任务失败等异常情况Master/ResourceManager资源和 Driver计算之间依靠 ApplicationMaster 解耦合
二、核心概念
1. Executor参数
参数名称说明–num-executors配置 Executor 的数量–executor-memory配置每个 Executor 的内存大小–executor-cores配置每个 Executor 的虚拟 CPU Core 数量
2. 并行度 Parallelism 整个集群并行执行任务的数量称之为并行度区别于并发并行是真正同时执行的进程
3. 有向无环图 DAGDirected Acyclic Graph有向无环图是由点和线组成的拓扑图形该图形具有方向不会闭环 有向无环图是由 Spark 程序直接映射成的数据流的高级抽象模型。就是将整个程序计算的执行过程和任务的调度用图形表示出来可以用于表示程序的拓扑结构
三、Spark 任务提交流程 四、Yarn 的两种部署模式 两种模式主要区别在于Driver 程序的运行节点位置 1. Client 模式 Client 模式将用于监控和调度的 Driver 模块在客户端执行而不是在 Yarn 中所以一般用于测试 Driver 在任务提交的本地机器上运行Driver 启动后会和 ResourceManager 通讯申请启动 ApplicationMasterResourceManager 分配 Container在合适的 NodeManager 上启动 ApplicationMaster负责向 ResourceManager 申请 Executor 内存ResourceManager 接到 ApplicationMaster 的资源申请后会分配 container然后 ApplicationMaster 在资源分配指定的 NodeManager 上启动 Executor 进程Executor 进程启动后会向 Driver 反向注册Executor 全部注册完成后 Driver 开始执行 main 函数之后执行到 Action 算子时触发一个 Job并根据宽依赖开始划分 stage每个 stage 生成对应的 TaskSet之后将 task 分发到各个 Executor 上执行
2. Cluster 模式 Cluster 模式将用于监控和调度的 Driver 模块启动在 Yarn 集群资源中执行。一般应用于实际生产环境 在 Yarn Cluster 模式下任务提交后会和 ResourceManager 通讯申请启动 ApplicationMaster随后 ResourceManager 分配 Container在合适的 NodeManager 上启动 ApplicationMaster此时的 ApplicationMaster 就是 DriverDriver 启动后向 ResourceManager 申请 Executor 内存ResourceManager 接到 ApplicationMaster 的资源申请后会分配 Container然后在合适的 NodeManager 上启动Executor 进程Executor 进程启动后会向 Driver 反向注册Executor 全部注册完成后 Driver 开始执行 main 函数之后执行到 Action 算子时触发一个 Job并根据宽依赖开始划分 stage每个 stage 生成对应的 TaskSet之后将 task 分发到各个 Executor 上执行
