怎么用网网站模板做网站,怎么查看网站的域名,机械设备行业网站建设,wordpress双栏Flink 任务提交模式
Flink可以基于多种模式部署#xff1a;基于Standalone 部署模式#xff0c;基于Yarn部署模式#xff0c;基于Kubernetes部署模式以上不同集群部署模式下提交Flink任务会涉及申请资源#xff0c;各角色交互过程#xff0c;不同模式申请资源涉及到的角色…Flink 任务提交模式
Flink可以基于多种模式部署基于Standalone 部署模式基于Yarn部署模式基于Kubernetes部署模式以上不同集群部署模式下提交Flink任务会涉及申请资源各角色交互过程不同模式申请资源涉及到的角色大体相同只是不同Flink集群部署模式支持的任务提交模式不同对应流程略有不同有如下三种 会话模式 - Session Mode单作业模式 - Per-Job Mode过时应用模式 - Application Mode 以上三种任务提交模式主要区别在于Flink集群生命周期不同资源分配方式不同以及Flink应用程序的main 方法执行位置Client客户端/JobManager不同
会话模式Session Mode
Session模式下我们首先会启动一个集群保持一个会话这个会话中通过客户端提交作业集群启动时所有资源都已经确认所以所有提交任务会竞争集群中的资源。这种模式适合单个作业规模小执行时间短的大量作业。 优势只需要一个集群所有作业提交后运行在一个集群所有任务共享集群资源每个任务执行完成后就释放资源。缺点因为集群资源是共享的所以资源不够了提交新的作业就会失败如果一个作业发生故障导致Taskmanager宕机那么所有作业都会受到影响。
单作业模式Per-Job Mode
为更好隔离资源而生Per-Job 模式是每提交一个作业启动一个集群集群只为这个作业而生这种模式下客户端运行应用程序然后启动集群作业被提交给JobManager然后分发给TaskManager执行作业执行完之后集群关闭所有资源释放 优势每个作业都有自己的JobManager管理独享当下左右集群资源就算作业发生故障对应TaskManager宕机也不影响其他作业如果一个Application 有多个Job组成那么每个Job都有自己独立的集群 缺点每个作业都在客户端享集群JobManager提交如果一个时间点大量提交Flink作业会造成客户端占有大量网络带宽会加重客户端所在节点的资源消耗。 注意Per-Job模式在Flink 1.15中已经弃用后续版本会剔除目前只有yarn支持。被Application 模式替代
应用模式Application Mod Session 模式 和 Pre-Job模式都是客户端将作业提交给JobManager这种方式需要占用大量网络带宽下载以来关系并且将二进制包发送给JobManager。在业务中经常需要提交多个Flink作业并且是在同一个客户端节点提交这样就更加加剧了客户端所在节点的资源消耗为了降低客户端这种资源消耗我们可以使用Application Mode Application 模式与Per-job类似只是不需要客户端每个Application提交之后都启动一个JobManager也就是创建一个集群这个JobManager只为执行这一个Flink Application而存在Application中的多个Job都会共用该集群 Application执行结束之后JobManager也就关闭了。这种模式下一个Application会动态创建自己的专属集群JobManager所有任务共享该集群不同Application之间是完全隔离的在生产环境中建议使用Application模式提交任务。 以上三种Flink 任务部署方式生产环境优先用Application 模式三者区别如下
Session模式现有Flink集群后在提交任务任务在客户端提交运行提交的多个作业共享Flink集群Per-Job 模式和Application模式都是提交Flink任务后创建集群Per-Job模式通过客户端提交Flink任务每个Flink任务对应一个Flink集群每个任务都有很好的资源隔离性Application模式是在JobManager 上执行main方法为每一个Flink的Application创建一个Flink集群如果Application油多个任务这些Flink任务共享一个集群。
