浅谈网站建设,无锡做网站的公司,上海旅游网站建设情况,深圳网站制作07551业务场景#xff1a;
Flink On Yarn任务启动
组件版本#xff1a;
CDH#xff1a;6.3.2 Flink#xff1a;1.13.2 Hadoop#xff1a;3.0.0
问题描述#xff1a;
在使用FLink on Yarn调度过程中#xff0c;发现taskmanager总是分配在集中的几个节点上#xff0c;集群…业务场景
Flink On Yarn任务启动
组件版本
CDH6.3.2 Flink1.13.2 Hadoop3.0.0
问题描述
在使用FLink on Yarn调度过程中发现taskmanager总是分配在集中的几个节点上集群有11个节点但每个任务启动只用到两三个节点导致这几台服务器负载过高其他节点又比较空闲。
先介绍yarn的两个参数
1、yarn.scheduler.fair.assignmultiple 2、yarn.scheduler.fair.max.assign 第一个参数代表是否在一个节点分配多个container第二个参数代表在一个节点上一次性最多分配几个container。 CDH6.3.0中第一个参数默认为true则意味着会在一个节点上分配多个container则会有多个taskmanager。 第二个参数默认为-1则意味着不限制则会一次性分配较多container。
问题解决
第一种将yarn.scheduler.fair.assignmultiple改为false 第二种yarn.scheduler.fair.assignmultiple为true将yarn.scheduler.fair.max.assign指定较小数值
特别感谢博文https://blog.csdn.net/csdn_chshuai/article/details/124275371
