娱乐城网站建设,怎么免费做网站不要域名,昆山网站建设义搏,除了速卖通还有什么网站做外贸简介
YARN 的 Node-label 特性能够将不同的机器类型进行分组调度#xff0c;也可以根据不同的资源要求进行分区调度。运维人员可以根据节点的特性将其分为不同的分区来满足业务多维度的使用需求。YARN的Node-label功能将很好的试用于异构集群中#xff0c;可以更好地管理和调…简介
YARN 的 Node-label 特性能够将不同的机器类型进行分组调度也可以根据不同的资源要求进行分区调度。运维人员可以根据节点的特性将其分为不同的分区来满足业务多维度的使用需求。YARN的Node-label功能将很好的试用于异构集群中可以更好地管理和调度混合类型的应用程序。
开启Node-label
默认情况下系统时没有开启node label标签功能的可以在yarn-site.xml中修改下列配置来开启label特性。 !-- Yarn Node Labels --propertynameyarn.node-labels.enabled/namevaluetrue/value/propertypropertynameyarn.node-labels.manager-class/namevalueorg.apache.hadoop.yarn.server.resourcemanager.nodelabels.RMNodeLabelsManager/value/propertypropertynameyarn.node-labels.fs-store.root-dir/namevaluehdfs://cdp-cluster/yarn/node-labels/valuedescription标签数据在HDFS上的存储位置/description/property设置这个HDFS的Node-labels存储目录是因为label信息默认是保存在内存中的如果将label信息存于hdfs上重启resourcemanager之后label信息不会因此丢失。
配置步骤 先按上述要求修改yarn-site.xml并同步到集群各节点中然后重启resourcemanager节点
添加集群便签
yarn rmadmin -addToClusterNodeLabels label_1,label_2删除集群标签
bin/yarn rmadmin -removeFromClusterNodeLabels label_1,label_2添加节点标签
yarn rmadmin -replaceLabelsOnNode spark-31:45454,label_1
yarn rmadmin -replaceLabelsOnNode spark-32:45454,label_2
yarn rmadmin -replaceLabelsOnNode spark-33:45454,label_2# 或者下面这种方式
# yarn rmadmin -replaceLabelsOnNode spark-31label_1 spark-32label_2 spark-33label_2需一个一个添加节点较多时建议写成脚本执行
删除标签
yarn rmadmin -replaceLabelsOnNode spark-33
查看标签
yarn node -status spark-31:45454也可以通过Yarn管理页面查看Node Label node-label webUI 访问地址为 http://RM-Address:port/cluster/nodelabels
将节点标签与队列关联 1假设集群有8个节点前3个节点n1-n3具有节点标签 x后3个节点n4-n6具有节点标签 y最后2个节点n7n8没有任何节点标签每个节点可以运行10个容器。
2现在分配资源如下队列a可以访问节点标签x和y队列b只能访问节点标签y
3假设按这个需求去分配队列a占用x 100%占用y 50%占用没有标签的40%队列b占用y 50%占用x 0%占用没有标签的60%。
即a(无)40% b(无)60% 1 n7,n8
a(x)100% b(x)0 1 n1,n2,n3
a(y)50% b(y)50% 1 n4,n5,n6
(4)在3的基础上a队列有子队列a1,a2b队列只有b1子队列。
那么假设a1占用a(无)40%a(x)30%a(y)50%a2占用a(无)60%a(x)70a(y)50%
b1 占用b(无)100%占用b(y)100%。
则具体的资源划分为
a1
无标签的节点n7,n8可用资源为20(2个节点的总的容器) * a(无)40% * a1(无)40% 3.2 个(container) x标签节点n1,n2,n3可用资源为30 * a(x)100% * a1(x)30% 9 个(container) y标签节点n4,n5,n6可用资源为30 * a(y)50% * a1(y)50% 7.5 个(container) a2:
无标签的节点n7,n8可用资源为20(2个节点的总的容器) * a(无)40% * a2(无)60% 4.8 个(container) x标签节点n1,n2,n3可用资源为30 * a(x)100% * a1(x)70% 21 个(container) y标签节点n4,n5,n6可用资源为30 * a(y)50% * a1(y)50% 7.5 个(container) b1:
无标签的节点n7,n8可用资源为20(2个节点的总的容器) * b(无)60% * b1(无)100% 12 个(container) x标签节点n1,n2,n3可用资源为30 * b(x)0 0 个(container) y标签节点n4,n5,n6可用资源为30 * b(y)50% * b1(y)50% * b1(y)100% 15 个(container) 无3.24.81220
x92130;
y15 1530
