办公室装修设计简约,优化seo方案,做网站全屏尺寸是多少钱,Ext做网站概述
阿里云 K8S 集群的一个重要特性#xff0c;是集群的节点可以动态的增加或减少有了这个特性#xff0c;集群才能在计算资源不足的情况下扩容新的节点#xff0c;同时也可以在资源利用 率降低的时候#xff0c;释放节点以节省费用理解实现原理#xff0c;在遇到问题的…概述
阿里云 K8S 集群的一个重要特性是集群的节点可以动态的增加或减少有了这个特性集群才能在计算资源不足的情况下扩容新的节点同时也可以在资源利用 率降低的时候释放节点以节省费用理解实现原理在遇到问题的时候我们就可以高效地排查并定位原因我们的讨论基于1.12.6 版本
节点增加原理
阿里云 K8S 集群可以给集群增加节点的方式有添加已有节点集群扩容和自动伸缩其中添加已有节点又可分为手动添加已有节点和自动添加已有节点节点的增加涉及到的组件有节点准备弹性伸缩ESS管控Cluster Autoscaler 以及调度器 手动添加已有节点
节点准备其实就是把一个普通的 ECS 实例安装配置成为一个 K8S 集群节点的过程这个过程仅靠一条命令就可以完成这条命令使用 curl 下载 attach_node.sh 脚本然后以 openapi token 为参数在 ECS 上运行curl http:///public/pkg/run/attach//attach_node.sh | bash -s – --openapi-token 这里 token 是一个对的 key而 value 是当前集群的基本信息阿里云 K8S集群的管控在接到手动添加已有节点请求的时候会生成这个对并把 key 作为token 返回给用户这个 tokenkey存在的价值是其可以让 attach_node.sh 脚本以匿名身份在 ECS 上索引到集群的基本信息value而这些基本信息对节点准备至关重要 总体上来说节点准备就做两件事情读和写读即数据收集写即节点配置 这里的读写过程绝大部分都很基础大家可以通过阅读脚本来了解细节唯一需要特别说明的是kubeadm join 把节点注册到 Master 的过程此过程需要新加节点和集群 Master 之间建立互信一边新加节点从管控处获取的 bootstrap token 与 openapi token 不同此token 是 value 的一部分内容实际上是管控通过可信的途径从集群 Master 上获取的新加节点使用这个 bootstrap token 连接 MasterMaster 则可通过验证这个 bootstrap token 来建立对新加节点的信任 另一边新加节点以匿名身份从 Master kube-public 命名空间中获取集群cluster-info cluster-info 包括集群 CA 证书和使用集群 bootstrap token 对这个 CA 做的签名新加节点使用从管控处获取的 bootstrap token对 CA 生成 b 新的签名然后将此签名与 cluster-info 内签名做对比如果两个签名一致则说明cluster-info 和 bootstrap token 来自同一集群新加节点因为信任管控所以建立对 Master 的信任 自动添加已有节点
自动添加已有节点不需要人为拷贝黏贴脚本到 ECS 命令行来完成节点准备的过程管控使用了 ECS userdata 的特性把类似以上节点准备的脚本写入ECS userdata然后重启 ECS 并更换系统盘。当 ECS 重启之后会自动执行 Userdata 里边的脚本来完成节点添加的过程。这部分内容大家其实可以通过查看节点 userdata 来确认
!/bin/bash
mkdir -p /var/log/acs
curl http:///public/pkg/run/attach/1.12.6-aliyun.1/attach_node.sh | bash
-s -- --docker-version --token --endpoint --cluster-dns /var/log/acs/init.log这里我们看到attach_node.sh 的参数与前一节的参数有很大的不同其实这里的参数都是前一节 value 的内容即管控创建并维护的集群基本信息自动添加已有节点省略了通过 key 获取 value 的过程
集群扩容
集群扩容与以上添加已有节点不同此功能针对需要新购节点的情形集群扩容的实现在添加已有节点的基础上引入了弹性伸缩 ESS 组件ESS 组件负责从无到有的过程而剩下的过程与添加已有节点类似即依靠 ECS userdata 脚本来完成节点准备下图是管控通过 ESS 从无到有创建 ECS 的过程 自动伸缩
前边三种方式是需要人为干预的伸缩方式而自动伸缩的本质不同是它可以在业务需求量增加的时候自动创建 ECS 实例并加入集群为了实现自动化这里引入了另外一个组件 Cluster Autoscaler集群自动伸缩包括两个独立的过程 其中第一个过程主要用来配置节点的规格属性包括设置节点的用户数据这个用户数据和手动添加已有节点的脚本类似不同的地方在于其针对自动伸缩这种场景增加了一些专门的标记attach_node.sh 脚本会根据这些标记来设置节点的属性
!/bin/sh
curl http:///public/pkg/run/attach/1.12.6-aliyun.1/attach_node.sh | bash -s -- --openapi-token --ess true --labels k8s.io/cluster-autoscalertrue,workload_typecpu,k8s.aliyun.comtrue而第二个过程是实现自动增加节点的关键这里引入了一个新的组件 Autoscaler它以 Pod 的形式运行在 K8S 集群中理论上来说我们可以把这个组件当做一个控制器因为它的作用与控制器类似基本上还是监听 Pod 状态以便在 Pod 因为节点资源不足而不能被调度的时去修改 ESS 的伸缩规则来增加新的节点这里有一个知识点集群调度器衡量资源是否充足的标准是“预订率”而不是“使用率”这两者的差别类似酒店房价预订率和实际入住率 完全有可能有人预订了酒店但是并没有实际入住 在开启自动伸缩功能的时候我们需要设置缩容阈值就是“预订率”的下线之所以不需要设置扩容阈值。是因为 Autoscaler 扩容集群依靠的是 Pod 的调度状态当 Pod 因为节点资源“预订率”太高无法被调度的时候 Autoscaler 就会扩容集群
节点减少原理
与增加节点不同集群减少节点的操作只有一个移除节点的入口但对于用不同方法加入的节点其各自移除方式略有不同首先通过添加已有节点加入的节点需要三步去移除 管控通过 ECS API 清楚 ECS userdata管控通过 K8S API 从集群中删除节点管控通过 ECS Invoke-Command 在 ECS 上执行 kubeadm reset 命令清理节点 其次通过集群扩容加入的节点则在上边的基础上增加了断开 ESS 和 ECS 关系的操作此操作由管控调用 ESS API 完成 最后经过 Cluster Autoscaler 动态增加的节点则在集群 CPU 资源“预订率”降低的时候由 Cluster Autoscaler 自动移除释放其触发点是 CPU“预订率”即上图写 Metrics 的原因
总结
总体上来说K8S 集群节点的增加与减少主要涉及四个组件分别是 Cluster AutoscalerESS管控以及节点本身准备或清理根据场景不同我们需要排查不同的组件 其中 Cluster Autoscaler 是一个普通的 Pod其日志的获取和其他Pod 无异ESS 弹性伸缩有其专门的控制台我们可以在控制台排查其伸缩配置、伸缩规则等相关子实例日志和状态而管控的日志可以通过查看日志功能来查看 最后对于节点的准备与清理其实就是排查对应的脚本的执行过程
