php网站开发技术论文,写男主重生做网站的小说,psd模板免费下载网站,企业网页设计模板图片文章目录 K8S虚拟化DevOpsdevops平台搭建工具大数据架构 K8S master 主节点#xff0c;控制平台#xff0c;Master节点负责核心的调度、管理和运维#xff0c;不需要很高性能#xff0c;不跑任务#xff0c;通常一个就行了#xff0c;也可以开多个主节点来提高集群可用度… 文章目录 K8S虚拟化DevOpsdevops平台搭建工具大数据架构 K8S master 主节点控制平台Master节点负责核心的调度、管理和运维不需要很高性能不跑任务通常一个就行了也可以开多个主节点来提高集群可用度 worker 工作节点可以是虚拟机或物理计算机Slave节点则在执行用户的程序任务都在这里跑机器性能需要好点通常都有很多个可以不断加机器扩大集群每个工作节点由主节点管理 Master Node和Worker Node是分别安装了K8S的Master和Woker组件的实体服务器每个Node都对应了一台实体服务器虽然Master Node可以和其中一个Worker Node安装在同一台服务器但是建议Master Node单独部署所有Master Node和Worker Node组成了K8S集群同一个集群可能存在多个Master Node和Worker Node pods管理容器每个 Pod 可以包含一个或多个紧密关联的容器Pod 是一组紧密关联的容器集合每个 Pod 有自己的虚拟IP。一个工作节点可以有多个 pod主节点会考量负载自动调度 pod 到哪个节点运行它们共享PID、IPC、Network 和 UTS Namespace是 Kubernetes 调度的基本单位Pod 内的多个容器共享网络和文件系统可以通过进程间通信和文件共享这种简单高效的方式组合完成服务使用 ManiFest ( YAML 或 JSON )来定义, Node是 Pod 真正运行的主机可以是物理机也可以是虚拟机为了管理 Pod 每个 Node 节点上至少要运行 Container Runtime (比如 docker 或者 rkt )、 Kubelet 和 Kube-proxy 服务 Namespace是对一组资源和对象的抽象集合比如可以用来将系统内部的对象划分为不同的项目组或用户组常见的 pods, services, replication controllers 和 deployments 等都是属于某一个 namespace 的(默认是 default)而 node, persistentVolumes 等则不属于任何 namespace Service是应用服务的抽象通过 labels 为应用提供负载均衡和服务发现匹配 labels 的 Pod IP 和端口列表组成 endpoints由 kube-proxy 负责将服务 IP 负载均衡到这些 endpoints 上通常每一个 Service 都会自动分配一个 Cluster IP (仅在集群内部可访问的虚拟地址)和 DNS 名其他容器可以通过该地址或 DNS 来访问服务而不需要了解后端容器的运行 K8s 主要由以下几个核心组件组成
Master 组件
etcd保存了整个集群的状态apiserver提供了资源操作的唯一入口并提供认证、授权、访问控制、API 注册和发现等机制controller manager负责维护集群的状态比如故障检测、自动扩展、滚动更新等scheduler负责资源的调度按照预定的调度策略将 Pod 调度到相应的机器上
Worker 组件
kubelet负责维护容器的生命周期同时也负责 Volume(CSI) 和网络 (CNI) 的管理Container runtime负责镜像管理以及 Pod 和容器的真正运行(CRI)kube-proxy负责为 Service 提供 cluster 内部的服务发现和负载均衡 工作负载分类
Deployment 适合无状态应用所有 pod 等价可替代StatefulSet 有状态的应用适合数据库这种类型DaemonSet 在每个节点上跑一个 Pod可以用来做节点监控、节点日志收集等Job CronJob Job 用来表达的是一次性的任务而 CronJob 会根据其时间规划反复运行
虚拟化
**常见虚拟化工具**VMware、VirtualBox、Hyper-V、Xen、KVM
vSphereESXi 和 vCenter 的区别 vSphere 是在数据中心产品下的一套软件。vSphere 类似微软的 Office 办公套件Office 办公套件包含了许多软件如Word, Excel, Access 等。和 Office 一样vSphere 也是一个软件的集合。他包括了 vCenter, ESXi 和 vSphere 等。所以这些软件联合起来就是 vSphere。vSphere 不是一个你可以安装使用的软件。它只是一个包含其它组件的集合 ESXi 是 vSphere 中最重要的一个组件允许基本创建和运行虚拟机。ESXi 是虚拟化服务。所有的虚拟机都是运行在 ESXi 服务上面。为了安装管理和访问这些虚拟机你需要另外的 vSphere 套件也就是 vSphere client 或 vCenter。vSphere client允许管理员访问 ESXi 服务并管理虚拟机。vSphere client 是安装在客户机(也就是管理员的笔记本)上面。vSphere client 被用来连接 ESXi 服务器和管理任务 vCenter server 和 vSphere client 很像但是它和功能更加强大。vCenter server 是安装在 Window 服务器或 Linux 服务器里面。VMware vCenter server 是一个中心化的管理应用。你可以通过它管理所有的虚拟机和 ESXi 物理机。vSphere client 可以通过访问 vCenter Server 来管理 EXSi 服务器
Vmware vcenter未授权任意文件上传(CVE-2021-21972)复现
DevOps
透过自动化“软件交付和“架构变更”的流程来使得构建、测试、发布软件能够更加地快捷、频繁和可靠 微服务架构 DevOps 模式 理解 DevOpsDevOps环境搭建https://mp.weixin.qq.com/s/UK-KfpjwJRkoTNHPBkZp2w 远程部署一些机器专门用来管理代码进行上线工作由运维事先把上线的规则都给定义好了开发只要按照他的规则都访问这台服务器进行各自的代码合成和发布自己上线呢能用代码自动完成的事情就绝不要手动解决这是每个开发人员都在想的东西。运维需要做的事情慢慢的都沉淀到了各个平台上面例如监控有专门的监控组件和可视化基础服务例如服务器CDN负载均衡等基础服务可以外包到云服务厂商日志也有专门的日志工具链路追踪也有专门的组件和可视化还有网关等渐渐的只要这些都配置好了开发也可以做运维的部分工作毕竟开发才是最了解代码的人哪里出了问题看看监控日志可以最快速度定位到问题于是DEVOPS开发模式诞生了开发也是运维 devops平台搭建工具
项目管理PMjira运营可以上去提问题可以看到各个问题的完整的工作流待解决未解决等代码管理Bitbucket、gitlabjenkins 或者 K8S 都可以集成 gitlab进行代码管理上线回滚等持续集成CIContinuous IntegrationJenkins [gitlab ci]开发人员提交了新代码之后立刻进行构建、单元测试。根据测试结果我们可以确定新代码和原有代码能否正确地集成在一起持续交付CDContinuous Deliverygitlab cd完成[单元测试]后可以把代码部署到连接数据库的 Staging 环境中更多的测试。如果代码没有问题可以继续手动部署到生产环境中镜像仓库VMware Harbor私服 nexusJFrog容器Docker编排K8S服务治理Consul、ZooKeeper 提供分布式系统的协调服务、脚本语言Python日志管理CatSentry还有种常用的是ELKSplunk系统监控PrometheusGrafana: 用于可视化大型测量数据的开源平台经常与Prometheus一起使用Nagios: 免费的开源IT基础设施监控工具Zabbix: 一个企业级开源监控解决方案、SolarWinds、Cacti负载均衡Nginx、HAProxy网关Kongzuul链路追踪Zipkin产品和UI图蓝湖公司内部文档Confluence报警推送到工作群
有了这一套完整的流程工具整个开发流程涉及到人员都可以无阻碍的进行协调工作了开发每天到公司先看看 jira看看线上日志出了问题看看监控日志运营同学反馈问题不着急的去JIRA着急的群里吆喝产品和UI的图直接蓝湖看运维关注监控着大盘
大数据架构
大数据-技术常用组件
