常州网站建设最易,沙井网站开发,word制作网页教程,广州关键词搜索排名目录
一、理论
1.存储卷
2.emptyDir 存储卷
3.hostPath卷
4.NFS共享存储
5.PVC 和 PV
6.静态创建PV
7.动态创建PV
二、实验 1.emptyDir 存储卷
2.hostPath卷
3.NFS共享存储
4.静态创建PV
5.动态创建PV
三、问题
1.生成pod一直pending
2.shoumount -e未显示共享…目录
一、理论
1.存储卷
2.emptyDir 存储卷
3.hostPath卷
4.NFS共享存储
5.PVC 和 PV
6.静态创建PV
7.动态创建PV
二、实验 1.emptyDir 存储卷
2.hostPath卷
3.NFS共享存储
4.静态创建PV
5.动态创建PV
三、问题
1.生成pod一直pending
2.shoumount -e未显示共享目录
3.静态创建pv 报错
4.使用 Deployment 来创建 NFS Provisioner报错
5.容器挂载报错
6.镜像拉取失败
7.生成PVC资源报错
8.Linux客户端挂载NFS共享报错
四、总结 一、理论
1.存储卷
1概念
容器磁盘上的文件的生命周期是短暂的,这就使得在容器中运行重要应用时会出现一些问题。首先,当容器崩溃时, kubelet会重启它,但是容器中的文件将丢失一容器以干净的状态(镜像最初的状态)重新启动。
其次,在Pod中同时运行多个容器时,这些容器之间通常需要共享文件。Kubernetes中的Volume抽象就很好的解决了这些问题。Pod中的容器通过Pause容器共享Volume。 2分类
本地例如hostPath、emptyDir
网络例如NFS、Ceph、GlusterFS
公有云例如AWS EBS
k8s资源例如configmap、secret。 2.emptyDir 存储卷
1作用
emptyDir存储卷当Pod被分配给节点时,首先创建emptyDir卷,并且只要该Pod在该节点上运行,该卷就会存在。正如卷的名字所述,它最初是空的。Pod中的容器可以读取和写入emptyDir卷中的相同文件,尽管该卷可以挂载到每个容器中的相同或不同路径上。当出于任何原因从节点中删除Pod时, emptyDir中的数据将被永久删除。 2示例
[rootmaster demo]# mkdir /opt/volumes
[rootmaster demo]# cd /opt/volumes/
[rootmaster volumes]# vim pod-emptydir.yamlapiVersion: v1
kind: Pod
metadata:name: pod-emptydirnamespace: defaultlabels:app: myapptier: frontend
spec:containers:- name: myappimage: ikubernetes/myapp:v1imagePullPolicy: IfNotPresentports:- name: httpcontainerPort: 80#定义容器挂载的内容volumeMounts:#使用的存储卷名称如果跟下面的volume字段name值相同则表示使用volume的这个卷- name: html#挂载到容器的哪个目录mountPath: /usr/share/nginx/html/- name: busyboximage: busybox:latestimagePullPolicy: IfNotPresentvolumeMounts:- name: html#在容器内定义挂载存储名称和挂载路径mountPath: /data/command: [/bin/sh,-c,while true;do echo $(date) /data/index.html;sleep 5;done]#定义存储卷volumes:#定义存储卷的名称- name: html#定义存储卷的类型emptyDir: {}[rootmaster volumes]# kubectl apply -f pod-emptydir.yaml[rootmaster volumes]# kubectl get pods -o wide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
pod-emptydir 2/2 Running 0 3s 10.244.1.146 node01 none none#在上面定义了两个容器其中一个容器输入日期到index.html中然后验证范围nginx的htmnl是否可以获取日期
#同时在进入两个容器里查看挂载数据卷的目录的数据以验证两个容器之间挂载的emptyDir实现共享[rootmaster volumes]# curl 10.244.1.146
wed Sep 20 06:07:26 UTC 2023
Wed Sep 20 06:07:31 UTC 2023
Wed Sep 20 06:07:36 UTC 2023
Wed Sep 20 06:07:41 UTC 2023
Wed Sep 20 06:07:46 UTC 2023
Wed Sep 20 06:07:51 UTC 2023
[rootmaster volumes]# kubectl exec -it pod-emptydir -c busybox sh
/ # cat /data/index.html
wed Sep 20 06:07:26 UTC 2023
Wed Sep 20 06:07:31 UTC 2023
Wed Sep 20 06:07:36 UTC 2023
Wed Sep 20 06:07:41 UTC 2023
Wed Sep 20 06:07:46 UTC 2023
Wed Sep 20 06:07:51 UTC 2023[rootmaster volumes]# kubectl exec -it pod-emptydir -c myapp sh
/ # cat /usr/share/nginx/html/index.html
Wed Sep 20 06:07:26 UTC 2023
Wed Sep 20 06:07:31 UTC 2023
Wed Sep 20 06:07:36 UTC 2023
Wed Sep 20 06:07:41 UTC 2023
Wed Sep 20 06:07:46 UTC 2023
Wed Sep 20 06:07:51 UTC 2023
Wed Sep 20 06:07:56 UTC 2023
Wed Sep 20 06:08:01 UTC 2023
Wed Sep 20 06:08:06 UTC 2023
Wed Sep 20 06:08:11 UTC 2023
3.hostPath卷
1作用
hostPath卷将node节点的文件系统中的文件或者目录挂载到集群中。
hostPath可以实现持久存储但是在node节点故障时也会导致数据的丢失。 2示例
#在node01节点上创建挂载目录
[rootnode01 ~]# mkdir -p /data/pod/volume1
[rootnode01 ~]# echo node01.myweb.com /data/pod/volume1/index.html#在node02 节点上创建挂载目录
[rootnode02 ~]# mkdir -p /data/pod/volume1
[rootnode02 ~]# echo node02.myweb.com /data/pod/volume1/index.html[rootmaster volumes]# vim pod-hostpath.yaml
apiVersion: v1
kind: Pod
metadata:name: pod-hostpathnamespace: default
spec:containers:- name: myappimage: ikubernetes/myapp:v1#定义容器你挂载内容volumeMounts:#使用的存储卷名称,如果跟下面volume字段name值相同,则表示使用volume的这个存储卷- name: html#挂载值容器中哪个目录mountPath: /usr/share/nginx/htmlreadOnly: false#volumes字段定义了paues容器关联的宿主机或分布式文件系统存储卷 volumes:#存储卷名称- name: html#路径为宿主机存储路径hostPath:#在宿主机上目录的路径path: /data/pod/volume1#定义类型这表示如果宿主机没有此目录则会自动创建type: DirectoryOrCreate [rootmaster volumes]# kubectl apply -f pod-hostpath.yaml [rootmaster volumes]# kubectl get pods -o wide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
pod-hostpath 1/1 Running 0 14m 10.244.2.112 node02 none none
#访问测试
[rootmaster volumes]# curl 10.244.2.112
node02.myweb.com#删除pod后再重建验证是否依旧可以访问原来的内容
[rootmaster volumes]# kubectl delete -f pod-hostpath.yaml
pod pod-hostpath deleted
[rootmaster volumes]# kubectl apply -f pod-hostpath.yaml
pod/pod-hostpath created
[rootmaster volumes]# kubectl get pods -o wide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
pod-hostpath 1/1 Running 0 6s 10.244.1.147 node01 none none
[rootmaster volumes]# curl 10.244.1.147
node01.myweb.com4.NFS共享存储
1安装配置nfs服务 #在stor01(192.168.204.177)节点上安装nfs并配置nfs服务
mkdir /data/volumes -p
echo this is david /data/volumes/index.html
chmod 777 /data/volumes/yum -y install nfs-utils rpcbind#给204网段用户赋予读写权限、同步内容、不压缩共享对象root用户权限
vim /etc/exports
/data/volumes 192.168.204.0/24(rw,no_root_squash,sync)systemctl start rpcbind nfs#监听服务
[rootstor01 ~]# ss -antp | grep rpcbind
LISTEN 0 128 *:111 *:* users:((rpcbind,pid37036,fd8))
LISTEN 0 128 :::111 :::* users:((rpcbind,pid37036,fd11))showmount -e 192.168.204.177
Export list for host10:
/data/volumes 192.168.204.0/24#所有节点配置hosts映射或者配置DNS解析
echo 192.168.204.177 stor01 /etc/hosts2master 节点操作
apiVersion: v1
kind: Pod
metadata:name: pod-vo1-nfsnamespace: default
spec:#指定pod到 node01节点nodeName: node01containers:- name: myappimage: ikubernetes/myapp:v1volumeMounts:- name: htmlmountPath: /usr/share/nginx/htmlvolumes:- name: htmlnfs:path: /data/volumesserver: stor01[rootmaster volumes]# kubectl apply -f pod-nfs-vo1.yaml
pod/pod-vo1-nfs created
[rootmaster volumes]# kubectl get pods -o wide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
pod-vo1-nfs 1/1 Running 0 8s 10.244.1.148 node01 none none
#访问cluster ip
[rootmaster volumes]# curl 10.244.1.148
this is david[rootmaster volumes]# kubectl delete pod pod-vo1-nfs
pod pod-vo1-nfs deleted[rootmaster volumes]# vim pod-nfs-vo1.yamlapiVersion: v1
kind: Pod
metadata:name: pod-vo1-nfsnamespace: default
spec:#指定pod在node02节点nodeName: node02containers:- name: myappimage: ikubernetes/myapp:v1volumeMounts:- name: htmlmountPath: /usr/share/nginx/htmlvolumes:- name: htmlnfs:path: /data/volumesserver: stor01[rootmaster volumes]# kubectl apply -f pod-nfs-vo1.yaml
pod/pod-vo1-nfs created
[rootmaster volumes]# kubectl get pods -o wide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
pod-vo1-nfs 1/1 Running 0 3s 10.244.2.114 node02 none none
#访问测试
[rootmaster volumes]# curl 10.244.2.114
this is david5.PVC 和 PV
1概念
PV 全称叫做 Persistent Volume持久化存储卷。它是用来描述或者说用来定义一个存储卷的这个通常都是由运维工程师来定义。
PVC 的全称是 Persistent Volume Claim是持久化存储的请求。它是用来描述希望使用什么样的或者说是满足什么条件的 PV 存储。
PVC 的使用逻辑在 Pod 中定义一个存储卷该存储卷类型为 PVC定义的时候直接指定大小PVC 必须与对应的 PV 建立关系PVC 会根据配置的定义去 PV 申请而 PV 是由存储空间创建出来的。PV 和 PVC 是 Kubernetes 抽象出来的一种存储资源。 一个PV可以个一个或多个POD使用PV是k8s集群里专用的存储资源是逻辑划分存储设备空间的资源对象。存储资源要提供存储空间给存储资源使用不能凭空出现 真正提供存储空间的是存储设备如硬盘挂载的目录nfs共享的目录ceph分布式存储等 我们作为K8S集群管理员可以在K8S集群中创建PV再从存储设备划分存储空间给PV 然后我的POD想引用哪个PV得先定义一个PVC用来描述希望使用什么样的或者说是满足什么条件的 PV 存储比如多大存储空间是专用是一对一还是一对多 POD会根据PVC去找符合条件的PV进行绑定最后给POD挂载使用
2 StorageClass
上面介绍的PV和PVC模式是需要运维人员先创建好PV然后开发人员定义好PVC进行一对一的Bond但是如果PVC请求成千上万那么就需要创建成千上万的PV对于运维人员来说维护成本很高Kubernetes提供一种自动创建PV的机制叫StorageClass它的作用就是创建PV的模板。
创建 StorageClass 需要定义 PV 的属性比如存储类型、大小等另外创建这种 PV 需要用到的存储插件比如 Ceph 等。 有了这两部分信息Kubernetes 就能够根据用户提交的 PVC找到对应的 StorageClass然后 Kubernetes 就会调用 StorageClass 声明的存储插件自动创建需要的 PV 并进行绑定。
3动态创建PV
使用StorageClass 引用某一存储设备的存储卷插件通过调用存储卷插件去到存储设备中动态创建符合PVC需求的存储资源然后PV和PVC进行绑定这样Pod就可以使用PV的存储空间
PV是集群中的资源。 PVC是对这些资源的请求也是对资源的索引检查。 4PV和PVC之间的相互作用遵循的生命周期 PV和PVC之间的相互作用遵循这个生命周期 Provisioning配置— Binding绑定— Using使用— Releasing释放 — Recycling回收
●Provisioning即 PV 的创建可以直接创建 PV静态方式也可以使用 StorageClass 动态创建
●Binding将 PV 分配给 PVC
●UsingPod 通过 PVC 使用该 Volume并可以通过准入控制StorageProtection1.9及以前版本为PVCProtection 阻止删除正在使用的 PVC
●ReleasingPod 释放 Volume 并删除 PVC
●Reclaiming回收 PV可以保留 PV 以便下次使用也可以直接从云存储中删除PV 的状态
根据这 5 个阶段PV 的状态有以下 4 种
●Available可用表示可用状态还未被任何 PVC 绑定
●Bound已绑定表示 PV 已经绑定到 PVC
●Released已释放表示 PVC 被删掉但是资源尚未被集群回收
●Failed失败表示该 PV 的自动回收失败
一个PV从创建到销毁的具体流程
1、一个PV创建完后状态会变成Available等待被PVC绑定。2、一旦被PVC邦定PV的状态会变成Bound就可以被定义了相应PVC的Pod使用。3、Pod使用完后会释放PVPV的状态变成Released。4、变成Released的PV会根据定义的回收策略做相应的回收工作。有三种回收策略Retain、Delete和Recycle。Retain就是保留现场K8S集群什么也不做等待用户手动去处理PV里的数据处理完后再手动删除PV。Delete策略K8S会自动删除该PV及里面的数据。Recycle方式K8S会将PV里的数据删除然后把PV的状态变成Available又可以被新的PVC绑定使用。5静态创建pv和pvc资源由pod运用过程
如图所示我们将选择一台k8s集群之外的服务器作为NFS共享存储服务器并且按照图中的规格
创建pv再由k8s集群创建pv资源和pvc资源最后将其挂载在pod上进行使用 6 K8S支持的存储卷的访问模式 其中 × 表示支持- 表示不支持
7使用explain 查看pv的定义方式
查看pv的定义方式
kubectl explain pv #查看pv的定义方式FIELDS:apiVersionkindmetadataspec查看pv定义的规格
[rootmaster ~]# kubectl explain pv.spec
spec:nfs (定义存储类型)path (定义挂载卷路径)server (定义服务器名称)accessModes (定义访问模型,有以下三种访问模型,以列表的方式存在,也就是说可以定义多个访问模式)ReadwriteOnce (RWO) 单节点读写ReadonlyMany (ROX) 多节点只读ReadwriteMany (RWX) 多节点读写capacity (定义PV空间的大小)storage (指定大小)其中访问模式有
ReadWriteOnce
卷可以被一个节点以读写方式挂载。 ReadWriteOnce 访问模式也允许运行在同一节点上的多个 Pod 访问卷。
ReadOnlyMany
卷可以被多个节点以只读方式挂载。
ReadWriteMany
卷可以被多个节点以读写方式挂载。
8 使用explain 查看pvc的定义方式
查看pvc的定义方式
kubectl explain pvc #查看pvc的定义方式
KIND: PersistentVolumeClaim
VERSION: v1
FIELDS:apiVersion: stringkind stringmetadata Objectspec Object查看pvc的规格
kubectl explain pvc.spec #查看pvc的规格spec:accessModes (定义访问模式,必须是pv的访问模式的子集)resources (定义申请资源的大小)requests: storage:6.静态创建PV
1在NFS主机上创建共享目录并且进行exportfs发布
[rootnfs ~]# yum -y install nfs-utils rpcbind
[rootnfs ~]# mkdir -p /data/volumes/v{1..5}
[rootnfs ~]# ls -R /data/
[rootnfs ~]# chmod -R 777 /data/*#配置nfs共享的目录
[rootnfs ~]# for i in {1..5}
do
echo /data/volumes/v$i 192.168.204.0/24(rw,no_root_squash,sync) /etc/exports
done #写入网页内容
[rootnfs ~]# for i in {1..5}
do
echo this is pv00$i /data/volumes/v$i/index.html
done[rootnfs ~]# systemctl start rpcbind
[rootnfs ~]# systemctl start nfs
[rootnfs ~]# exportfs -arv
[rootnfs ~]# showmount -e
//其他两个node节点能不能看到
showmount -e 192.168.204.1772定义pv
定义5个 pv并且定义挂载的路径及访问模式pv划分大小
[rootmaster ~]# vim pv-demo.yaml
apiVersion: v1
kind: PersistentVolume
metadata:name: pv001labels:name: pv001
spec:nfs:path: /data/volumes/v1server: stor01accessModes: - ReadWriteMany- ReadWriteOncecapacity:storage: 1Gi
---
apiVersion: v1
kind: PersistentVolume
metadata:name: pv002labels:name: pv002
spec:nfs:path: /data/volumes/v2server: stor01accessModes: - ReadWriteOncecapacity:storage: 2Gi
---
apiVersion: v1
kind: PersistentVolume
metadata:name: pv003labels:name: pv003
spec:nfs:path: /data/volumes/v3server: stor01accessModes: - ReadWriteMany- ReadWriteOncecapacity:storage: 2Gi
---
apiVersion: v1
kind: PersistentVolume
metadata:name: pv004labels:name: pv004
spec:nfs:path: /data/volumes/v4server: stor01accessModes: - ReadWriteMany- ReadWriteOncecapacity:storage: 4Gi
---
apiVersion: v1
kind: PersistentVolume
metadata:name: pv005labels:name: pv005
spec:nfs:path: /data/volumes/v5server: stor01accessModes: - ReadWriteMany- ReadWriteOncecapacity:storage: 5Gi[rootmaster ~]# kubectl apply -f pv-demo.yaml
[rootmaster ~]# kubectl get pv3 定义pvc
情况1
pvc请求的 访问模式accessMode 及 storage大小(capacity 栏都完全符合
[rootmaster ~]# vim pod-vol-pvc.yaml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:name: mypvcnamespace: default
spec:accessModes:- ReadWriteManyresources:requests:storage: 2Gi
---
apiVersion: v1
kind: Pod
metadata:name: pod-vo1-pvcnamespace: default
spec:containers:- name: myappimage: ikubernetes/myapp:v1volumeMounts:- name: htmlmountPath: /usr/share/nginx/htmlvolumes:- name: htmlpersistentVolumeClaim:claimName: mypvc[rootmaster ~]# kubectl apply -f pod-vol-pvc.yaml
persistentvolumeclaim/mypvc created
pod/pod-vo1-pvc created
[rootmaster ~]# kubectl get pods,pv -o wide[rootmaster ~]# curl 10.244.1.151
this is pv003情况2
在访问模式符合 的情况下大小不符合则会再所以大于请求大小的pv中选择大小最接近的
[rootmaster ~]# vim pod-vol-pvc.yaml apiVersion: v1
kind: PersistentVolumeClaim
metadata:name: mypvc-test02namespace: default
spec:accessModes:- ReadWriteManyresources:requests:storage: 2Gi
---
apiVersion: v1
kind: Pod
metadata:name: pod-vo2-pvcnamespace: default
spec:containers:- name: myappimage: ikubernetes/myapp:v1volumeMounts:- name: htmlmountPath: /usr/share/nginx/htmlvolumes:- name: htmlpersistentVolumeClaim:claimName: mypvc-test02[rootmaster ~]# kubectl apply -f pod-vol-pvc.yaml
persistentvolumeclaim/mypvc-test02 created
pod/pod-vo2-pvc created
[rootmaster ~]# kubectl get pods,pv,pvc -o wide
[rootmaster ~]# curl 10.244.2.117
this is pv004情况3
在访问模式不符合或者大小没有满足的都效于则pod和pvc都处于pending状态
[rootmaster ~]# vim pod-vol-pvc.yaml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:name: mypvc-test03namespace: default
spec:accessModes:- ReadWriteManyresources:requests:storage: 7Gi
---
apiVersion: v1
kind: Pod
metadata:name: pod-vo3-pvcnamespace: default
spec:containers:- name: myappimage: ikubernetes/myapp:v1volumeMounts:- name: htmlmountPath: /usr/share/nginx/htmlvolumes:- name: htmlpersistentVolumeClaim:claimName: mypvc-test03[rootmaster ~]# kubectl apply -f pod-vol-pvc.yaml
persistentvolumeclaim/mypvc-test03 created
pod/pod-vo3-pvc created
[rootmaster ~]# kubectl get pods,pv,pvc -o wide[rootmaster ~]# kubectl get pods,pv,pvc -o wide[rootmaster ~]# kubectl describe pod pod-vo3-pvc 情况4
使用多主机读写 RWX (ReadWriteMany) 模式将新创建的pod 加入到已有的pvc 中
[rootmaster ~]# vim pod-vol-pvc.yaml
apiVersion: v1
kind: Pod
metadata:name: pod-vo4-pvcnamespace: default
spec:containers:- name: myappimage: ikubernetes/myapp:v1volumeMounts:- name: htmlmountPath: /usr/share/nginx/htmlvolumes:- name: htmlpersistentVolumeClaim:claimName: mypvc-test02[rootmaster ~]# kubectl apply -f pod-vol-pvc.yaml
pod/pod-vo4-pvc created
[rootmaster ~]# kubectl get pods,pv,pvc -o wide
[rootmaster ~]# curl 10.244.1.152
this is pv0044删除pvc绑定
[rootmaster ~]# kubectl describe persistentvolumeclaims mypvc-test02
....
Mounted By: pod-vo2-pvcpod-vo4-pvc.....#先删除使用这个pvc的所有pod
[rootmaster ~]# kubectl delete pod pod-vo{2,4}-pvc
pod pod-vo2-pvc deleted
pod pod-vo4-pvc deleted#再删除pvc
[rootmaster ~]# kubectl delete persistentvolumeclaims mypvc-test02
persistentvolumeclaim mypvc-test02 deleted#查看发现pvc确实被删除了但是相应的pv处于Released状态此时pv无法被新pvc绑定
[rootmaster ~]# kubectl get pods,pv,pvc -o wide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
persistentvolume/pv004 4Gi RWO,RWX Retain Released default/mypvc-test02 73m Filesystem使用 edit 在线对pv 资源进行编辑删除claiRef段落。保存后通过命令查看其状态就自动变为了AvailablePV即可重新使用
[rootmaster ~]# kubectl edit persistentvolume pv004
...#删除claimRef:apiVersion: v1kind: PersistentVolumeClaimname: mypvc-test02namespace: defaultresourceVersion: 242922uid: 95ef0c00-754e-4a8e-81c3-f8ee4d5f9824
.....[rootmaster ~]# kubectl get pods,pv,pvc -o wideNAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS REASON AGE VOLUMEMODEpersistentvolume/pv004 4Gi RWO,RWX Retain Available 81m Filesystem7.动态创建PV
1StorageClass nfs-client-provisioner
StorageClass nfs-client-provisioner的理解 上面介绍的PV和PVC模式是需要运维人员先创建好PV然后开发人员定义好PVC进行一对一的Bond但是如果PVC请求成千上万那么就需要创建成千上万的PV对于运维人员来说维护成本很高Kubernetes提供一种自动创建PV的机制叫StorageClass它的作用就是创建PV的模板。 创建 StorageClass 需要定义 PV 的属性比如存储类型、大小等另外创建这种 PV 需要用到的存储插件比如 Ceph 等。 有了这两部分信息Kubernetes 就能够根据用户提交的 PVC找到对应的 StorageClass然后 Kubernetes 就会调用 StorageClass 声明的存储插件自动创建需要的 PV 并进行绑定。 卷插件称为 Provisioner存储分配器NFS 使用的是 nfs-client这个外部卷插件会使用已经配置好的 NFS 服务器自动创建 PV。 Provisioner用于指定 Volume 插件的类型包括内置插件如 kubernetes.io/aws-ebs和外部插件如 external-storage 提供的 ceph.com/cepfs。
2在NFS服务器配置nfs服务
//nfs服务器
mkdir /opt/k8s
chmod 777 /opt/k8s/
vim /etc/exports
/opt/k8s 192.168.204.0/24(rw,sync,no_root_squash)[rootnfs ~]# systemctl restart rpcbind
[rootnfs ~]# systemctl restart nfs
[rootnfs ~]# exportfs -arv
[rootnfs ~]# showmount -e3创建 Service Account用来管理 NFS Provisioner 在 k8s 集群中运行的权限和动态规则
//master节点
cd pv/
mkdir sc
cd sc/
4创建 Service Account用来管理 NFS Provisioner 在 k8s 集群中运行的权限设置 nfs-client 对 PVPVCStorageClass 等的规则
vim nfs-client-rbac.yaml
#创建 Service Account 账户用来管理 NFS Provisioner 在 k8s 集群中运行的权限
apiVersion: v1
kind: ServiceAccount
metadata:name: nfs-client-provisioner
---
#创建集群角色
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:name: nfs-client-provisioner-clusterrole
rules:- apiGroups: []resources: [persistentvolumes]verbs: [get, list, watch, create, delete]- apiGroups: []resources: [persistentvolumeclaims]verbs: [get, list, watch, update]- apiGroups: [storage.k8s.io]resources: [storageclasses]verbs: [get, list, watch]- apiGroups: []resources: [events]verbs: [list, watch, create, update, patch]- apiGroups: []resources: [endpoints]verbs: [create, delete, get, list, watch, patch, update]
---
#集群角色绑定
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:name: nfs-client-provisioner-clusterrolebinding
subjects:
- kind: ServiceAccountname: nfs-client-provisionernamespace: default
roleRef:kind: ClusterRolename: nfs-client-provisioner-clusterroleapiGroup: rbac.authorization.k8s.iokubectl apply -f nfs-client-rbac.yaml5使用 Deployment 来创建 NFS Provisioner
NFS Provisione(即 nfs-client)有两个功能一个是在 NFS 共享目录下创建挂载点(volume)另一个则是将 PV 与 NFS 的挂载点建立关联。
由于 1.20 版本启用了 selfLink所以 k8s 1.20 版本通过 nfs provisioner 动态生成pv会报错解决方法如下
cd /etc/kubernetes/manifests/
vim /etc/kubernetes/manifests/kube-apiserver.yaml
spec:containers:- command:- kube-apiserver- --feature-gatesRemoveSelfLinkfalse #添加这一行- --advertise-address192.168.80.20
......kubectl apply -f /etc/kubernetes/manifests/kube-apiserver.yaml
kubectl delete pods kube-apiserver -n kube-system
kubectl get pods -n kube-system | grep apiserver
创建 NFS Provisioner
vim nfs-client-provisioner.yaml
kind: Deployment
apiVersion: apps/v1
metadata:name: nfs-client-provisioner
spec:replicas: 1selector:matchLabels:app: nfs-client-provisionerstrategy:type: Recreatetemplate:metadata:labels:app: nfs-client-provisionerspec:serviceAccountName: nfs-client-provisioner #指定Service Account账户containers:- name: nfs-client-provisionerimage: quay.io/external_storage/nfs-client-provisioner:latestimagePullPolicy: IfNotPresentvolumeMounts:- name: nfs-client-rootmountPath: /persistentvolumesenv:- name: PROVISIONER_NAMEvalue: nfs-storage #配置provisioner的Name确保该名称与StorageClass资源中的provisioner名称保持一致- name: NFS_SERVERvalue: stor01 #配置绑定的nfs服务器- name: NFS_PATHvalue: /opt/k8s #配置绑定的nfs服务器目录volumes: #申明nfs数据卷- name: nfs-client-rootnfs:server: stor01path: /opt/k8s
kubectl apply -f nfs-client-provisioner.yaml kubectl get pod
NAME READY STATUS RESTARTS AGE
nfs-client-provisioner-cd6ff67-sp8qd 1/1 Running 0 14s6创建 StorageClass负责建立 PVC 并调用 NFS provisioner 进行预定的工作并让 PV 与 PVC 建立关联
vim nfs-client-storageclass.yaml
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:name: nfs-client-storageclass
provisioner: nfs-storage #这里的名称要和provisioner配置文件中的环境变量PROVISIONER_NAME保持一致
parameters:archiveOnDelete: false #false表示在删除PVC时不会对数据进行存档即删除数据kubectl apply -f nfs-client-storageclass.yamlkubectl get storageclass
NAME PROVISIONER RECLAIMPOLICY VOLUMEBINDINGMODE ALLOWVOLUMEEXPANSION AGE
nfs-client-storageclass nfs-storage Delete Immediate false 43s
7创建 PVC 和 Pod 测试
vim test-pvc-pod.yaml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:name: test-nfs-pvc
spec:accessModes:- ReadWriteManystorageClassName: nfs-client-storageclass #关联StorageClass对象resources:requests:storage: 1Gi
---
apiVersion: v1
kind: Pod
metadata:name: test-storageclass-pod
spec:containers:- name: busyboximage: busybox:latestimagePullPolicy: IfNotPresentcommand:- /bin/sh- -cargs:- sleep 3600volumeMounts:- name: nfs-pvcmountPath: /mntrestartPolicy: Nevervolumes:- name: nfs-pvcpersistentVolumeClaim:claimName: test-nfs-pvc #与PVC名称保持一致kubectl apply -f test-pvc-pod.yamlPVC 通过 StorageClass 自动申请到空间
kubectl get pvc
NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE
test-nfs-pvc Bound pvc-11670f39-782d-41b8-a842-eabe1859a456 1Gi RWX nfs-client-storageclass 2s查看 NFS 服务器上是否生成对应的目录自动创建的 PV 会以 ${namespace}-${pvcName}-${pvName} 的目录格式放到 NFS 服务器上
ls /opt/k8s/default-test-nfs-pvc-pvc-363a53a3-b73a-437e-a9a5-02f661c5cc53
进入 Pod 在挂载目录 /mnt 下写一个文件然后查看 NFS 服务器上是否存在该文件
kubectl exec -it test-storageclass-pod sh
/ # cd /mnt/
/mnt # echo this is test file test.txt
发现 NFS 服务器上存在说明验证成功
cat /opt/k8s/default-test-nfs-pvc-pvc-363a53a3-b73a-437e-a9a5-02f661c5cc53/test.txtthis is test file二、实验 1.emptyDir 存储卷
1示例
创建宿主机挂载目录 编写资源清单 生成资源 查看信息 在上面定义了两个容器其中一个容器输入日期到index.html中然后验证范围nginx的htmnl是否可以获取日期
同时在进入两个容器里查看挂载数据卷的目录的数据以验证两个容器之间挂载的emptyDir实现共享
访问cluster ip
进入pod pod-emptydie里的busybox容器查看 进入pod pod-emptydie里的myapp容器查看 删除pod后再重建验证是否依旧可以访问原来的内容 原来内容已不在 2.hostPath卷
1示例
在node01节点上创建挂载目录 在node02 节点上创建挂载目录 编写资源清单文件 生成资源并查看信息 访问测试 删除pod后再重建验证是否依旧可以访问原来的内容 查看信息并访问测试内容依然存在 3.NFS共享存储
1安装配置nfs服务
在stor01(192.168.204.177)节点上安装nfs并配置nfs服务
安装 配置文件 重启服务 监听服务 查看共享目录 所有节点配置hosts映射或者配置DNS解析 2master 节点操作 生成资源 查看信息已分配到node01节点 删除pod 指定pod在node02节点 生成资源并查看信息已分配到node02节点 访问测试。说明nfs实现了数据持久化 4.静态创建PV
1在NFS主机上创建共享目录并且进行exportfs发布 配置nfs共享的目录 写入网页内容 重启服务 查看 其他两个node节点能不能看到 2定义pv
定义5个 pv并且定义挂载的路径及访问模式pv划分大小 生成资源 查看 3 定义pvc
情况1
pvc请求的 访问模式accessMode 及 storage大小(capacity 栏都完全符合 生成资源 查看信息
pvc要求pv大小为2Gi模式为RWXReadWriteMany最符合要求得是pv003,绑定后status状态变为了Bound状态 访问测试 情况2
在访问模式符合 的情况下大小不符合则会再所以大于请求大小的pv中选择大小最接近的
直接修改之前的资源清单文件 生成资源 查看信息
mypvc-test02请求的是2Gi RWX而最符合要求的pv003已经被占用因此去找模式符合要求存储大小大于2Gi的pv,pv004的存储大小更接近 访问测试 情况3
在访问模式不符合或者大小没有满足的都效于则pod和pvc都处于pending状态
修改资源清单文件 生成资源
查看信息
当没有符合要求的pv时模式accessMode不符合或者在模式符合的情况下没有capacity栏里没有大于等于请求大小的则pod和pvc都会处于pending状态 详细信息没有pvc给这个节点使用 情况4
使用多主机读写 RWX (ReadWriteMany) 模式将新创建的pod 加入到已有的pvc 中
修改资源清单文件 生成资源 查看信息
在RWX模式下pod-vo4-pvc这个新建的pod使用了已有的pvc和多个pod共同绑定一个pv 访问测试 4删除pvc绑定
查看 mypvc-test02 详细信息 查看信息 先删除使用这个pvc的所有pod 再删除pvc 查看发现pvc确实被删除了但是相应的pv处于Released状态此时pv无法被新pvc绑定 使用 edit 在线对pv 资源进行编辑删除claiRef段落。保存后通过命令查看其状态就自动变为了AvailablePV即可重新使用 删除以下内容 查看信息
pv004变为了Available状态 5.动态创建PV
1在NFS服务器配置nfs服务 2创建 Service Account用来管理 NFS Provisioner 在 k8s 集群中运行的权限设置 nfs-client 对 PVPVCStorageClass 等的规则
可以先加载镜像 查看当前sa 编写资源清单文件 再次查看sa 生成资源 再次查看sa 3使用 Deployment 来创建 NFS Provisioner
NFS Provisione(即 nfs-client)有两个功能一个是在 NFS 共享目录下创建挂载点(volume)另一个则是将 PV 与 NFS 的挂载点建立关联。
由于 1.20 版本启用了 selfLink所以 k8s 1.20 版本通过 nfs provisioner 动态生成pv会报错解决方法如下 创建 NFS Provisioner 生成资源
4创建 StorageClass负责建立 PVC 并调用 NFS provisioner 进行预定的工作并让 PV 与 PVC 建立关联 生成资源 5创建 PVC 和 Pod 测试 PVC 通过 StorageClass 自动申请到空间 查看 NFS 服务器上是否生成对应的目录自动创建的 PV 会以 ${namespace}-${pvcName}-${pvName} 的目录格式放到 NFS 服务器上 进入 Pod 在挂载目录 /mnt 下写一个文件然后查看 NFS 服务器上是否存在该文件 发现 NFS 服务器上存在说明验证成功 三、问题
1.生成pod一直pending
(1)报错 2原因分析
查看pod详细信息
[rootmaster volumes]# kubectl describe pod pod-emptydirnode节点有污点 3解决方法
查看污点
[rootmaster volumes]# kubectl describe nodes node01 | grep -i taints
Taints: checkmycheck:NoExecute
[rootmaster volumes]# kubectl describe nodes node02 | grep -i taints
Taints: checkmycheck:NoExecute去除所有node节点污点
[rootmaster volumes]# kubectl taint nodes node01 check:NoExecute-
node/node01 untainted
[rootmaster volumes]# kubectl taint nodes node02 check:NoExecute-
node/node02 untainted成功 2.shoumount -e未显示共享目录
1报错 2原因分析
配置文件关键词“squash”错误
3解决方法
修改配置文件
[rootstor01 ~]# vim /etc/exports修改前 修改后 成功 3.静态创建pv 报错
1报错 2原因分析
配置文件关键词”metadata“错误
修改前 修改后 成功 4.使用 Deployment 来创建 NFS Provisioner报错
1报错 2原因分析
配置文件”apiVersion“错误
3解决方法
修改配置文件
修改前 修改后 仍然报错 继续修改 成功 5.容器挂载报错
1报错 2原因分析
配置文件错误
3修改
修改前 修改后 成功 6.镜像拉取失败
1报错 2原因分析
查看详细信息 镜像拉取失败配置文件错误 3解决方法
每个节点确保上传镜像以防在线下载失败 修改配置文件的镜像名称
修改前 修改后 成功 7.生成PVC资源报错
1报错 2原因分析
配置文件错误
3解决方法
修改前 修改后 成功 8.Linux客户端挂载NFS共享报错
(1)报错 2原因分析
根据mount返回错误初步判断为rpcbind等相关服务异常。
查询Linux客户端rpcbind服务为stop状态。
3解决方法
# 重载一下再启动
systemctl daemon-reload
systemctl restart rpcbind.socket
systemctl start nfs四、总结
容器崩溃不会导致Pod被删除因此容器崩溃期间emptyDir中的数据是安全的。
hostPath卷将node节点的文件系统中的文件或者目录挂载到集群中。 PV/PVC总结
PV是对底层网络存储的抽象即将网络存储定义为一种存储资源将一个整体的存储资源拆分成多份后给不同的业务使用。
PVC是对PV资源的申请调用pod是通过PVC将数据保存至PVPV再把数据保存至真正的硬件存储。PV、PVC是K8S用来做存储管理的资源对象它们让存储资源的使用变得可控从而保障系统的稳定性、可靠性。StorageClass则是为了减少人工的工作量而去自动化创建PV的组件。所有Pod使用存储只有一个原则先规划 → 后申请 → 再使用。
pvc绑定情况和多节点读写
当pvc请求的 类型accessModes 和存储storage大小没有完全符合的pv时会在 accessModes类型相同的情况下
选择storage存储 大于请求的pv
在多个都大于时会选择最接近的。
在 类型accessModes都没有符合的情况下或者storage存储大小都小于请求的时候
pod和pvc会处于pnding状态
多节点读写在创建pod时pod.spec.volumes.claimName 的值使用已有的pvc 名,可以是pod使用已有的pvc从而使用pv
K8S有两种存储资源的供应模式静态模式和动态模式资源供应的最终目的就是将适合的PV与PVC绑定
静态模式管理员预先创建许多各种各样的PV等待PVC申请使用。
动态模式管理员无须预先创建PV而是通过StorageClass自动完成PV的创建以及与PVC的绑定。
StorageClass就是动态模式根据PVC的需求动态创建合适的PV资源从而实现存储卷的按需创建。
在创建 PVC 时需要指定 StorageClassPVC 选择到对应的StorageClass后与其关联的 Provisioner 组件来动态创建 PV 资源。它其实就一个存储驱动类似操作系统里的磁盘驱动。
StorageClass 资源对象的定义主要包括
名称、Provisioner、存储的相关参数配置、回收策略。StorageClass一旦被创建则无法修改只能删除重新创建。
PV和PVC的生命周期包括4个阶段
资源供应Provisioning、资源绑定Binding、资源使用Using、资源回收Reclaiming。首先旧的有资源供应说白了就是得有存储驱动然后才能创建、绑定和使用、回收。
解压命令
1、*.tar 用 tar -xvf 解压2、*.gz 用 gzip -d或者gunzip 解压3、*.tar.gz和*.tgz 用 tar -xzf 解压4、*.bz2 用 bzip2 -d或者用bunzip2 解压5、*.tar.bz2用tar -xjf 解压6、*.Z 用 uncompress 解压7、*.tar.Z 用tar -xZf 解压8、*.rar 用 unrar e解压9、*.zip 用 unzip 解压
