贵州省住房和城乡建设厅网网站,上海整站优化,百度识图软件,未备案网站Kubernetes暴露服务的方式目前只有三种#xff1a;LoadBlancer Service、NodePort Service、Ingress#xff0c;通俗来讲#xff0c;ingress和之前提到的Service、Deployment#xff0c;也是一个k8s的资源类型#xff0c;ingress用于实现用域名的方式访问k8s内部应用。 In… Kubernetes暴露服务的方式目前只有三种LoadBlancer Service、NodePort Service、Ingress通俗来讲ingress和之前提到的Service、Deployment也是一个k8s的资源类型ingress用于实现用域名的方式访问k8s内部应用。 Ingress为Kubernetes集群中的服务提供了入口可以提供负载均衡、SSL终止和基于名称的虚拟主机在生产环境中常用的Ingress有Treafik、Nginx、HAProxy、Istio等。
一、基本概念 service的作用体现在两个方面对集群内部它不断跟踪pod的变化更新endpoint端点中对应pod的对象提供了ip不断变化的pod的服务发现机制对集群外部他类似负载均衡器可以在集群内外部对pod进行访问。 在Kubernetes中Pod的IP地址和service的ClusterIP仅可以在集群网络内部使用对于集群外的应用是不可见的。为了使外部的应用能够访问集群内的服务Kubernetes目前提供了以下几种方案 NodePort将service暴露在节点网络上NodePort背后就是Kube-ProxyKube-Proxy是沟通service网络、Pod网络和节点网络的桥梁。 测试环境使用还行当有几十上百的服务在集群中运行时NodePort的端口管理就是个灾难。因为每个端口只能是一种服务端口范围只能是 30000-32767。 LoadBalancer通过设置LoadBalancer映射到云服务商提供的LoadBalancer地址。这种用法仅用于在公有云服务提供商的云平台上设置 Service 的场景。受限于云平台且通常在云平台部署LoadBalancer还需要额外的费用。在service提交后Kubernetes就会调用CloudProvider在公有云上为你创建一个负载均衡服务并且把被代理的Pod的IP地址配置给负载均衡服务做后端。 externalIPsservice允许为其分配外部IP如果外部IP路由到集群中一个或多个Node上Service会被暴露给这些externalIPs。通过外部IP进入到集群的流量将会被路由到Service的Endpoint上。 Ingress只需一个或者少量的公网IP和LB即可同时将多个HTTP服务暴露到外网七层反向代理。可以简单理解为service的service它其实就是一组基于域名和URL路径把用户的请求转发到一个或多个service的规则。
注意 目前比较流行的IngressController有ingress-nginx 由Kubemetes官方维护、 nginx-ingress由Nginx官方维护注意和Ingress-nginx的区别、Traefik、Istio等。
ingress-nginx(Kubemetes维护) ingress:接口编写规则--》yaml ingress-controller:nginx
客户端(浏览器)---》地址栏(url)---》dns解析---》ip(安装了ingress-nginx的节点ip)-路由规则--》service---》pod
服务发布
重定向
前后端的分离(aaa.com,aaa.com/api)
htttps--ssl 终结
身份认证
灰度发布(金丝雀发布)
1.Ingress 组成
1ingress ingress是一个API对象通过yaml文件来配置ingress对象的作用是定义请求如何转发到service的规则可以理解为配置模板。 ingress通过http或https暴露集群内部service给service提供外部URL、负载均衡、SSL/TLS能力以及基于域名的反向代理。ingress要依靠 ingress-controller 来具体实现以上功能。
2ingress-controller ingress-controller是具体实现反向代理及负载均衡的程序对ingress定义的规则进行解析根据配置的规则来实现请求转发。 ingress-controller并不是k8s自带的组件实际上ingress-controller只是一个统称用户可以选择不同的ingress-controller实现目前由k8s维护的ingress-controller只有google云的GCE与ingress-nginx两个其他还有很多第三方维护的ingress-controller具体可以参考官方文档。但是不管哪一种ingress-controller实现的机制都大同小异只是在具体配置上有差异。 一般来说ingress-controller的形式都是一个pod里面跑着daemon程序和反向代理程序。daemon负责不断监控集群的变化根据 ingress对象生成配置并应用新配置到反向代理比如ingress-nginx就是动态生成nginx配置动态更新upstream并在需要的时候reload程序应用新配置。 ingress-controller才是负责具体转发的组件通过各种方式将它暴露在集群入口外部对集群的请求流量会先到 ingress-controller 而ingress对象是用来告诉ingress-controller该如何转发请求比如哪些域名、哪些URL要转发到哪些service等等。
2.Ingress工作过程 用户访问一个业务的流程如下
(1)用户在浏览器中输入域名
(2)域名解析至业务的入口IP一般为外部负载均衡器比如阿里的SLB或者DMZ的网关。
(3)外部负载均衡器反向代理至kubernetes的入口一般为Ingress或者通过NodePort暴露的服务等。
(4)Ingress根据自身的配置找到对应的Service再代理到对应的Service上。
(5)最后到达Service对应的某一个Pod上。 可见在一般情况下Ingress主要是一个用户kubernetes集群业务的入口。是业务能够 正常提供服务的核心所以在生产环境中推荐使用单独的服务器作为Ingress Controller。Controller可以使用Traefik、Istio、Nginx、HaProxy等作为Ingress Controller。因为相对于其他Ingress Controller管理人员更熟悉Nginx或者HaProxy等服务所以本章主要讲解Ingress Nginx的安装与常用配置这也是kubernetes官方提供的Ingress Controller。
3.Ingress 工作原理 (1)ingress-controller通过和 kubernetes APIServer 交互动态的去感知集群中ingress规则变化
(2)然后读取它按照自定义的规则规则就是写明了哪个域名对应哪个service生成一段nginx配置
(3)再写到nginx-ingress-controller的pod里这个ingress-controller的pod里运行着一个Nginx服务控制器会把生成的 nginx配置写入 /etc/nginx.conf文件中
(4)然后reload一下使配置生效。以此达到域名区分配置和动态更新的作用。
二、安装Ingress Nginx Controller 由于Ingress Controller相当于kubernetes集群中服务的“大门”因此在生产环境中一定要保障Controller的稳定性和可用性。为了提高Ingress Controller的可用性我们-般采用单独的服务器作为Controller节点以此保障Ingress Controller的Pod资源不会被其他服务的Pod影响。
Ingress Nginx官方提供了多种部署方式,本节课将采用Helm的方式进行安装并且将Ingress Controller安装在k8s-node0l节点。
1.下载并安装helm已有helm环境可忽略此步骤
[rootk8s-master ~]# wget https://get.helm.sh/helm-v3.9.4-linux-amd64.tar.gz
[rootk8s-master ~]# tar zxvf helm-v3.9.4-linux-amd64.tar.gz
[rootk8s-master ~]# mv linux-amd64/helm /usr/local/bin/
2.下载并修改Ingress Controller参数已有离线包可忽略此步骤
[rootk8s-master ~]# helm repo \
add ingress-nginx https://kubernetes.github.io/ingress-nginx
ingress-nginx has been added to your repositories
[rootk8s-master ~]# helm repo update
Hang tight while we grab the latest from your chart repositories...
...Successfully got an update from the ingress-nginx chart repository
Update Complete. ⎈Happy Helming!⎈
[rootk8s-master ~]# helm pull ingress-nginx/ingress-nginx --version 4.7.1
[rootk8s-master ~]# tar xvf ingress-nginx-4.7.1.tgz
[rootk8s-master ~]# vim ingress-nginx/values.yaml
1将Controller的registry仓库地址修改为国内的
controller:name: controllerimage:chroot: falseregistry: registry.cn-hangzhou.aliyuncs.comimage: tanzu/controllertag: v1.6.4#digest: sha256:15be4666c53052484dd2992efacf2f50ea77a78ae8aa21ccd91af6baaa7ea22f#digestChroot: sha256:0de01e2c316c3ca7847ca13b32d077af7910d07f21a4a82f81061839764f8f81
2修改opentelemetry镜像地址 opentelemetry:enabled: falseimage: registry.cn-hangzhou.aliyuncs.com/tanzu/opentelemetry:v20230107containerSecurityContext:allowPrivilegeEscalation: false
3将admissionWebhook的镜像地址修改为国内的 patchWebhookJob:securityContext:allowPrivilegeEscalation: falseresources: {}patch:enabled: trueimage:registry: registry.cn-hangzhou.aliyuncs.comimage: tanzu/kube-webhook-certgentag: v20220916-gd32f8c343#digest: sha256:543c40fd093964bc9ab509d3e791f9989963021f1e9e4c9c7b6700b02bfb227bpullPolicy: IfNotPresent
4修改hostNetwork的值为true
设置为true时,该Pod将与其所在节点共享网络命名空间。
5dnsPolicy设置为ClusterFirstWithHostNet
kubernetes可以在pod级别通过 dnspolicy字段设置DNS策略。目前支持的DNS策略如下
Default 继承pod所在宿主机的域名解析设置。ClusterFirst 将优先使用kubernetes环境的dns服务如coreDNS提供的域名解析服务将无法解析的域名转发到系统配置的上游DNS服务器。ClusterFirstWithHostNet: 适用与以hostNetwork模式运行的pod。None 忽略集群的DNS配置需要手工通过dnsConfig自定义DNS配置。这个选项在1.9版本中开始引入到1.10版本时升级为Beta到1.14版本时达到稳定版本。
6nodeSelector添加ingress: “true” nodeSelector:ingress: true
kubernetes.io/os: linux
此配置能够将ingress安装在带有“ingress: true”标签的节点上。
7修改kind类型为DeamonSet
kind: DeamonSet
注意
如果已经下载好了离线的helm和ingress-nginx可以直接解压并安装不必下载。
3.部署ingress
1给需要部署Ingress Controller的节点打标签
[rootk8s-master ~]# kubectl label node k8s-node01 ingresstrue
2创建namespace
[rootk8s-master ~]# kubectl create ns ingress-nginx
namespace/ingress-nginx created
3安装ingress-nginx
[rootk8s-master ~]# cd ingress-nginx
# 安装
[rootk8s-master ~]# helm install ingress-nginx -n ingress-nginx .
注意最后有一个点
# 卸载不必要
helm uninstall ingress-nginx -n ingress-nginx
# 查看安装信息
[rootmaster ~]# ku get pod -n ingress-nginx -o wide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
ingress-nginx-controller-rbzvg 1/1 Running 0 61s 192.168.10.102 node1 none none
三、Ingress Nginx入门 首先从最简单的配置开始假如公司有一个web服务的容器需要为其添加一个域名此时可以使用Ingerss实现该功能。
1.创建一个用于学习的namespace
[rootk8s-master ~]# kubectl create ns study-ingress
2.创建一个nginx作为web服务
[rootmaster ~]# ku create deployment nginx --imagenginx:1.7.9 -n study-ingress
deployment.apps/nginx created
3.创建一个该web容器的Service
[rootmaster ~]# ku expose deployment nginx --port 80 -n study-ingress
service/nginx exposed
4.创建ingress指向上一步中的Service
[rootmaster ~]# vim web-ingress.yaml apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:name: nginx-ingressnamespace: study-ingress
spec:ingressClassName: nginxrules:- host: nginx.test.comhttp:paths:- backend:service:name: nginxport:number: 80path: /pathType: ImplementationSpecific
备注
路径类型
有3种支持的path类型
ImplementationSpecific对于这种path类型匹配取决于IngressClass。可以将其视为一个单独的pathType或者将其认为和Prefix或者Exact路径类型一样。Exact精确匹配URL路径并且区分大小写Prefix: 根据URL中的被/分割的前缀进行匹配。匹配区分大小写并且按照元素对路径进行匹配。path元素指的是路径中由/分隔符分隔的标签列表。注意如果路径的最后一个元素是请求路径中最后一个元素的子字符串那么这个是不匹配的。【举例/foo/bar匹配/foo/bar/baz但是不匹配/foo/barbaz
5.创建该ingress
[rootmaster ~]# ku create -f web-ingress.yaml
ingress.networking.k8s.io/nginx-ingress created
注意
不要删除此ingress否则后面的ssl无法访问
6.客户端访问测试 创建的Ingress绑定的域名为nginx.test.com由于本书的IngressController是以hostNetwork模式部署的因此将域名解析至IngressController所在的节点即可。如果IngressController上层还有一层网关解析至网关IP即可。接下来通过域名nginx.test.com即可访问Web服务器。 可以看到通过上述简单的Ingress资源定义就可以实现以域名的方式访问服务不需要再去维护复杂的Ngmx配置文件大大降低了运维的复杂度和出错的频率。 接下来通过一些其他配置实现企业内常用的功能比如重定向、前后端分离、错误友好页面等。 四、Ingress Nginx域名重定向Redirect 当一个服务需要更换域名时并不能对其直接更改需要一个过渡的过程。在这个过程中需要将旧域名的访问跳转到新域名,此时可以使用Redirect功能。待旧域名无访问时再停止旧域名。 在Nginx作为代理服务器时Redirect可用于域名的重定向比如访问old.com被重定向到new.com。Ingress可以更简单地实现Redirect功能。接下来用nginx.redirect.com作为旧域名baidu.com作为新域名进行演示。
1.编辑Ingress文件
[rootmaster ~]# vim redirect.yaml apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:annotations:nginx.ingress.kubernetes.io/permanent-redirect: https://www.baidu.comname: nginx-redirectnamespace: study-ingress
spec:ingressClassName: nginxrules:- host: nginx.redirect.comhttp:paths:- backend:service:name: nginxport:number: 80path: /pathType: ImplementationSpecific
2. 创建Ingress
[rootmaster ~]# ku create -f redirect.yaml
ingress.networking.k8s.io/nginx-redirect created 3.测试 在客户端的hosts文件添加域名nginx.redirect.comIP地址为k8s-node01节点的IP地址。
使用域名nginx.redirect.com访问网站打开的是baidu,com说明跳转成功。
五、Ingress Nginx前后端分离Rewrite 现在大部分应用都是前后端分离的架构也就是前端用某个域名的根路径进行访问后端接口采用api进行访问用来区分前端和后端。或者同时具有很多个后端需要使用api-a到A服务,api-b到B服务但是由于A和B服务可能并没有api-a和api-b的路径因此需要将api-x重写为“”才可以正常到A或者B服务否则将会出现404的报错。此时可以通过Rewrite功能达到这种效果。
1.创建一个应用模拟后端服务
[rootmaster ~]# ku create deployment backend-api --imagenginx:1.7.9 -n study-ingress
deployment.apps/backend-api created
2. 创建Service暴露应用
[rootmaster ~]# ku expose deployment backend-api --port 80 -n study-ingress
service/backend-api exposed
3. 查看该Service的地址并通过/api-a访问测试
[rootmaster ~]# ku get svc -n study-ingress
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
backend-api ClusterIP 10.108.200.70 none 80/TCP 3s
nginx ClusterIP 10.108.137.55 none 80/TCP 64m
http://nginx.test.com/api-a 4. 编辑ingress实现rewrite
[rootmaster ~]# vim rewirte.yaml apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:annotations:nginx.ingress.kubernetes.io/rewrite-target: /$2name: backend-apinamespace: study-ingress
spec:ingressClassName: nginxrules:- host: nginx.test.comhttp:paths:- backend:service:name: backend-apiport:number: 80path: /api-a(/|$)(.*)pathType: ImplementationSpecific
5. 创建该ingress
[rootmaster ~]# ku create -f rewirte.yaml
ingress.networking.k8s.io/backend-api created
6.访问测试
http://nginx.test.com/api-a 六、 Ingress Nginx SSL配置 生产环境对外的服务一般需要配置HTTPS协议使用Ingress也可以非常方便地添加HTTPS的证书°。 由于是学习环境并没有权威证书因此需要使用OpenSSL生成一个测试证书如果是生产环境那么证书为在第三方公司购买的证书无须自行生成。
1.生成证书
[rootmaster ~]# openssl req -x509 -nodes -days 365 -newkey rsa:2048 -keyout tls.key -out tls.crt -subj /CNnginx.test.com
Generating a 2048 bit RSA private key
........................................................................................
......................................
writing new private key to tls.key
-----
2. 创建证书的secret
[rootmaster ~]# ku create secret tls ca-secret --certtls.crt --keytls.key -n study-ingress
secret/ca-secret created
3. 编辑ingress
[rootk8s-master ~]# vim ingress-ssl.yamlapiVersion: networking.k8s.io/v1
kind: Ingress
metadata:creationTimestamp: nullname: nginx-ingress-ssl
spec:ingressClassName: nginx-sslrules:- host: nginx.test.comhttp:paths:- backend:service:name: nginxport:number: 80path: /pathType: ImplementationSpecifictls:- hosts: ##证书授权的域名列表- nginx.test.comsecretName: ca-secret ##证书的secret名字
4. 创建此ingress
[rootmaster ~]# ku create -f ingress-ssl.yaml
ingress.networking.k8s.io/nginx-ingress-ssl created
5. 访问测试
https://nginx.test.com 七、Ingress Nginx基本认证 有些网站可能需要通过密码来访问,对于这类网站可以使用nginx的basic-auth设置密码访问,具体方法如下由于需要使用htpasswd工具因此需要安装httpd。
1.安装httpd
[rootmaster ~]# yum -y install httpd
2. 使用htpasswd创建用户
[rootmaster ~]# htpasswd -c auth zhangsan
New password:
Re-type new password:
Adding password for user zhangsan
3. 基于之前创建的密码文件创建secret
[rootmaster ~]# ku create secret generic basic-auth --from-fileauth -n study-ingress
secret/basic-auth created
4.编辑ingress包含密码认证
[rootmaster ~]# vim ingress-with-auth.yaml apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:annotations:nginx.ingress.kubernetes.io/auth-realm: Please Input Your Username and Passwordnginx.ingress.kubernetes.io/auth-secret: basic-authnginx.ingress.kubernetes.io/auth-type: basicname: ingress-with-authnamespace: study-ingress
spec:ingressClassName: nginxrules:- host: auth.test.comhttp:paths:- backend:service:name: nginxport:number: 80path: /pathType: ImplementationSpecific
备注 nginx.ingress.kubernetes.io/auth-secret: auth 密码文件的secret名称 nginx.ingress.kubernetes.io/auth-type: basic 认证类型 host: auth.test.com 客户端要访问的域名注意不要使用前面的域名或者把前面的ingress都删掉
5.部署此ingress
[rootmaster ~]# ku create -f ingress-with-auth.yaml
ingress.networking.k8s.io/ingress-with-auth created
6.访问测试
在客户端添加域名auth.test.com的解析
