网站建设要学习什么,aso优化榜单,wordpress 置顶 不显示,企业形象通用网站目录
编辑什么是负载均衡
为什么用负载均衡
四层和七层的区别
实验环境
实验步骤
webserver上安装nginx
启动nginx
安装haproxy
编辑配置文件
多进程
多线程
SORRY SERVER
访问重定向
maxconne最大可承受连接 socat 工具
常用示例
ha p r ox y 的 算 法
静 …目录
编辑什么是负载均衡
为什么用负载均衡
四层和七层的区别
实验环境
实验步骤
webserver上安装nginx
启动nginx
安装haproxy
编辑配置文件
多进程
多线程
SORRY SERVER
访问重定向
maxconne最大可承受连接 socat 工具
常用示例
ha p r ox y 的 算 法
静 态 算 法
static-rr:基于权重的轮询调度
示例
first算法
示例
动态算法
roundrobin
示例
leastconn
示例
其他算法
source
示例
map-base取模法
示例
一致性hash
示例
uri
uri取模法配置示例 uri一致性hash 配置示例
访问测试
url_param
url_param取模法配置示例
url_param一致性hash 配置示例
测试访问
hdr
hdr取模法配置示例
一致性hash 配置示例 测试访问
算法总结
高 级 功 能 及 配 置
基于cookie的会话保持
配置选项
配置示例
访问测试 状态页
访问测试
编辑
IP透传
layer 4与layer 7
四层负载
七层代理
四 层IP 透 传
七层IP透 传
示例
ACL
ACL-criterion 匹配规范
改本地解析
hdr——dom
hdr_beg
hdr_end
base: string
base_sub
base_reg
path
domin基于域名
匹配浏览器类型
基于文件后缀名实现动静分离 编辑 匹配访问路径实现动静分离
自定义HAProxy 错误界面
重定向错误界面
HAProxy https实现 什么是负载均衡
负载均衡Load Balance,简 称LB, 是一种服务或基于硬件设备等实现的高可用反向代理技术负载均 衡将特定的业务(web 服务、网络流量等)分担给指定的一个或多个后端特定的服务器或设备从而提高了 公司业务的并发处理能力、保证了业务的高可用性、方便了业务后期的水平动态扩展
为什么用负载均衡
● Web服务器的动态水平扩展--对用户无感知
●增加业务并发访问及处理能力--解决单服务器瓶颈问题
●节约公网IP地址--降低IT支出成本
●隐藏内部服务器IP--提高内部服务器安全性
●配置简单--固定格式的配置文件
●功能丰富--支持四层和七层支持动态下线主机
●性能较强--并发数万甚至数十万 四层负载均衡 1.通过ipport决定负载均衡的去向。
2.对流量请求进行NAT 处理转发至后台服务器。
3.记录tcp、udp流量分别是由哪台服务器处理后续该请求连接的流量都通过该服务器处理。 4.支持四层的软件
4.支持四层的软件
● Ivs:重量级四层负载均衡器。
·Nginx: 轻量级四层负载均衡器可缓存。(nginx 四层是通过upstream模块)
·Haproxy: 模拟四层转发。 1.通过虚拟ur| 或主机ip 进行流量识别根据应用层信息进行解析决定是否需要进行负载均衡。
2.代理后台服务器与客户端建立连接如nginx可代理前后端与前端客户端tcp连接与后端服务器建 立tcp连接
3.支持7层代理的软件
·Nginx: 基于http 协议(nginx 七层是通过proxy_pass) ·Haproxy: 七层代理会话保持、标记、路径转移等。 四层和七层的区别
所谓的四到七层负载均衡就是在对后台的服务器进行负载均衡时依据四层的信息或七层的信息来决 定怎么样转发流量
四层的负载均衡就是通过发布三层的IP地址(VIP), 然后加四层的端口号来决定哪些流量需要做负 载均衡对需要处理的流量进行NAT 处理转发至后台服务器并记录下这个TCP 或者UDP 的流量是由 哪台服务器处理的后续这个连接的所有流量都同样转发到同一台服务器处理
七层的负载均衡就是在四层的基础上(没有四层是绝对不可能有七层的),再考虑应用层的特征比 如同一个Web服务器的负载均衡除了根据VIP加80端口辨别是否需要处理的流量还可根据七层的
URL、浏览器类别、语言来决定是否要进行负载均衡。
1.分层位置四层负载均衡在传输层及以下七层负载均衡在应用层及以下
2.性能四层负载均衡架构无需解析报文消息内容在网络吞吐量与处理能力上较高七层可支持解析应 用层报文消息内容识别URL、Cookie、HTTP header等信息。、
3.原理四层负载均衡是基于ipport;七层是基于虚拟的URL 或主机IP等。 4.功能类比四层负载均衡类似于路由器七层类似于代理服务器。
5.安全性四层负载均衡无法识别DDoS攻击七层可防御SYN Cookie/Flood攻击 实验环境 功能 IP 客户端 172.25.250.100/24 haproxy 172.25.250.100/24, eth1:192.168.0.10 RS1 eth0:172.25.250.10/24 RS2 eth0:172.25.250.20/24 实验步骤
webserver上安装nginx
dnf install nginx -y
写入网页文件 启动nginx 安装haproxy
注意区分在haproxy主机上安装
dnf install haproxy -y
编辑配置文件
global 配 置参数说明 参数 类 型 作用 chroot全 局锁定运行目录deamon全 局以守护进程运行 user,group,uid,gid 全 局 运行haproxy的用户身份 stats socket 全 局 套接字文件 nbproc N 全局 开启的haproxy worker进程数默认进程数是一个 nbthread 1(和nbproc 互斥) 全 局 指定每个haproxy进程开启的线程数默认为每个进程一个 线程 cpu-map 10 全 局 绑定haproxy worker进程至指定CPU,将第1个work进程绑 定至0号CPU cpu-map 21 全 局 绑定haproxy worker进程至指定CPU,将第2个work进程绑 定至1号CPU maxconn N 全 局 每个haproxy进程的最大并发连接数 maxsslconn N 全 局 每个haproxy进程ssl最大连接数用于haproxy配置了证书的 场景下 maxConnrate N 全局 每个进程每秒创建的最大连接数量 spread-checks N 全局 后端server状态check随机提前或延迟百分比时间建议2- 5(20%-50%)之间默认值0 pidfile 全 局 指定pid文件路径 log 127.0.0.1 local2 info 全局 定义全局的syslog服务器日志服务器需要开启UDP协议 最多可以定义两个 重启服务 测试 如果重启服务后访问不了后端服务器检测haproxy监听的端口是否是80
如果是5000.记得把一下删除 多进程 查看多进程信息 多线程 用的很少仅做了解 SORRY SERVER 修改配置文件并重启服务 记得要关闭一台webserve的nginx服务
测试 访问重定向 maxconne最大可承受连接 超过负载后就会把请求导向另外一个realserver 多开几个端口进行访问 socat 工具 对服务器动态权重和其它状态可以利用socat工具进行调整Socat 是 Linux 下的一个多功能的网络工具名字来由是Socket CAT,相当于netCAT 的增强版.Socat 的主要特点就是在两个数据流之间建立双向 通道且支持众多协议和链接方式。如IP、TCP、UDP、IPv6、Socket 文件等
范例利用工具socat 对服务器动态权重调整
下载工具 常用示例
要根据配置文件中的来写socat 针对多进程的处理方法 ha p r ox y 的 算 法 HAProxy通过固定参数 balance 指明对后端服务器的调度算法 balance参数可以配置在listen 或backend选项中。
HAProxy 的调度算法分为静态和动态调度算法
有些算法可以根据参数在静态和动态算法中相互转换。 静 态 算 法
静态算法按照事先定义好的规则轮询公平调度不关心后端服务器的当前负载、连接数和响应速度 等且无法实时修改权重(只能为0和1,不支持其它值),只能靠重启HAProxy 生效。 static-rr:基于权重的轮询调度 不支持运行时利用socat 进行权重的动态调整(只支持0和1,不支持其它值) 不支持端服务器慢启动 其后端主机数量没有限制相当于LVS 中的 wrr
慢启动是指在服务器刚刚启动上不会把他所应该承担的访问压力全部给它而是先给一部分当没 问题后在给一部分 示例 重启服务
client上测试 不支持运行时利用socat 进行权重的动态调整(只支持0和1,不支持其它值) first算法
●根据服务器在列表中的位置自上而下进行调度
●其只会当第一台服务器的连接数达到上限新请求才会分配给下一台服务 · 其会忽略服务器的权重设置
● 不支持用socat 进行动态修改权重可以设置0和1,可以设置其它值但无效
示例 调整maxconnect为1是为了方便演示效果 在多台主机中执行循环
达不到效果就多开几个端口
while true; do curl 172.25.250.100; sleep 0.1; done
一堆10中会出现一个20这是超过最大连接数后会调度到20上
测试完后改回maxconnect 动态算法
●基于后端服务器状态进行调度适当调整
●新请求将优先调度至当前负载较低的服务器
●权重可以在haproxy 运行时动态调整无需重启 roundrobin
1.基于权重的轮询动态调度算法
2.支持权重的运行时调整不同于Ivs中 的rr轮训模式
3.HAProxy 中的roundrobin 支持慢启动(新加的服务器会逐渐增加转发数),
4.其每个后端backend 中最多支持4095个real server,
5.支持对real server权重动态调整
6.roundrobin 为默认调度算法此算法使用广泛
支持慢启动 示例 leastconn leastconn加权的最少连接的动态将新的连接请求分配给当前连接数最少的服务器以此来达到负载均衡的目的。 支持权重的运行时调整和慢启动即根据当前连接最少的后端服务器而非权重进行优先调度(新客 户端连接) 比较适合长连接的场景使用比如MySQL 等场景。 示例 其他算法
其它算法即可作为静态算法又可以通过选项成为动态算法
source
源地址hash, 基于用户源地址hash并将请求转发到后端服务器后续同一个源地址请求将被转发至同一 个后端web 服务器。此方式当后端服务器数据量发生变化时会导致很多用户的请求转发至新的后端服 务器默认为静态方式但是可以通过hash-type支持的选项更改这个算法一般是在不插入Cookie的TCP 模式下使用也可给拒绝会话cookie的客户提供最好的会话粘性适用于session会话保持但不支持
cookie和缓存的场景源地址有两种转发客户端请求到后端服务器的服务器选取计算方式分别是取模法 和一致性hash 示例 测试
如果访问客户端时一个家庭那么所有的家庭的访问流量都会被定向到一台服务器这时source算 法的缺陷 map-base取模法
取模法用的较少所以后续仅作示例常用hash一致性算法
map-based: 取模法对source地址进行hash计算再基于服务器总权重的取模最终结果决定将此 请求转发至对应的后端服务器。
此方法是静态的即不支持在线调整权重不支持慢启动可实现对后端服务器均衡调度
缺点是当服务器的总权重发生变化时即有服务器上线或下线都会因总权重发生变化而导致调度结果 整体改变hash-type 指定的默认值为此算法 所谓取模运算就是计算两个数相除之后的余数10%73,7%43
map-based 算法基于权重取模hash(source_ip)%所有后端服务器相加的总权重 比如当源hash值时1111,1112,1113,三台服务器a b c的权重均为1,
即abc的调度标签分别会被设定为012(1111%31,1112%32,1113%30) 假设a 为0,1113主机会被调度到a上
如果a下线后权重数量发生变化
1111%21,1112%20,1113%21
1112和1113被调度到的主机都发生变化这样会导致会话丢失 示例 一致性hash 一致性哈希当服务器的总权重发生变化时对调度结果影响是局部的不会引起大的变动hash(o)
mod n
该hash 算法是动态的支持使用socat 等工具进行在线权重调整支持慢启动
1、后端服务器哈希环点keyAhash (后端服务器虚拟ip)%(2^32)
2、客户机哈希环点keylhash(client_ip)%(2^32) 得到的值在[0---4294967295]之间
3、将keyA 和keyl 都放在hash 环上将用户请求调度到离key1 最近的keyA 对应的后端服务器 hash 环偏斜问题
增加虚拟服务器IP 数量比如一个后端服务器根据权重为1生成1000个虚拟IP, 再 hash 。而后端服务器权 重为2则生成2000的虚拟IP, 再bash, 最终在hash 环上生成3000个节点从而解决hash 环偏斜问题 hash对象
Hash 对象到后端服务器的映射关系 一 致性hash 示意图 示例
source 变成hash一致性 uri
基于对用户请求的URI的左半部分或整个uri做hash, 再 将hash 结果对总权重进行取模后
根据最终结果将请求转发到后端指定服务器
适用于后端是缓存服务器场景
默认是静态算法也可以通过hash-type 指定map-based 和consistent, 来定义使用取模法还是一致性 hash 注意此算法基于应用层所以只支持mode http,不 支 持mode tcp也就是只支持七层不支持四层
scheme://user:passwordhost:port/path;params?query#frag 左半部分/path;params
整个uri:/path;params?query#frag uri取模法配置示例 uri一致性hash 配置示例 访问测试
访问不同的uri, 确认可以将用户同样的请求转发至相同的服务器 如图所示访问不同的uri, 确认可以将用户同样的请求转发至相同的服务器 url_param
url_param 对用户请求的url中的 params 部分中的一个参数key对应的value值作hash 计算并由服务器 总权重相除以后派发至某挑出的服务器后端搜索同一个数据会被调度到同一个服务器多用与电商
通常用于追踪用户以确保来自同一个用户的请求始终发往同一个real server
如果无没key, 将按roundrobin 算法 #假设
urlhttp://www.timinglee.com/foo/bar/index.php?keyvalue#则
hostwww.timinglee.com url_paramkeyvalue url_param取模法配置示例 url_param一致性hash 配置示例 测试访问 如图 hdr
针对用户每个http 头部(header) 请求中的指定信息做hash, 此处由name 指定的http 首部将会被取出并做hash计算
然后由服务器总权重取模以后派发至某挑出的服务器如果无有效值则会使用默认的轮询调度。
hdr取模法配置示例 一致性hash 配置示例 测试访问 算法总结
#静态
static-rr---------tcp/http#动态
roundrobin--------tcp/http leastconn---------tcp/http
random------------tcp/http#以下静态和动态取决于hash_type 是否consistent
source------------tcp/http
Uri---------------http
url_param---------http
hdr---------------httpfirst #使用较少
static-rr #做了session 共享的web集群
roundrobin random
leastconn #数据库
source #基于客户端公网IP 的会话保持
Uri---------------http #缓存服务器CDN服务商蓝汛、百度、阿里云、腾讯
url_param---------http #可以实现session 保持
hdr #基于客户端请求报文头部做下一步处理 高 级 功 能 及 配 置
基于cookie的会话保持
cookie value:为当前server 指定cookie 值实现基于cookie 的会话黏性相对于基于source 地址hash 调度算法对客户端的粒度更精准但同时也加大了haproxy 负载目前此模式使用较少已经被 session共享服务器代替 注意不支持 tcp mode,使 用http mode
配置选项
cookie name [rewrite | insert | prefix ][ indirect ][ nocache ][postonly ][ preserve ][httponly ][secure ][domain ]*[maxidle idle][maxlife ]name: #cookie 的 key 名称用于实现持久连接
insert: #插入新的cookie, 默认不插入cookie
indirect: #如果客户端已经有cookie, 则不会再发送cookie 信息
nocache: #当client 和hapoxy 之间有缓存服务器(如CDN) 时不允许中间缓存器缓存cookie, #因为这会导致很多经过同一个CDN的请求都发送到同一台后端服务器
cookie name [rewrite | insert | prefix ][ indirect ][ nocache ][postonly ][ preserve ][httponly ][secure ][domain ]*[maxidle idle][maxlife ] 配置示例 访问测试 可以看到cookie是我们设置的值 状态页 访问测试 IP透传
web 服务器中需要记录客户端的真实IP地址用于做访问统计、安全防护、行为分析、区域排行等场 景。不做透传是无法看到谁发送的请求RS只能看到haproxy的ip
layer 4与layer 7
四 层 IPPORT 转发
七层协议内容交换 四层负载
在四层负载设备中把client发送的报文目标地址(原来是负载均衡设备的IP地址),根据均衡设备设置的 选择web 服务器的规则选择对应的web 服务器IP 地址这样client 就可以直接跟此服务器建立TCP 连接并 发送数据而四层负载自身不参与建立连接而和LVS不 同 haproxy 是伪四层负载均衡因为haproxy 需要分别和前端客户端及后端服务器建立连接 七层代理
七层负载均衡服务器起了一个反向代理服务器的作用服务器建立一次TCP 连接要三次握手而client要 访 问Web Server要先与七层负载设备进行三次握手后建立TCP连接把要访问的报文信息发送给七层负 载均衡然后七层负载均衡再根据设置的均衡规则选择特定的 Web Server,然后通过三次握手与此台
Web Server建 立TCP 连接然后Web Server把需要的数据发送给七层负载均衡设备负载均衡设备再把 数据发送给client;所以七层负载均衡设备起到了代理服务器的作用七层代理需要和Client和后端服 务器分别建立连接 四 层IP 透 传
haproxy上 server1 重启服务 访问一下172.25.250.100然后查看日志 七层IP透 传
在 由haproxy 发往后端主机的请求报文中添加“X-Forwarded-For 首部其值为前端客户端的地址用于 向后端主发送真实的客户端IP 示例 ACL
访问控制列表ACL,Access Control Lists) 是一种基于包过滤的访问控制技术
它可以根据设定的条件对经过服务器传输的数据包进行过滤(条件匹配)即对接收到的报文进行匹配和过 滤基于请求报文头部中的源地址、源端口、目标地址、目标端口、请求方法、 URL、 文件后缀等信息 内容进行匹配并执行进一步操作比如允许其通过或丢弃。 ACL-criterion 匹配规范 hdr string,提取在一个HTTP 请求报文的首部 hdr([name[,0cc]]): 完全匹配字符串header 的指定信息0CC 表示在多值中使用的值的出 现次数 hdr_beg([name[,0Cc]]): 前 缀 匹 配 header 中指定匹配内容的begin hdr_end([name[,0Cc]]): 后缀匹配header 中指定匹配内容end hdr_dom([name[,0Cc]]): 域 匹 配 header 中的domain name(host) hdr_dir([name[,0Cc]]): 路径匹配header 的uri 路径 hdr_len([name[,0cc]]): 长度匹配header 的长度匹配 hdr_reg([name[,0Cc]]): 正则表达式匹配自定义表达式(regex) 模糊匹配 hdr_sub([name[,0cc]]): 子串匹配header 中的uri 模糊匹配 模糊匹配c 洪湖报文中a/b/c 也会匹配 #示例 hdr(string) 用于测试请求头部首部指定内容 hdr_dom(host) 请求的host 名称如 www.timinglee.org hdr_beg(host) 请求的host 开头如www.img.video. download. ftp. hdr_end(host) 请求的host 结尾如 .com .net .cn #示例 acl bad_agent hdr_sub(User-Agent)-i curl wget block if bad_agent #有些功能是类似的比如以下几个都是匹配用户请求报文中host 的开头是不是www acl short_form hdr_beg(host) WwW. acl alternate1 hdr_beg(host)-m beg www. acl alternate2 hdr_dom(host)-m beg www. acl alternate3 hdr(host) -m beg www. base:string #返回第一个主机头和请求的路径部分的连接该请求从主机名开始并在问号之前结束对虚拟主机有用 scheme://user:password#host:port/path;params#?query#frag base :exact string match base_beg :prefix match base_dir:subdir match base_dom:domain match base_end :suffix match base_len:length match base_reg :regex match base_sub :substring match path:string #提取请求的URL 路径该路径从第一个斜杠开始并在问号之前结束(无主机部分)
改本地解析
C:\Windows\System32\drivers\etc、 hdr——dom hdr_beg
hdr_beg请求的host开头如www. img. bbs. 重启服务 改解析 测试
匹配上了就是web1
没有匹配上就是20 hdr_end 重启服务 测试结果 base: string
#返回第一个主机头和请求的路径部分的连接该请求从第一个斜杠开始并在问号之前结束,对虚拟主机有用 base_sub sub就是网址整个一段中包含lee就算
不管是域名还是路径 base_reg 正则表达式匹配 这里是匹配以lee结尾的正则
测试 path
#提取请求的URL路径该路径从第一个斜杠开始并在问号之前结束无主机部分
scheme://user:passwordhost:port#/path;params#?query#frag domin基于域名
指定的域名导向webcluster
否则导向default-host 基于源ip或子网段 指定来源都拒绝 匹配浏览器类型
拒绝curl和 wget的访问 基于文件后缀名实现动静分离 匹配访问路径实现动静分离 自定义HAProxy 错误界面
停止10web和20nginx的服务 编写文件 指定创建的文件 重启hapraxy
然后去网页访问 重定向错误界面 重启 在网页测试访问 HAProxy https实现 haproxy 可以实现https 的证书安全从用户到haproxy 为https, 从haproxy 到后端服务器用http 通 信 但基于性能考虑生产中证书都是在后端服务器比如nginx 上实现 重启服务
测试
