怀柔建设网站,电子商务网站设计实验报告,网页设计教程电子书,公司不需要做网站了文章目录一、缓存预热二、缓存雪崩三、缓存击穿四、缓存穿透五、性能指标监控5.1 监控指标5.2 监控方式#x1f34c;benchmark#x1f34c;monitor#x1f34c;slowlog提示#xff1a;以下是本篇文章正文内容#xff0c;Redis系列学习将会持续更新 一、缓存预热
1.1 现象… 文章目录一、缓存预热二、缓存雪崩三、缓存击穿四、缓存穿透五、性能指标监控5.1 监控指标5.2 监控方式benchmarkmonitorslowlog提示以下是本篇文章正文内容Redis系列学习将会持续更新 一、缓存预热
1.1 现象 “宕机”服务器启动后迅速宕机。
1.2 问题排查 ①请求数量较高。 ②主从之间数据吞吐量较大数据同步操作频度较高。
1.3 解决方案
前置准备工作
日常例行统计数据访问记录统计访问频度较高的热点数据。利用 LRU 数据删除策略构建数据留存队列。 例如storm 与 kafka 配合
准备工作
将统计结果中的数据分类根据级别redis 优先加载级别较高的热点数据。利用分布式多服务器同时进行数据读取提速数据加载过程。热点数据主从同时预热。
实施
使用脚本程序固定触发数据预热过程。如果条件允许使用了CDN内容分发网络效果会更好。
1.4 总结 缓存预热就是系统启动前提前将相关的缓存数据直接加载到缓存系统。避免在用户请求的时候先查询数据库然后再将数据缓存的问题用户直接查询事先被预热的缓存数据
回到目录…
二、缓存雪崩
2.1 现象
系统平稳运行过程中忽然数据库连接量激增应用服务器无法及时处理请求大量408500错误页面出现客户反复刷新页面获取数据数据库崩溃应用服务器崩溃重启应用服务器无效Redis服务器崩溃Redis集群崩溃重启数据库后再次被瞬间流量放倒
2.2 问题排查
在一个较短的时间内缓存中大量 key 集中过期此周期内请求访问过期的数据redis未命中redis向数据库获取数据数据库同时接收到大量的请求无法及时处理Redis大量请求被积压开始出现超时现象数据库流量激增数据库崩溃重启后仍然面对缓存中无数据可用Redis服务器资源被严重占用Redis服务器崩溃Redis集群呈现崩塌集群瓦解应用服务器无法及时得到数据响应请求来自客户端的请求数量越来越多应用服务器崩溃应用服务器redis数据库全部重启效果不理想
2.3 解决方案
更多的页面静态化处理构建多级缓存架构 Nginx缓存 redis缓存 ehcache缓存检测 Mysql 严重耗时业务进行优化 对数据库的瓶颈排查例如超时查询、耗时较高事务等灾难预警机制 监控redis服务器性能指标 CPU占用、CPU使用率 内存容量 查询平均响应时间 线程数限流、降级 短时间范围内牺牲一些客户体验限制一部分请求访问降低应用服务器压力待业务低速运转后再逐步放开访问LRU 与 LFU 切换数据有效期策略调整 根据业务数据有效期进行分类错峰A类90分钟B类80分钟C类70分钟过期时间使用固定时间 随机值的形式稀释集中到期的 key 的数量 超热数据使用永久key定期维护自动人工 对即将过期数据做访问量分析确认是否延时配合访问量统计做热点数据的延时加锁慎用
2.4 总结 缓存雪崩就是瞬间过期数据量太大导致对数据库服务器造成压力。如能够有效避免过期时间集中可以有效解决雪崩现象的出现约40%配合其他策略一起使用并监控服务器的运行数据根据运行记录做快速调整。
回到目录…
三、缓存击穿
3.1 现象
系统平稳运行过程中数据库连接量瞬间激增Redis 服务器无大量 key 过期Redis 内存平稳无波动Redis 服务器 CPU 正常数据库崩溃
3.2 问题排查
Redis 中单个key高热数据过期在短时间内发起了大量对数据库中同一数据的访问多个数据请求从服务器直接压到 Redis后均未命中
3.3 解决方案
预先设定 现场调整 以电商为例每个商家根据店铺等级指定若干款主打商品在购物节期间加大此类信息key的过期时长 注意购物节不仅仅指当天以及后续若干天访问峰值呈现逐渐降低的趋势监控访问量对自然流量激增的数据延长过期时间或设置为永久性key 后台刷新数据 启动定时任务高峰期来临之前刷新数据有效期确保不丢失二级缓存设置不同的失效时间保障不会被同时淘汰就行加锁 分布式锁防止被击穿但是要注意也是性能瓶颈慎重
3.4 总结 缓存击穿 就是单个高热数据过期的瞬间数据访问量较大未命中redis后发起了大量对同一数据的数据库访问导致对数据库服务器造成压力。应对策略应该在业务数据分析与预防方面进行配合运行监控测试与即时调整策略毕竟单个key的过期监控难度较高配合雪崩处理策略即可。
回到目录…
四、缓存穿透
4.1 现象
系统平稳运行过程中应用服务器流量随时间增量较大Redis服务器命中率随时间逐步降低Redis内存平稳内存无压力Redis服务器CPU占用激增数据库服务器压力激增数据库崩溃
4.2 问题排查
Redis 中大面积出现未命中查询的数据在数据库中也不存在出现非正常URL访问出现黑客攻击服务器
4.3 解决方案 缓存null 对查询结果为null的数据进行缓存定期清理设定短时限例如30-60秒最高5分钟 白名单策略 提前预热所有数据id 对应的bitmapsid作为 bitmaps的offset相当于设置了数据白名单。当加载正常数据时放行加载异常数据时直接拦截效率偏低使用布隆过滤器不能保证100%过滤 实施监控 实时监控 redis命中率业务正常范围时通常会有一个波动值与 null数据的占比 ① 非活动时段波动通常检测3-5倍超过5倍纳入重点排查对象 ② 活动时段波动通常检测10-50倍超过50倍纳入重点排查对象 根据倍数不同启动不同的排查流程。然后使用黑名单进行防控运营 key加密 问题出现后临时启动防灾业务key对key进行业务层传输加密服务设定校验程序过来的key校验。发现访问key不满足规则驳回数据访问。 例如, name -- nxaxmxexage -- axgxex
4.4 总结 缓存击穿 是 访问了不存在的数据跳过了合法数据的redis数据缓存阶段每次访问数据库导致对数据库服务器造成压力。通常此类数据的出现量是一个较低的值当出现此类情况以毒攻毒并及时报警。应对策略应该在临时预案防范方面多做文章。 无论是黑名单还是白名单都是对整体系统的压力警报解除后尽快移除。
回到目录…
五、性能指标监控
5.1 监控指标
性能指标Performance内存指标Memory基本活动指标Basic activity持久性指标Persistence错误指标Error
性能指标Performance描述latencyRedis响应一个请求的时间instantaneous_ops_per_sec平均每秒处理请求的总数hit rate (calculated)缓存命中率 (计算出来的)
内存指标Memory描述used_memory已使用内存mem_fragmentation_ratio内存碎片率evicted_keys由于最大内存限制被移除的key的数量blocked_clients由于BLPOP,BRPOP,or BRPOPLPUSH而备阻塞的客户端
基本活动指标Basic activity描述connected_clients客户端连接数connected_slavesSlave数量master_last_io_seconds_ago最近一次主从交互之后的秒数keyspace数据库中的key值总数
持久性指标Persistence描述rdb_last_save_time最后一次持久化保存到磁盘的时间戳rdb_changes_since_last_save自最后一次持久化以来数据库的更改数
错误指标Error描述rejected_connections由于达到maxclient限制而被拒绝的连接数keyspace_misseskey值查找失败 (没有命中) 次数master_link_down_since_seconds主从断开的持续时间 (以秒为单位)
回到目录…
5.2 监控方式
工具 Cloud Insight RedisPrometheusRedis-statRedis-fainaRedisLivezabbix 命令 benchmarkredis cli monitorshowlog
benchmark
● 命令
redis-benchmark [-h ] [-p ] [-c ] [-n requests] [-k ]● 范例
# 说明50个连接10000次请求对应的性能
redis-benchmark
# 说明100个连接5000次请求对应的性能
redis-benchmark -c 100 -n 5000● 其它属性
● 执行效果set操作可以在1ms内100%命中get操作可以在2ms内100%命中。
回到目录…
monitor
● 打印服务器调试信息
# 在 redis-cli 中执行
monitor● 执行效果监控哨兵模式下的slave
......
1571091555.169065 [0 127.0.0.1:60726] PING
1571091555.231736 [0 127.0.0.1:60726] PUBLISH _sentinel_:he11o 127.0.0.1,26380,1be01b18c639a58628065467fe9706c435e6fd9,1,mymaster,127.0.0.1,6381,11571091555.719840 [0 127.0.0.1:60764] PING
1571091555.822095 [0 127.0.0.1:60718] PING
1571091555.880287 [0 127.0.0.1:6381] PUBLITSH _sentinel_:he11o 127.0.0.1.26381,861efa12zcfacCl1beFflb8Sf4231a998be2,1,mymaster,127.0.0.1,6381,11571091556.097714 [0 127.0.0.1:6381] PING
1571091556.170587 [0 127.0.0.1:60726]PING
1571091556.274752 [0 127.0.0.1:6381] PUBLISH _sentinel_:hello 127.0.0.1.26380,1be01b18c695862805467f2N06c435e5fd9,1,mymaster,127.0.0.1,6381,1
.......回到目录…
slowlog
● 命令
# 在 redis-cli 中执行
slowlog [operator]get 获取慢查询日志len 获取慢查询日志条目数reset 重置慢查询日志● conf 相关配置
#设置慢查询的时间下线单位微妙
slowlog-log-slower-than 1000
#设置慢查询命令对应的日志显示长度单位命令数
slowlog-max-len 100● 执行效果此时服务器中没有慢查询
回到目录… 总结: 提示这里对文章进行总结 本文是对Redis的学习学习了4种Redis在实际应用中的问题以及它们的企业级解决方案并且了解了Redis性能指标监控的方法。之后的学习内容将持续更新
