淄博网站建设选择臻动传媒,大兴企业官网网站建设咨询,网站建设中页面下载,公司网站可以自己做部分内容参考#xff1a;阿里redis开发规范 同时#xff0c;结合shigen在实习中的实践经验总结。
key的名称设计
可读性和管理性
业务名: 表名: id
pro:user:1001简洁性
控制key的长度#xff0c;可以用缩写
transaction - tras拒绝bigkey
防止网卡流量、慢查询阿里redis开发规范 同时结合shigen在实习中的实践经验总结。
key的名称设计
可读性和管理性
业务名: 表名: id
pro:user:1001简洁性
控制key的长度可以用缩写
transaction - tras拒绝bigkey
防止网卡流量、慢查询string 类型控制在 10KB 以内hash、list、set、zset 元素个数不要超过 5000
非字符串的 bigkey不要使用 del 删除使用 hscan、sscan、zscan 方式渐进式删除同时要注意防止 bigkey 过期时间自动删除问题 (例如一个 200 万的 zset 设置 1 小时过期会触发 del 操作造成阻塞而且该操作不会不出现在慢查询中 (latency 可查))查找方法和删除方法
选择合适的数据类型
数据结构描述常用场景String字符串类型可存储文本或二进制数据缓存、计数器、分布式锁等Hash键值对的无序集合存储对象、缓存、配置信息等List有序的字符串元素集合消息队列、最新消息获取、粉丝列表等Set无序且唯一的字符串元素集合标签系统、好友关系、集合操作等Sorted Set有序的字符串元素集合每个元素关联一个分数排行榜、范围查询、优先级队列等Bitmap位数组可进行位级别的操作用户在线状态、统计活跃用户等HyperLogLog基数估计算法用于统计唯一元素的数量网站UV统计、独立用户计数等Geospatial地理空间位置经纬度与元素之间的映射关系地理位置查询、附近的人等Pub/Sub发布者/订阅者模式用于实现消息发布和订阅机制实时消息通知、事件驱动等Streams类似于日志的有序消息流消息队列、事件溯源、实时分析等
控制key的生命周期
防止key集中过期- 缓存雪崩
命令的使用
1、O(N) 命令关注 N 的数量
例如 hgetall、lrange、smembers、zrange、sinter 等并非不能使用但是需要明确 N 的值。有遍历的需求可以使用 hscan、sscan、zscan 代替。
ZSCAN myset 0 MATCH prefix:* COUNT 102、禁用命令
禁止线上使用 keys、flushall、flushdb 等通过 redis 的 rename 机制禁掉命令或者使用 scan 的方式渐进式处理。
scan删除keys的shell脚本
#!/bin/bash# 连接到 Redis 服务器
REDIS_CLI/path/to/redis-cli
HOSTlocalhost
PORT6379
DB0# 定义删除操作函数
delete_all_keys() {# 初始化游标cursor0while true; do# 执行 SCAN 命令response$($REDIS_CLI -h $HOST -p $PORT -n $DB SCAN $cursor)# 解析 SCAN 命令的返回值cursor$(echo $response | head -n 1)keys$(echo $response | tail -n 2)# 删除当前页的所有键for key in $keys; do$REDIS_CLI -h $HOST -p $PORT -n $DB DEL $keydone# 如果已经迭代完成了所有键if [ $cursor 0 ]; thenbreakfidone
}# 调用删除操作函数
delete_all_keys3、合理使用 select
redis 的多数据库较弱使用数字进行区分很多客户端支持较差同时多业务用多数据库实际还是单线程处理会有干扰。
4、使用批量操作提高效率
原生命令例如 mget、mset。非原生命令可以使用 pipeline 提高效率。
但要注意控制一次批量操作的元素个数 (例如 500 以内实际也和元素字节数有关)。
注意两者不同
原生是原子操作pipeline 是非原子操作pipeline 可以打包不同的命令原生做不到pipeline 需要客户端和服务端同时支持
5、不建议过多使用 Redis 事务功能
Redis 的事务功能较弱 (不支持回滚)而且集群版本(自研和官方) 要求一次事务操作的 key 必须在一个 slot 上(可以使用 hashtag 功能解决)
官方redis设计成单线程就是为了提升效率
6、Redis 集群版本在使用 Lua 上有特殊要求
1、所有 key 都应该由 KEYS 数组来传递redis.call/pcall 里面调用的 redis 命令key 的位置必须是 KEYS array, 否则直接返回 error“-ERR bad lua script for redis cluster, all the keys that the script uses should be passed using the KEYS arrayrn”
2、所有 key必须在 1 个 slot 上否则直接返回 error, “-ERR eval/evalsha command keys must in same slotrn”
7、monitor 命令
必要情况下使用 monitor 命令时要注意不要长时间使用。
客户端的使用
避免多个应用使用一个redis实例
不想干的业务拆分公共数据做服务化
使用连接池
有效的控制链接、提高效率shigen在之前的文章中也分享过
合理的加密
redis密码的设置
淘汰策略
根据自身业务类型选好 maxmemory-policy(最大内存淘汰策略)设置好过期时间。
默认策略是 volatile-lru即超过最大内存后在过期键中使用 lru 算法进行 key 的剔除保证不过期数据不被删除但是可能会出现 OOM 问题。
其他策略如下
allkeys-lru根据 LRU 算法删除键不管数据有没有设置超时属性直到腾出足够空间为止。allkeys-random随机删除所有键直到腾出足够空间为止。volatile-random: 随机删除过期键直到腾出足够空间为止。volatile-ttl根据键值对象的 ttl 属性删除最近将要过期数据。如果没有回退到 noeviction 策略。noeviction不会剔除任何数据拒绝所有写入操作并返回客户端错误信息 “(error) OOM command not allowed when used memory”此时 Redis 只响应读操作。
相关工具
删除 bigkey
案例中展示的是java的操作可以根据实际的情况改写成shell或python脚本
1、Hash 删除: hscan hdel
public void delBigHash(String host, int port, String password, String bigHashKey) {Jedis jedis new Jedis(host, port);if (password ! null !.equals(password)) {jedis.auth(password);}ScanParams scanParams new ScanParams().count(100);String cursor 0;do {ScanResultEntryString, String scanResult jedis.hscan(bigHashKey, cursor, scanParams);ListEntryString, String entryList scanResult.getResult();if (entryList ! null !entryList.isEmpty()) {for (EntryString, String entry : entryList) {jedis.hdel(bigHashKey, entry.getKey());}}cursor scanResult.getStringCursor();} while (!0.equals(cursor));//删除bigkeyjedis.del(bigHashKey);
}2、List 删除: ltrim
public void delBigList(String host, int port, String password, String bigListKey) {Jedis jedis new Jedis(host, port);if (password ! null !.equals(password)) {jedis.auth(password);}long llen jedis.llen(bigListKey);int counter 0;int left 100;while (counter llen) {//每次从左侧截掉100个jedis.ltrim(bigListKey, left, llen);counter left;}//最终删除keyjedis.del(bigListKey);
}3、Set 删除: sscan srem
public void delBigSet(String host, int port, String password, String bigSetKey) {Jedis jedis new Jedis(host, port);if (password ! null !.equals(password)) {jedis.auth(password);}ScanParams scanParams new ScanParams().count(100);String cursor 0;do {ScanResultString scanResult jedis.sscan(bigSetKey, cursor, scanParams);ListString memberList scanResult.getResult();if (memberList ! null !memberList.isEmpty()) {for (String member : memberList) {jedis.srem(bigSetKey, member);}}cursor scanResult.getStringCursor();} while (!0.equals(cursor));//删除bigkeyjedis.del(bigSetKey);
}4、SortedSet 删除: zscan zrem
public void delBigZset(String host, int port, String password, String bigZsetKey) {Jedis jedis new Jedis(host, port);if (password ! null !.equals(password)) {jedis.auth(password);}ScanParams scanParams new ScanParams().count(100);String cursor 0;do {ScanResultTuple scanResult jedis.zscan(bigZsetKey, cursor, scanParams);ListTuple tupleList scanResult.getResult();if (tupleList ! null !tupleList.isEmpty()) {for (Tuple tuple : tupleList) {jedis.zrem(bigZsetKey, tuple.getElement());}}cursor scanResult.getStringCursor();} while (!0.equals(cursor));//删除bigkeyjedis.del(bigZsetKey);
}
