做一个国外的网站,seo关键词排名优化品牌,台州自助建站,湘潭做网站公司选择封象网做网站公司星光下的赶路人star的个人主页 毅力是永久的享受 文章目录 1、NoSQL1.1 NoSQL数据库1.1.1 NoSQL是什么1.1.2 NoSQL的特点1.1.3 NoSQL的适用场景1.1.4 NoSQL的不适场景 1.2 NoSQL家族 2、Redis简介2.1 Redis官网2.2 Redis是什么2.3 Redis的应用场景2.3.1 配合关系型数据库做高速… 星光下的赶路人star的个人主页 毅力是永久的享受 文章目录 1、NoSQL1.1 NoSQL数据库1.1.1 NoSQL是什么1.1.2 NoSQL的特点1.1.3 NoSQL的适用场景1.1.4 NoSQL的不适场景 1.2 NoSQL家族 2、Redis简介2.1 Redis官网2.2 Redis是什么2.3 Redis的应用场景2.3.1 配合关系型数据库做高速缓存2.3.2 大数据场景2.3.3 利用其多样的数据结构储存特定的数据 3、Redis安装3.1 关于Redis版本3.2 安装3.3 查看安装目录/home/zhm/bin3.4 Redis的启动3.5 客户端访问3.6 关闭Redis服务3.7 Redis默认16个库 4、Redis的五大数据类型4.1 帮助手册4.2 Redis键key4.3 String4.3.1 特点4.3.2 常用操作 4.4 List4.4.1 特点4.4.2 常用操作 4.5 set4.5 1 特点4.5.2 常用操作 4.6 Hash4.6.1 特点4.6.2 分析一个问题: 现有一个User 对象在Redis中如何存?4.6.3 常用操作 4.7 zset4.7.1 特点4.7.2 常用操作 5、Redis的相关配置6、Jedis6.1 环境准备6.2 基本测试 7、Redis持久化7.1 两种方式7.2 RDBRedis DataBase7.2.1 RDB是什么7.2.2 如何执行持久化7.2.3 RDB文件7.2.4 RDB保存策略7.2.5 手动保存7.2.6 RDB备份恢复7.2.7 RDB其他配置7.2.8 RDB优缺点 7.3 AOFAppend Only File7.3.1 AOF是什么7.3.2 开启AOF7.3.3 AOF同步频率7.3.4 AOF文件损坏恢复7.3.5 AOF备份7.3.6 Rewrite7.3.7 AOF的优缺点 7.4 持久化的优先级7.5 RDB和AOF用哪个号 1、NoSQL
1.1 NoSQL数据库
1.1.1 NoSQL是什么
1、NoSQLNot Only SQL意思是“不仅仅是SQL”泛指非关系型的数据库。 2、NoSQL不拘泥于关系型数据库的设计范式放弃了通用的技术标准为某一领域特定场景而设计从而使性能、容量、扩展性达到了一定程度的突破。
1.1.2 NoSQL的特点
1、不遵循SQL标准 2、不支持ACID 3、远超于SQL的性能
1.1.3 NoSQL的适用场景
1、对数据高并发的读写 2、海量数据的读写 3、对数据高可扩展的
1.1.4 NoSQL的不适场景
1、需要事务支持 2、基于sql的结构化查询储存处理复杂的关系需要即时查询 3、用不着sql的和·用了sql也不行的情况清考虑用NoSQL。
1.2 NoSQL家族
1、Memcached 1很早出现的NoSQL数据库 2数据都在内存中一般不持久化 3支持简单的key-value模式数据类型支持单一 4一般是作为缓存数据库辅助持久化的数据库
2、Redis 1几乎覆盖了Memcached的绝大部分功能 2数据都在内存中支持持久化主要用作备份恢复 3支持丰富的数据类型value因为所有key都是String类型例如stringlistsetzsethash等
3、mongoDB 1高性能、开源、模式自由的文档型数据库 2数据都在内存中如果内存不足把不常用的数据保存到硬盘 3虽然是key-value模式但是对value(尤其是json)提供了丰富的查询功能 4支持二进制数据及大型对象 5可以根据数据的特点替代RDBMS(关系数据库管理系统)成为独立的数据库。或者配合RDBMS存储特定的数据
4、HBase 1HBase是Haddop项目的数据库主要用于对大量数据进行随机、实时的读写操作。 2HBase能支持到数十亿行×百万列的数据表
5、Cassandra 1Cassandra用于管理由大量商用服务器构建起来的庞大集群上的海量数据集(PB级)
6、Neo4j 1Neo4j是基于图结构的数据库一般用于构建社交网络、交通网络、地图等
2、Redis简介
2.1 Redis官网
1、Redis官方网站 http://Redis.io 2、Redis中文官方网站 http://www.Redis.net.cn
2.2 Redis是什么
1、Redis是一个开源的key-value储存系统。 2、它支持储存的value类型相对更多包括string字符串、list链表、set集合、zsetsorted set和hash哈希类型 3、Redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件 4、支持高可用和集群模式
2.3 Redis的应用场景
2.3.1 配合关系型数据库做高速缓存
1、高频次热门访问的数据降低数据库IO 2、经典的Cache Aside Pattern旁路缓存模式
2.3.2 大数据场景
1、缓存数据 1需要高频次访问 2持久化数据访问较慢 2、临时数据 1高频次 2读写时效高 3总数据量不大 4临时性 5用key查询 3、计算结果 1高频次写入 2高频次查询 3总数据量不大
2.3.3 利用其多样的数据结构储存特定的数据
1最新N个数据—通过List实现按自然事件排序的数据 2排行榜TopN—利用zset有序集合 3时效性的数据比如手机验证码—Expire过期 4计数器秒杀—原子性自增方法INCR、DECR 5去除大量数据中的重复数据—利用set集合 6构建队列—利用list集合 7发布订阅消息系统—pub/sub模式
3、Redis安装
3.1 关于Redis版本
不用考虑在Windows环境下对Redis的支持Redis官方没有提供对Windows环境的支持是微软的开源小组开发了对Redis对Windows的支持。
3.2 安装
1、安装新版gcc编译器 sudo yum -y install gcc-c 2、上传redis-6.2.1.tar.gz安装包到/opt/software目录下 3、解压redis-6.2.1.tar.gz到/opt/module目录下 4、之后进入安装包的src目录编辑Makefile文件修改软件安装路径如下:
#修改如下
PREFIX?/home/zhm#然后执行如下命令make make install3.3 查看安装目录/home/zhm/bin
1Redis-benchmark:性能测试工具可以在自己本子运行看看自己本子性能如何(服务启动起来后执行) 2Redis-check-aof修复有问题的AOF文件 3Redis-check-dump修复有问题的RDB文件 4Redis-sentinel启动Redis哨兵服务 5redis-serverRedis服务器启动命令 6redis-cli客户端操作入口
3.4 Redis的启动
1、拷贝一份redis.conf配置文件到工作目录 mkdir myrediscd myrediscp /opt/module/redis-6.2.1/redis.conf .2、绑定主机IP修改bind属性 vim redis.confbind 0.0.0.03、指定配置文件进行启动
redis-server redis.conf3.5 客户端访问
1、使用redis-cli 命令访问启动好的Redis默认端口为6379
redis-cli 2、如果有多个Redis客户端同时启动或者端口做了修改则需要指定端口号访问
redis-cli -p 63793、如果访问非本机的Redis需要指定host来访问
redis-cli -h 127.0.0.1 -p 63794、通过ping命令测试验证
127.0.0.1:6379 ping
PONG3.6 关闭Redis服务
如果还未通过客户端访问可直接redis-cli shutdown
redis-cli shutdown如果已经进入客户端直接shutdown即可
127.0.0.1:6379 shutdown3.7 Redis默认16个库
1、Redis默认创建16个库每个库对应一个下标从0开始。 通过客户端连接默认进入到0号库推荐只使用0号库 2、使用命令select库的下标来切换数据库
127.0.0.1:6379 select 1
OK
127.0.0.1:6379[1]4、Redis的五大数据类型
4.1 帮助手册
http://redisdoc.com/
4.2 Redis键key
1、查看当前库的所有键
127.0.0.1:6379 keys *2、判断某个键是否存在
127.0.0.1:6379 exists key3、查看键对应的value的类型
127.0.0.1:6379 type key4、删除某个键
127.0.0.1:6379 del key5、设置过期时间
expire key second6、查看过期时间-1表示永不过期-2表示已过期
ttl key7、查看当前库中key的数量
dbsize8、清空当前库
flushdb9、清空所以库
flushall4.3 String
4.3.1 特点
1、String是Redis最基本的类型适合保存单值类型即一个key对应一个value。 2、String类型是二进制安全的意味着Redis的String可以包含任何数据。比如jpg图片或者序列化得对象。 3、一个Redis中字符串value最多可以是512M。
4.3.2 常用操作
1、添加键值对
set key value2、获取键的值
get key3、将给定的追加到原值的末尾
append key value4、获取值的长度
strlen key5、当key不存在时设置key的值
setnx key value6、将key中储存的数据值增1
incr key7、将key中储存的数字值减一
decr key8、将key中储存的数字值安装指定步长增长
incrby key 步长9、将key中储存的数字值按照指定步长减
decrby key 步长10、同时添加一个或者多个key
mset k1 v1 k2 v211、同时获取一个或者多个key的值
mget k1 k2 k312、同时添加一个或者多个key当且仅当所有给定的key都不存在
msetnx k1 v1 k2 v213、获取值的子串
getrange key start end14、从指定的开始位置覆盖旧值
setrange key start value15、同时设置值和过期时间
setex key seconds value16、设置新值的同时获取旧值
getset key value4.4 List
4.4.1 特点
1、单键多值 2、Redis List是简单的字符串列表按照插入顺序排序。你可以添加一个元素到列表的头部左边或者尾部右边。 3、它的底层实际是个双向链表对两端的操作性能很高通过索引下标的操作中间的节点性能会较差。
4.4.2 常用操作
1、从左边插入一个或多值
lpush key element...2、从右边插入一个或多个值
rpush key element...3、从左边删除一个值值在健在值光键亡
lpop key4、从右边删除一个值
rpop key5、从key1列表右边删除一个值插入到key2列表左边
rpoplpush key1 key26、按照索引下标范围获取元素从左到右
lrange key start stop7、按照索引下标获取元素从左到右
lindex key index8、获取列表长度
llen key9、在指定 的前面或者后面插入
llinsert key before|after pivot element10、从左边删除count个指定的value
lrem key count element4.5 set
4.5 1 特点
1、set中的元素是无序不重复的当你需要存储一个列表数据又不希望出现重复数据时set是一个很好的选择并且set提供了判断某个成员是否在一个set集合内的重要接口。 2、Redis的Set是string类型的无序集合。它底层其实是一个value为null的hash表,所以添加删除查找的复杂度都是O(1)。
4.5.2 常用操作
1、将一个或者多个member元素加入到集合中已经存在的member将被忽略
sadd key member…2、取出集合的所有值
smemebers key3、判断集合是否包含指定的member包含返回1不包含返回0
sismember key member4、返回集合的元素个数
scard key5、从集合中删除指定的元素
srem key member…6、随机从集合中删除一个值会从集合中删除值
spop key7、随机从集合中取出n个值不会从集合中删除
srandmember key count8、返回多个集合的交集元素
sinter key…9、返回多个集合的并集元素
sunion key… 10、返回多个集合的差集元素
sdiff key… 4.6 Hash
4.6.1 特点
1、Redis hash是一个键值对集合 2、Redis hash的值是由多个field和value组成的映射表 3、类似Java里面的MapString,String
4.6.2 分析一个问题: 现有一个User 对象在Redis中如何存?
1、第一种方案: 用户ID为key ,VALUE为JavaBean序列化后的字符串 2、第二种方案: 用户ID属性名作为key, 属性值作为Value. 3、第三种方案: 通过 key(用户ID) field(属性标签) 就可以操作对应属性数据了既不需要重复存储数据也不会带来序列化和并发修改控制的问题
4.6.3 常用操作
1、给集合中添加指定的 -
hset key [field value …]2、给集合中添加指定的 - 当指定的field不存在时 hsetnx key field value3、取出集合中指定field的value
hget key field 4、判断集合中是否存在指定的field
hexists key field 5、列出集合中所有的field
hkeys key 6、列出集合中所有的value
hvals key 7、给集合中指定filed的value值增加increment hincrby key field increment 4.7 zset
4.7.1 特点
1、Redis有序集合zset与普通集合set非常相似是一个没有重复元素的字符串集合。不同之处是有序集合的每个成员都关联了一个评分score 这个评分score被用来按照从最低分到最高分的方式排序集合中的成员。集合的成员是唯一的但是评分可以是重复了 。 2、因为元素是有序的, 所以你也可以很快的根据评分score或者次序position来获取一个范围的元素。访问有序集合的中间元素也是非常快的,因此你能够使用有序集合作为一个没有重复成员的智能列表。
4.7.2 常用操作
1、往集合中添加指定的 member 及score
zadd key [score member … ]2、从集合中取出指定下标范围的数据正序取
zrange key start stop [WITHSCORES] 3、从集合中取出指定下标范围的数据倒序取 zrevrange key start stop [WITHSCORES] 4、从集合中取出指定score范围的数据默认从小到大 zrangebyscore key min max [WITHSCORES]5、从集合中取出指定score范围的数据从大到小
zrevrangebyscore key max min [WITHSCORES]6、给集合中指定member的score增加increment
zincrby key increment member7、删除集合中指定的member
zrem key member…8、统计指定score范围的元素个数 zcount key min max9、返回集合中指定member的排名排名从0开始
zrank key member5、Redis的相关配置
1、计量单位说明,大小写不敏感
# 1k 1000 bytes
# 1kb 1024 bytes
# 1m 1000000 bytes
# 1mb 1024*1024 bytes
# 1g 1000000000 bytes
# 1gb 1024*1024*1024 bytes
#
# units are case insensitive so 1GB 1Gb 1gB are all the same.2、bind 默认情况bind127.0.0.1只能接受本机的访问请求 不写的情况下无限制接受任何ip地址的访问产环境肯定要写你应用服务器的地址 如果开启了protected-mode那么在没有设定bind ip且没有设密码的情况下Redis只允许接受本机的请求
#bind 127.0.0.1
protected-mode no3、port服务端口号
port 63794、damonize 是否为后台进程
port 63795、pidfile 存放pid文件的位置每个实例会产生一个不同的pid文件
pidfile /var/run/redis_6379.pid6、log file 日志文件存储位置
logfile 7、Database 设定库的数量默认16
databases 168、requirepass 设置密码
requirepass 123456127.0.0.1:6379 set k1 v1
(error) NOAUTH Authentication required.
127.0.0.1:6379 auth 123456
OK
127.0.0.1:6379 set k1 v1
OK
127.0.0.1:6379 get k1
v19、maxmemory 设置Redis可以使用的内存量。一 旦到达内存使用上限Redis将会试图移除内部数据移除规则可以通过maxmemory-policy来指定。如果Redis无法根据移除规则来移除内存中的数据或者设置了“不允许移除” 那么Redis则会针对那些需要申请内存的指令返回错误信息比如SET、LPUSH等。
# maxmemory bytes10、maxmemory-policy 移除策略
# maxmemory-policy noeviction #volatile-lru使用LRU算法移除key只对设置了过期时间的键
#allkeys-lru使用LRU算法移除key
#volatile-lfu 使用LFU策略移除key,只对设置了过期时间的键.
#allkeys-lfu :使用LFU策略移除key
#volatile-random在过期集合中移除随机的key只对设置了过期时间的键
#allkeys-random移除随机的key
#volatile-ttl移除那些TTL值最小的key即那些最近要过期的key
#noeviction不进行移除。针对写操作只是返回错误信息11、Maxmemory-samples 设置样本数量LRU算法和最小TTL算法都并非是精确的算法而是估算值所以你可以设置样本的大小。一般设置3到7的数字数值越小样本越不准确但是性能消耗也越小。
# maxmemory-samples 56、Jedis
Jedis是Redis的Java客户端可以通过Java代码的方式操作Redis
6.1 环境准备
1、添加依赖
dependencygroupIdredis.clients/groupIdartifactIdjedis/artifactIdversion3.3.0/version
/dependency6.2 基本测试
1、测试连通 public class JedisTest {public static void main(String[] args) {Jedis jedis new Jedis(hadoop102,6379);String ping jedis.ping();System.out.println(ping);}
}2、连接池
连接池主要用来节省每次连接redis服务带来的连接消耗将连接好的实例反复利用
public static JedisPool pool null ;public static Jedis getJedis(){if(pool null ){//主要配置JedisPoolConfig jedisPoolConfig new JedisPoolConfig();jedisPoolConfig.setMaxTotal(10); //最大可用连接数jedisPoolConfig.setMaxIdle(5); //最大闲置连接数jedisPoolConfig.setMinIdle(5); //最小闲置连接数jedisPoolConfig.setBlockWhenExhausted(true); //连接耗尽是否等待jedisPoolConfig.setMaxWaitMillis(2000); //等待时间jedisPoolConfig.setTestOnBorrow(true); //取连接的时候进行一下测试 ping pongpool new JedisPool(jedisPoolConfig,hadoop102,6379) ;}return pool.getResource();
} public static void main(String[] args) {//Jedis jedis new Jedis(hadoop202,6379);Jedis jedis getJedis();String ping jedis.ping();System.out.println(ping);}7、Redis持久化
7.1 两种方式
Redis提供了两个不同形式的持久化方式RDB和AOF。 RDB为快照备份会在备份时将内容中的所有数据持久化到磁盘的一个文件中。 AOF为日志备份会将所有写操作命令记录在一个日志文件中。
7.2 RDBRedis DataBase
7.2.1 RDB是什么
在指定的时间间隔将内存中的数据集快照写入磁盘也就是行话讲的Snapshot快照 它恢复时是将快照文件直接读到内存里。
7.2.2 如何执行持久化
Redis会单独创建fork一个子进程来进行持久化会先将数据写入到一个临时文件中待持久化过程都结束了再用这个临时文件替换上次持久化好的文件。整个过程中主进程是不进行然后IO操作的这就确保了极高的性能如果需要进行大规模数据的恢复且对数据恢复的完整性不是非常敏感那RDB方式要比AOF方式更加的高效。RDB的缺点是最后一次持久化的数据可能丢失。
7.2.3 RDB文件
1、RDB保存的文件 在redis.conf中配置文件名称默认为dump.rdb 2、RDB文件的保存路径 默认为Redis启动时命令行所在的目录下,也可以修改
7.2.4 RDB保存策略
# save seconds changes# Will save the DB if both the given number of seconds and the given
# number of write operations against the DB occurred.
#
# In the example below the behaviour will be to save:
# after 900 sec (15 min) if at least 1 key changed
# after 300 sec (5 min) if at least 10 keys changed
# after 60 sec if at least 10000 keys changed
# Note: you can disable saving completely by commenting out all save lines.
save 900 1
save 300 10
save 60 100007.2.5 手动保存
1、save: 只管保存其它不管全部阻塞 2、bgsave:按照保存策略自动保存 3、shutdown时服务会立刻执行备份后再关闭 4、flushall时会将清空后的数据备份
7.2.6 RDB备份恢复
1、备份 将dump.rdb文件拷贝到要备份的位置 2、恢复 关闭Redis把备份的文件拷贝到工作目录下,启动redis,备份数据会直接加载。
7.2.7 RDB其他配置
1、进行rdb保存时将文件压缩
rdbcompression yes2、文件校验 在存储快照后还可以让Redis使用CRC64算法来进行数据校验但是这样做会增加大约10%的性能消耗如果希望获取到最大的性能提升可以关闭此功能
rdbchecksum yes7.2.8 RDB优缺点
1、优点 节省磁盘空间,恢复速度快. 2、缺点 虽然Redis在fork时使用了写时拷贝技术,但是如果数据庞大时还是比较消耗性能。在备份周期在一定间隔时间做一次备份所以如果Redis意外down掉的话就会丢失最后一次快照后的所有修改
7.3 AOFAppend Only File
7.3.1 AOF是什么
以日志的形式来记录每个写操作将Redis执行过的所有写指令记录下来(读操作不记录)只许追加文件但不可以改写文件Redis启动之初会读取该文件重新构建数据换言之Redis重启的话就根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作。
7.3.2 开启AOF
1、AOF默认不开启需要手动在配置文件中配置
appendonly no2、AOF文件
appendfilename appendonly.aof3、AOF文件保存的位置与RDB的路径一致
dir ./7.3.3 AOF同步频率
# no: dont fsync, just let the OS flush the data when it wants. Faster.
# always: fsync after every write to the append only log. Slow, Safest.
# everysec: fsync only one time every second. Compromise.7.3.4 AOF文件损坏恢复
redis-check-aof --fix appendonly.aof 7.3.5 AOF备份
AOF的备份机制和性能虽然和RDB不同, 但是备份和恢复的操作同RDB一样都是拷贝备份文件需要恢复时再拷贝到Redis工作目录下启动系统即加载
7.3.6 Rewrite
AOF采用文件追加方式文件会越来越大为避免出现此种情况新增了重写机制,当AOF文件的大小超过所设定的阈值时Redis就会启动AOF文件的重写只保留可以恢复数据的最小指令集.可以使用命令bgrewriteaof手动开始重写。 重写虽然可以节约大量磁盘空间减少恢复时间。但是每次重写还是有一定的负担的因此设定Redis要满足一定条件才会进行重写。 系统载入时或者上次重写完毕时Redis会记录此时AOF大小设为base_size,如果Redis的AOF当前大小 base_size base_size*100% (默认)且当前大小64mb(默认)的情况下Redis会对AOF进行重写。
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb7.3.7 AOF的优缺点
1、优点 1备份机制更稳健丢失数据概率更低。 2可读的日志文本通过操作AOF文件可以处理误操作。 2、缺点 1比起RDB占用更多的磁盘空间 2恢复备份速度要慢 3每次写都同步的话有一定的性能压力 4存在个别bug造成恢复不能
7.4 持久化的优先级
AOF的优先级大于RDB如果同时开启了AOF和RDBRedis服务启动时恢复数据以AOF为准.
7.5 RDB和AOF用哪个号
1、官方推荐两个都启用。 2、如果对数据不敏感可以选单独用RDB 3、不建议单独用 AOF因为可能会出现Bug。 4、如果只是做纯内存缓存可以都不用 您的支持是我创作的无限动力 希望我能为您的未来尽绵薄之力 如有错误谢谢指正若有收获谢谢赞美
