天津企业网站专业订制,摄影网站制作,电影网站html代码,怎么来钱快当服务器宕机后#xff0c;数据全部丢失#xff1a;我们很容易想到的一个解决方案是从后端数据库恢复这些数据#xff0c;但这种方式存在两个问题#xff1a;一是#xff0c;需要频繁访问数据库#xff0c;会给数据库带来巨大的压力#xff1b;二是#xff0c;这些数据…当服务器宕机后数据全部丢失我们很容易想到的一个解决方案是从后端数据库恢复这些数据但这种方式存在两个问题一是需要频繁访问数据库会给数据库带来巨大的压力二是这些数据是从慢速数据库中读取出来的性能肯定比不上从 Redis 中读取导致使用这些数据的应用程序响应变慢。所以对 Redis 来说实现数据的持久化避免从后端数据库中进行恢复是至 关重要的。
目前Redis 的持久化主要有两大机制即 AOF 日志和 RDB 快照。
AOF 日志是如何实现的
说到日志我们比较熟悉的是数据库的写前日志Write Ahead Log, WAL也就是 说在实际写数据前先把修改的数据记到日志文件中以便故障时进行恢复。不过 AOF 日志正好相反它是写后日志“写后”的意思是 Redis 是先执行命令把数据写入 内存然后才记录日志如下图所示 那 AOF 为什么要先执行命令再记日志呢要回答这个问题我们要先知道 AOF 里记录了 什么内容
传统数据库的日志例如 redo log重做日志记录的是修改后的数据而 AOF 里记 录的是 Redis 收到的每一条命令这些命令是以文本形式保存的。
我们以 Redis 收到“set testkey testvalue”命令后记录的日志为例看看 AOF 日志的内 容。其中“*3”表示当前命令有三个部分每部分都是由“$数字”开头后面紧跟着 具体的命令、键或值。这里“数字”表示这部分中的命令、键或值一共有多少字节。例 如“$3 set”表示这部分有 3 个字节也就是“set”命令。 但是为了避免额外的检查开销Redis 在向 AOF 里面记录日志的时候并不会先去对这 些命令进行语法检查。所以如果先记日志再执行命令的话日志中就有可能记录了错误 的命令Redis 在使用日志恢复数据时就可能会出错。 而写后日志这种方式就是先让系统执行命令只有命令能执行成功才会被记录到日志 中否则系统就会直接向客户端报错。所以Redis 使用写后日志这一方式的一大好处 是可以避免出现记录错误命令的情况。 除此之外AOF 还有一个好处它是在命令执行后才记录日志所以不会阻塞当前的写操 作。 不过AOF 也有两个潜在的风险 首先如果刚执行完一个命令还没有来得及记日志就宕机了那么这个命令和相应的数 据就有丢失的风险。如果此时 Redis 是用作缓存还可以从后端数据库重新读入数据进行恢复但是如果 Redis 是直接用作数据库的话此时因为命令没有记入日志所以就无法用日志进行恢复了。 其次AOF 虽然避免了对当前命令的阻塞但可能会给下一个操作带来阻塞风险。这是因 为AOF 日志也是在主线程中执行的如果在把日志文件写入磁盘时磁盘写压力大就 会导致写盘很慢进而导致后续的操作也无法执行了 其次AOF 虽然避免了对当前命令的阻塞但可能会给下一个操作带来阻塞风险。这是因 为AOF 日志也是在主线程中执行的如果在把日志文件写入磁盘时磁盘写压力大就 会导致写盘很慢进而导致后续的操作也无法执行了 三种写回策略
其实对于这个问题AOF 机制给我们提供了三个选择也就是 AOF 配置项 appendfsync 的三个可选值。 Always同步写回每个写命令执行完立马同步地将日志写回磁盘 Everysec每秒写回每个写命令执行完只是先把日志写到 AOF 文件的内存缓冲 区每隔一秒把缓冲区中的内容写入磁盘 No操作系统控制的写回每个写命令执行完只是先把日志写到 AOF 文件的内存缓 冲区由操作系统决定何时将缓冲区内容写回磁盘 针对避免主线程阻塞和减少数据丢失问题这三种写回策略都无法做到两全其美。我们来 分析下其中的原因 “同步写回”可以做到基本不丢数据但是它在每一个写命令后都有一个慢速的落盘操 作不可避免地会影响主线程性能 虽然“操作系统控制的写回”在写完缓冲区后就可以继续执行后续的命令但是落盘 的时机已经不在 Redis 手中了只要 AOF 记录没有写回磁盘一旦宕机对应的数据就 丢失了 每秒写回”采用一秒写回一次的频率避免了“同步写回”的性能开销虽然减少了 对系统性能的影响但是如果发生宕机上一秒内未落盘的命令操作仍然会丢失。所 以这只能算是在避免影响主线程性能和避免数据丢失两者间取了个折中。
三种写回策略的优缺点 我们就可以根据系统对高性能和高可靠性的要求来选择使用哪种写回策略 但是按照系统的性能需求选定了写回策略并不是“高枕无忧”了。毕竟AOF 是以文 件的形式在记录接收到的所有写命令。随着接收的写命令越来越多AOF 文件会越来越 大。这也就意味着我们一定要小心 AOF 文件过大带来的性能问题。 这里的“性能问题”主要在于以下三个方面一是文件系统本身对文件大小有限制 无法保存过大的文件二是如果文件太大之后再往里面追加命令记录的话效率也会 变低三是如果发生宕机AOF 中记录的命令要一个个被重新执行用于故障恢复如 果日志文件太大整个恢复过程就会非常缓慢这就会影响到 Redis 的正常使用。 所以我们就要采取一定的控制手段这个时候AOF 重写机制就登场了。
日志文件太大了怎么办 简单来说AOF 重写机制就是在重写时Redis 根据数据库的现状创建一个新的 AOF 文 件也就是说读取数据库中的所有键值对然后对每一个键值对用一条命令记录它的写 入。比如说当读取了键值对“testkey”: “testvalue”之后重写机制会记录 set testkey testvalue 这条命令。这样当需要恢复时可以重新执行该命令实 现“testkey”: “testvalue”的写入。 为什么重写机制可以把日志文件变小呢? 实际上重写机制具有“多变一”功能。所谓 的“多变一”也就是说旧日志文件中的多条命令在重写后的新日志中变成了一条命 令。 我们知道AOF 文件是以追加的方式逐一记录接收到的写命令的。当一个键值对被多条 写命令反复修改时AOF 文件会记录相应的多条命令。但是在重写的时候是根据这个 键值对当前的最新状态为它生成对应的写入命令。这样一来一个键值对在重写日志中 只用一条命令就行了而且在日志恢复时只用执行这条命令就可以直接完成这个键 值对的写入了。 下面这张图就是一个例子 当我们对一个列表先后做了 6 次修改操作后列表的最后状态是[“D”, “C”, “N”] 此时只用 LPUSH u:list “N”, “C”, D这一条命令就能实现该数据的恢复这就节省 了五条命令的空间。对于被修改过成百上千次的键值对来说重写能节省的空间当然就更 大了。 不过虽然 AOF 重写后日志文件会缩小但是要把整个数据库的最新数据的操作日志 都写回磁盘仍然是一个非常耗时的过程。这时我们就要继续关注另一个问题了重写 会不会阻塞主线程
AOF 重写会阻塞吗? 和 AOF 日志由主线程写回不同重写过程是由后台线程 bgrewriteaof 来完成的这也是 为了避免阻塞主线程导致数据库性能下降。 我把重写的过程总结为“一个拷贝两处日志” 一个拷贝”就是指每次执行重写时主线程 fork 出后台的 bgrewriteaof 子进程。此 时fork 会把主线程的内存拷贝一份给 bgrewriteaof 子进程这里面就包含了数据库的 最新数据。然后bgrewriteaof 子进程就可以在不影响主线程的情况下逐一把拷贝的数 据写成操作记入重写日志。 “两处日志”又是什么呢 因为主线程未阻塞仍然可以处理新来的操作。此时如果有写操作第一处日志就是指 正在使用的 AOF 日志Redis 会把这个操作写到它的缓冲区。这样一来即使宕机了这 个 AOF 日志的操作仍然是齐全的可以用于恢复。 而第二处日志就是指新的 AOF 重写日志。这个操作也会被写到重写日志的缓冲区。这 样重写日志也不会丢失最新的操作。等到拷贝数据的所有操作记录重写完成后重写日 志记录的这些最新操作也会写入新的 AOF 文件以保证数据库最新状态的记录。此时我 们就可以用新的 AOF 文件替代旧文件了。 总结来说每次 AOF 重写时Redis 会先执行一个内存拷贝用于重写然后使用两个 日志保证在重写过程中新写入的数据不会丢失。而且因为 Redis 采用额外的线程进行 数据重写所以这个过程并不会阻塞主线程。
问题的提出 不过你可能也注意到了落盘时机和重写机制都是在“记日志”这一过程中发挥作用 的。例如落盘时机的选择可以避免记日志时阻塞主线程重写可以避免日志文件过大。 但是在“用日志”的过程中也就是使用 AOF 进行故障恢复时我们仍然需要把所有的 操作记录都运行一遍。再加上 Redis 的单线程设计这些命令操作只能一条一条按顺序执 行这个“重放”的过程就会很慢了。 那么有没有既能避免数据丢失又能更快地恢复的方法呢当然有那就是 RDB 快照 了。 AOF 日志重写的时候是由 bgrewriteaof 子进程来完成的不用主线程参与我们今 天说的非阻塞也是指子进程的执行不阻塞主线程。但是你觉得这个重写过程有没有 其他潜在的阻塞风险呢如果有的话会在哪里阻塞 AOF 重写也有一个重写日志为什么它不共享使用 AOF 本身的日志呢 学习就是这样你会发现你学着学着就会发现很多问题
