佛山网站制作外包,网站建设初期,浙江建筑证书查询系统,建设银行个人网上银行登录入口一、Redis群集模式
1.1 概念
1.2 作用
1.2.1 Redis集群的数据分片
1.2.2 Redis集群的主从复制模型
1.3 搭建Redis 群集模式
1.3.1 开启群集功能
1.3.2 启动redis节点
1.3.3 启动集群
1.3.4 测试群集
二、rsync远程同步
2.1 概念
2.2 同步方式
2.3 备份的方式
2.4…
一、Redis群集模式
1.1 概念
1.2 作用
1.2.1 Redis集群的数据分片
1.2.2 Redis集群的主从复制模型
1.3 搭建Redis 群集模式
1.3.1 开启群集功能
1.3.2 启动redis节点
1.3.3 启动集群
1.3.4 测试群集
二、rsync远程同步
2.1 概念
2.2 同步方式
2.3 备份的方式
2.4 Rsync命令
2.4.1 格式
2.4.2 选项
2.5 配置源的两种表达方法
2.5.1 格式一
2.5.2 格式二
2.6 配置过程
2.6.1 关闭防护墙和和核心防护
2.6.2 配置rsync源服务器192.168.133.10
2.6.3 建立/etc/rsyncd.conf 配置文件
2.6.4 为备份账户创建数据文件
2.6.5 保证所有用户对源目录/var/www/html 都有读取权限
2.6.6 启动或关闭 rsync 服务程序
2.6.7 在发起端将指定的资源下载到本地/opt 目录下进行备份 一、Redis群集模式
1.1 概念
集群即Redis Cluster是Redis 3.0开始引入的分布式存储方案。集群由多个节点(Node)组成Redis的数据分布在这些节点中。集群中的节点分为主节点和从节点只有主节点负责读写请求和集群信息的维护从节点只进行主节点数据和状态信息的复制。
1.2 作用
1数据分区数据分区(或称数据分片)是集群最核心的功能。 集群将数据分散到多个节点一方面突破了Redis单机内存大小的限制存储容量大大增加另一方面每个主节点都可以对外提供读服务和写服务大大提高了集群的响应能力。 Redis单机内存大小受限问题在介绍持久化和主从复制时都有提及例如如果单机内存太大bgsave和bgrewriteaof的fork操作可能导致主进程阻塞主从环境下主机切换时可能导致从节点长时间无法提供服务全量复制阶段主节点的复制缓冲区可能溢出。
2高可用集群支持主从复制和主节点的自动故障转移与哨兵类似当任一节点发生故障时集群仍然可以对外提供服务。
1.2.1 Redis集群的数据分片
Redis集群引入了哈希槽的概念Redis集群有16384个哈希槽编号0-16383集群的每个节点负责一部分哈希槽每个Key通过CRC16校验后对16384取余来决定放置哪个哈希槽通过这个值去找到对应的插槽所对应的节点然后直接自动跳转到这个对应的节点上进行存取操作。
以3个节点组成的集群为例节点A包含0到5460号哈希槽节点B包含5461到10922号哈希槽节点C包含10923到16383号哈希槽。
1.2.2 Redis集群的主从复制模型
集群中具有A、B、C三个节点如果节点B失败了整个集群就会因缺少5461-10922这个范围的槽而不可以用。为每个节点添加一个从节点A1、B1、C1整个集群便有三个Master节点和三个slave节点组成在节点B失败后集群选举B1位为的主节点继续服务。当B和B1都失败后集群将不可用。
1.3 搭建Redis 群集模式
所有节点在同一台服务器上模拟以端口号进行区分3个主节点端口号6001/6002/6003对应的从节点端口号6004/6005/6006。
cd /etc/redis/
mkdir -p redis-cluster/redis600{1..6}
for i in {1..6}
do
cp /opt/redis-5.0.7/redis.conf /etc/redis/redis-cluster/redis600$i
cp /opt/redis-5.0.7/src/redis-cli /opt/redis-5.0.7/src/redis-server /etc/redis/redis-cluster/redis600$i
done1.3.1 开启群集功能
cd /etc/redis/redis-cluster/redis6001 #其他5个文件夹的配置文件以此类推修改注意6个端口都要不一样。vim redis.conf#bind 127.0.0.1 #69行注释掉bind 项默认监听所有网卡
protected-mode no #88行修改关闭保护模式
port 6001 #92行修改redis监听端口
daemonize yes #136行开启守护进程以独立进程启动
cluster-enabled yes #832行取消注释开启群集功能
cluster-config-file nodes-6001.conf #840行取消注释群集名称文件设置
cluster-node-timeout 15000 #846行取消注释群集超时时间设置
appendonly yes #700行修改开启AOF持久化1.3.2 启动redis节点
for d in {1..6}
do
cd /etc/redis/redis-cluster/redis600$d
redis-server redis.conf
done1.3.3 启动集群
redis-cli --cluster create 127.0.0.1:6001 127.0.0.1:6002 127.0.0.1:6003 127.0.0.1:6004 127.0.0.1:6005 127.0.0.1:6006 --cluster-replicas 1#六个实例分为三组每组一主一从前面的做主节点后面的做从节点。下面交互的时候 需要输入 yes 才可以创建。--replicas 1 表示每个主节点有1个从节点。1.3.4 测试群集
redis-cli -p 6001 -c #加-c参数节点之间就可以互相跳转
127.0.0.1:6001 cluster slots #查看节点的哈希槽编号范围 127.0.0.1:6001 cluster keyslot name #查看name键的槽编号redis-cli -p 6004 -c
127.0.0.1:6004 keys * #对应的slave节点也有这条数据但是别的节点没有 二、rsync远程同步
2.1 概念
rsyncRemote Sync远程同步 是一个开源的快速备份工具可以在不同主机之间镜像同步整个目录树支持增量备份并保持链接和权限且采用优化的同步算法传输前执行压缩因此非常适用于异地备份、镜像服务器等应用。
在远程同步任务中负责发起rsync同步操作的客户机称为发起端而负责响应来自客户机的rsync同步操作的服务器称为同步源。在同步过程中同步源负责提供文件的原始位置发起端应对该位置具有读取权限。
Rsync 是 Linux 系统下的数据镜像备份工具使用快速增量备份工具 Remote Sync 可以远程同步 可以在不同主机之间进行同步可实现全量备份与增量备份保持链接和权限且采用优化的同步算法 传输前执行压缩因此非常适合用于架构集中式备份或异地备份等应用。同时Rsync支持本地复制或者与其他 SSH、rsync 主机同步
2.2 同步方式
1完整备份每次备份都是从备份源将所有的文件或目录备份到目的地。
2差量备份备份上次完全备份以后有变化的数据他针对的上次的完全备份他备份过程中不清除存档属性。
3增量备份备份上次备份以后有变化的数据他才不管是那种类型的备份有变化的数据就备份他会清除存档属性
2.3 备份的方式
1发起端负责rsync 同步操作的客户机叫做发起端通知服务器我要备份你的数据
2备份源负责响应来自客户机rsync 同步操作的服务器叫做备份源需要备份的服务器
3服务端运行rsyncd服务一般来说需要备份的服务器
4客户端存放备份数据
2.4 Rsync命令
2.4.1 格式
rsync [选项] 原始位置 目标位置
2.4.2 选项 2.5 配置源的两种表达方法
2.5.1 格式一
用户名主机地址::共享模块名 rsync -avz backuper192.168.133.20::wwwroot /opt/
2.5.2 格式二
rsync://用户名主机地址/共享模块名 rsync -avz rsync://backuper192.168.133.20/wwwroot /opt/
2.6 配置过程
2.6.1 关闭防护墙和和核心防护
systemctl stop firewalld
setenforce 02.6.2 配置rsync源服务器192.168.133.10
rpm -q rsync #一般系统已默认安装rsync2.6.3 建立/etc/rsyncd.conf 配置文件
vim /etc/rsyncd.conf
uid root
gid root
use chroot yes #禁锢在源目录
address 192.168.133.10 #监听地址
port 873 #监听端口 tcp/udp 873可通过cat /etc/services | grep rsync查看
log file /var/log/rsyncd.log #日志文件位置
pid file /var/run/rsyncd.pid #存放进程 ID 的文件位置
hosts allow 192.168.133.0/24 #允许访问的客户机地址
dont compress *.gz *.bz2 *.tgz *.zip *.rar *.z #同步时不再压缩的文件类型[wwwroot] #共享模块名称
path /var/www/html #源目录的实际路径
comment Document Root of www.kgc.com
read only yes #是否为只读
auth users backuper #授权账户多个账号以空格分隔
secrets file /etc/rsyncd_users.db #存放账户信息的数据文件2.6.4 为备份账户创建数据文件
vim /etc/rsyncd_users.dbchmod 600 /etc/rsyncd_users.db2.6.5 保证所有用户对源目录/var/www/html 都有读取权限
chmod r /var/www/html/
ls -ld /var/www/html/
2.6.6 启动或关闭 rsync 服务程序
rsync --daemon #启动 rsync 服务以独立监听服务的方式守护进程运行 kill $(cat /var/run/rsyncd.pid) #关闭 rsync 服务
rm -rf /var/run/rsyncd.pid #关闭 rsync 服务2.6.7 在发起端将指定的资源下载到本地/opt 目录下进行备份
1方法一
rsync -avz backuper192.168.133.10::wwwroot /opt/ 2方法二
rsync -avz rsync://backuper192.168.133.10/wwwroot /opt/
