学校建设网站前的市场分析,电商网站功能设计,海外网络推广厂家,东莞网站设计精英1、什么是读写分离#xff1f; 读写分离#xff0c;基本的原理是让主数据库处理事务性增、改、删操作#xff08;INSERT、UPDATE、DELETE#xff09;#xff0c;而从数据库处理SELECT查询操作。数据库复制被用来把事务性操作导致的变更同步到集群中的从数据库。
2、为什么…1、什么是读写分离 读写分离基本的原理是让主数据库处理事务性增、改、删操作INSERT、UPDATE、DELETE而从数据库处理SELECT查询操作。数据库复制被用来把事务性操作导致的变更同步到集群中的从数据库。
2、为什么要读写分离呢 因为数据库的“写”写10000条数据可能要3分钟操作是比较耗时的。 但是数据库的“读”读10000条数据可能只要5秒钟。 所以读写分离解决的是数据库的写入影响了查询的效率。
3、什么时候要读写分离 数据库不一定要读写分离如果程序使用数据库较多时而更新少查询多的情况下会考虑使用。利用数据库主从同步再通过读写分离可以分担数据库压力提高性能。
4、主从复制与读写分离 在实际的生产环境中对数据库的读和写都在同一个数据库服务器中是不能满足实际需求的。无论是在安全性、高可用性还是高并发等各个方面都是完全不能满足实际需求的。因此通过主从复制的方式来同步数据再通过读写分离来提升数据库的并发负载能力。有点类似于rsync但是不同的是rsync是对磁盘文件做备份而mysql主从复制是对数据库中的数据、语句做备份。
5、mysq支持的复制类型 1STATEMENT基于语句的复制。在服务器上执行sql语句在从服务器上执行同样的语句mysql默认采用基于语句的复制执行效率高。 2ROW基于行的复制。把改变的内容复制过去而不是把命令在从服务器上执行一遍。 3MIXED混合类型的复制。默认采用基于语句的复制一旦发现基于语句无法精确复制时就会采用基于行的复制。
6、主从复制的工作过程 1Master节点将数据的改变记录成二进制日志bin log当Master上的数据发生改变时则将其改变写入二进制日志中。 2Slave节点会在一定时间间隔内对Master的二进制日志进行探测其是否发生改变如果发生改变则开始一个I/O线程请求 Master的二进制事件。 3同时Master节点为每个I/O线程启动一个dump线程用于向其发送二进制事件并保存至Slave节点本地的中继日志Relay log中Slave节点将启动SQL线程从中继日志中读取二进制日志在本地重放即解析成 sql 语句逐一执行使得其数据和 Master节点的保持一致最后I/O线程和SQL线程将进入睡眠状态等待下一次被唤醒。
注 ●中继日志通常会位于 OS 缓存中所以中继日志的开销很小。 ●复制过程有一个很重要的限制即复制在 Slave上是串行化的也就是说 Master上的并行更新操作不能在 Slave上并行操作。
MySQL主从复制延迟 1、master服务器高并发形成大量事务 2、网络延迟 3、主从硬件设备导致 cpu主频、内存io、硬盘io 4、本来就不是同步复制、而是异步复制 从库优化Mysql参数。比如增大innodb_buffer_pool_size让更多操作在Mysql内存中完成减少磁盘操作。 从库使用高性能主机。包括cpu强悍、内存加大。避免使用虚拟云主机使用物理主机这样提升了i/o方面性。 从库使用SSD磁盘 网络优化避免跨机房实现同步 7、MySQL 读写分离原理 读写分离就是只在主服务器上写只在从服务器上读。基本的原理是让主数据库处理事务性操作而从数据库处理 select 查询。数据库复制被用来把主数据库上事务性操作导致的变更同步到集群中的从数据库。
8、目前较为常见的 MySQL 读写分离分为以下两种 1基于程序代码内部实现 在代码中根据 select、insert 进行路由分类这类方法也是目前生产环境应用最广泛的。 优点是性能较好因为在程序代码中实现不需要增加额外的设备为硬件开支缺点是需要开发人员来实现运维人员无从下手。 但是并不是所有的应用都适合在程序代码中实现读写分离像一些大型复杂的Java应用如果在程序代码中实现读写分离对代码改动就较大。
2基于中间代理层实现 代理一般位于客户端和服务器之间代理服务器接到客户端请求后通过判断后转发到后端数据库有以下代表性程序。 1MySQL-Proxy。MySQL-Proxy 为 MySQL 开源项目通过其自带的 lua 脚本进行SQL 判断。 2Atlas。是由奇虎360的Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它是在mysql-proxy 0.8.2版本的基础上对其进行了优化增加了一些新的功能特性。360内部使用Atlas运行的mysql业务每天承载的读写请求数达几十亿条。支持事物以及存储过程。 3Amoeba。由陈思儒开发作者曾就职于阿里巴巴。该程序由Java语言进行开发阿里巴巴将其用于生产环境。但是它不支持事务和存储过程。
由于使用MySQL Proxy 需要写大量的Lua脚本这些Lua并不是现成的而是需要自己去写。这对于并不熟悉MySQL Proxy 内置变量和MySQL Protocol 的人来说是非常困难的。 Amoeba是一个非常容易使用、可移植性非常强的软件。因此它在生产环境中被广泛应用于数据库的代理层。
Master 服务器192.168.10.15 mysql5.7 Slave1 服务器192.168.10.14 mysql5.7 Slave2 服务器192.168.10.16 mysql5.7 Amoeba 服务器192.168.10.13 jdk1.6、Amoeba 客户端 服务器192.168.10.13 mysql
systemctl stop firewalld systemctl disable firewalld setenforce 0
----------------------搭建 MySQL主从复制-------------------------------- ----Mysql主从服务器时间同步---- ##主服务器设置## yum install ntp -y
vim /etc/ntp.conf --末尾添加-- server 127.127.80.0 #设置本地是时钟源注意修改网段 fudge 127.127.80.0 stratum 8 #设置时间层级为8限制在15内
service ntpd start ##从服务器设置## yum install ntp ntpdate -y
service ntpd start /usr/sbin/ntpdate 192.168.80.10 #进行时间同步
crontab -e */30 * * * * /usr/sbin/ntpdate 192.168.80.10 ----主服务器的mysql配置----- vim /etc/my.cnf server-id 11 log-binmaster-bin #添加主服务器开启二进制日志 binlog_format MIXED log-slave-updatestrue #添加允许slave从master复制数据时可以写入到自己的二进制日志
systemctl restart mysqld
mysql -u root -pabc123 GRANT REPLICATION SLAVE ON *.* TO myslave192.168.10.% IDENTIFIED BY 123456; #给从服务器授权 FLUSH PRIVILEGES;
show master status; //如显示以下 ------------------------------------------------------------- | File | Position | Binlog_Do_DB | Binlog_Ignore_DB | ------------------------------------------------------------- | master-bin.000001 | 603 | | | ------------------------------------------------------------- 1 row in set (0.00 sec)
#File 列显示日志名Position 列显示偏移量
----从服务器的mysql配置---- vim /etc/my.cnf server-id 22 #修改注意id与Master的不同两个Slave的id也要不同 relay-logrelay-log-bin #添加开启中继日志从主服务器上同步日志文件记录到本地 relay-log-indexslave-relay-bin.index #添加定义中继日志文件的位置和名称一般和relay-log在同一目录 relay_log_recovery 1 #选配项 #当 slave 从库宕机后假如 relay-log 损坏了导致一部分中继日志没有处理则自动放弃所有未执行的 relay-log并且重新从 master 上获取日志这样就保证了relay-log 的完整性。默认情况下该功能是关闭的将 relay_log_recovery 的值设置为 1 时 可在 slave 从库上开启该功能建议开启。 systemctl restart mysqld
mysql -u root -pabc123 CHANGE master to master_host192.168.80.10,master_usermyslave,master_password123456,master_log_filemaster-bin.000002,master_log_pos339; #配置同步注意 master_log_file 和 master_log_pos 的值要与Master查询的一致
CHANGE master to master_host192.168.10.15,master_usermyslave,master_password123456,master_log_filemaster-bin.000001,master_log_poss603;
start slave; #启动同步如有报错执行 reset slave; show slave status\G #查看 Slave 状态 //确保 IO 和 SQL 线程都是 Yes代表同步正常。 Slave_IO_Running: Yes #负责与主机的io通信 Slave_SQL_Running: Yes #负责自己的slave mysql进程
#一般 Slave_IO_Running: No 的可能性 1、网络不通 2、my.cnf配置有问题 3、密码、file文件名、pos偏移量不对 4、防火墙没有关闭 ----验证主从复制效果---- 主服务器上进入执行 create database db_test;
去从服务器上查看 show databases; 注如数据中途加入主从复制的库 需要导出主服务器库 的库文件并且导入到从服务器中
Master 服务器192.168.10.15 mysql5.7 Slave1 服务器192.168.10.14 mysql5.7 Slave2 服务器192.168.10.16 mysql5.7 Amoeba 服务器192.168.10.13 jdk1.6、Amoeba 客户端 服务器192.168.10.13 mysql
注做读写分离实验之前必须有一 主 两从 环境
----------------------搭建 MySQL读写分离-------------------------------- ----Amoeba服务器配置---- ##安装 Java 环境## 因为 Amoeba 基于是 jdk1.5 开发的所以官方推荐使用 jdk1.5 或 1.6 版本高版本不建议使用。 cd /opt/ cp jdk-6u14-linux-x64.bin /usr/local/ cd /usr/local/ chmod x jdk-6u14-linux-x64 ./jdk-6u14-linux-x64.bin //按yes按enter
mv jdk1.6.0_14/ /usr/local/jdk1.6
vim /etc/profile export JAVA_HOME/usr/local/jdk1.6 export CLASSPATH$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib export PATH$JAVA_HOME/lib:$JAVA_HOME/jre/bin/:$PATH:$HOME/bin export AMOEBA_HOME/usr/local/amoeba export PATH$PATH:$AMOEBA_HOME/bin
source /etc/profile java -version
##安装 Amoeba软件## mkdir /usr/local/amoeba tar zxvf amoeba-mysql-binary-2.2.0.tar.gz -C /usr/local/amoeba/ chmod -R 755 /usr/local/amoeba/ /usr/local/amoeba/bin/amoeba //如显示amoeba start|stop说明安装成功
##配置 Amoeba读写分离两个 Slave 读负载均衡## #先在Master、Slave1、Slave2 的mysql上开放权限给 Amoeba 访问 grant all on *.* to test192.168.80.% identified by 123.com;
grant all on *.* to test192.168.10.% identified by 123456;
#再回到amoeba服务器配置amoeba服务 cd /usr/local/amoeba/conf/
cp amoeba.xml amoeba.xml.bak vim amoeba.xml #修改amoeba配置文件 --30行-- property nameuseramoeba/property --32行-- property namepassword123456/property --115行-- property namedefaultPoolmaster/property --117-去掉注释- property namewritePoolmaster/property property namereadPoolslaves/property
cp dbServers.xml dbServers.xml.bak vim dbServers.xml #修改数据库配置文件 --23行--注释掉 作用默认进入test库 以防mysql中没有test库时会报错 !-- property nameschematest/property -- --26--修改 property nameusertest/property --28-30--去掉注释 property namepassword123456/property --45--修改设置主服务器的名Master dbServer namemaster parentabstractServer --48--修改设置主服务器的地址 property nameipAddress192.168.10.15/property --52--修改设置从服务器的名slave1 dbServer nameslave1 parentabstractServer --55--修改设置从服务器1的地址 property nameipAddress192.168.10.14/property --58--复制上面6行粘贴设置从服务器2的名slave2和地址 dbServer nameslave2 parentabstractServer property nameipAddress192.168.10.16/property --65行--修改 dbServer nameslaves virtualtrue --71行--修改 property namepoolNamesslave1,slave2/property /usr/local/amoeba/bin/amoeba start #启动Amoeba软件按ctrlc 返回 netstat -anpt | grep java #查看8066端口是否开启默认端口为TCP 8066 ----测试读写分离 ---- yum install -y mariadb-server mariadb systemctl start mariadb.service
在客户端服务器上测试 mysql -u amoeba -p123456 -h 192.168.10.13 -P8066 //通过amoeba服务器代理访问mysql 在通过客户端连接mysql后写入的数据只有主服务会记录然后同步给从--从服务器
在主服务器上 use db_test; create table test (id int(10),name varchar(10),address varchar(20));
在两台从服务器上 stop slave; #关闭同步 use db_test; //在slave1上 insert into test values(1,zhangsan,this_is_slave1);
//在slave2上 insert into test values(2,lisi,this_is_slave2);
//在主服务器上 insert into test values(3,wangwu,this_is_master);
//在客户端服务器上 use db_test; select * from test; //客户端会分别向slave1和slave2读取数据显示的只有在两个从服务器上添加的数据没有在主服务器上添加的数据
insert into test values(4,qianqi,this_is_client); //只有主服务器上有此数据
//在两个从服务器上执行 start slave; 即可实现同步在主服务器上添加的数据 start slave; 面试题 1、主从同步复制原理 2、读写分离你们使用什么方式 3、如何查看主从同步状态是否成功 4、如果I/O不是yes呢你如何排查 5、show slave status能看到哪些信息比较重要 6、主从复制慢延迟会有哪些可能怎么解决
总结面试题 1、主从同步复制原理 2、读写分离你们使用什么方式 amoeba 代理 mycat 代码 sql_proxy 通过amoeba代理服务器实现只在主服务器上写只在从服务器上读 主数据库处理事务性查询从数据库处理select 查询 数据库复制被用来把事务查询导致的变更同步的集群中的从数据库
3、如何查看主从同步状态是否成功 在从服务器上内输入 show slave status\G 查看主从信息查看里面有IO线程的状态信息还有master服务器的IP地址、端口事务开始号。 当 Slave_IO_Running和Slave_SQL_Running都是YES时 表示主从同步状态成功
4、如果I/O不是yes呢你如何排查 首先排查网络问题使用ping 命令查看从服务器是否能与主服务器通信 再查看防火墙和核心防护是否关闭增强功能 接着查看从服务slave是否开启 两个从服务器的server-id 是否相同导致只能连接一台 master_log_file master_log_pos的值跟master值是否一致
5、show slave status能看到哪些信息比较重要 IO线程的状态信息 master服务器的IP地址、端口、事务开始的位置 最近一次的错误信息和错误位置 最近一次的I/O报错信息和ID 最近一次的SQL报错信息和id 6、主从复制慢延迟会有哪些可能怎么解决 主服务器的负载过大被多个睡眠或 僵尸线程占用 导致系统负载过大从库硬件比主库差导致复制延迟 主从复制单线程如果主库写作并发太大来不及传送到从库就会到导致延迟 慢sql语句过多 网络延迟 mysql主从复制
若主从版本不一致从的版本一定要高于主保证可以向下兼容 因为若主的版本更新低版本的从无法兼容的。
