做旅游网站用什么颜色,帮忙建站的公司,公众平台公众号平台,昆山网站网站建设MyCat
简介
Mycat 是数据库 中间件 。
1、 数据库中间件
中间件 是一类连接软件组件和应用的计算机软件#xff0c; 以便于软件各部件之间的沟通 。 例子 Tomcat web 中间件 。 数据库 中间件 连接 java 应用程序和数据库
2、 为什么要用 Mycat
① Java 与数据库紧耦合 …MyCat
简介
Mycat 是数据库 中间件 。
1、 数据库中间件
中间件 是一类连接软件组件和应用的计算机软件 以便于软件各部件之间的沟通 。 例子 Tomcat web 中间件 。 数据库 中间件 连接 java 应用程序和数据库
2、 为什么要用 Mycat
① Java 与数据库紧耦合 。 ② 高访问量高并发对数据库的压力 。 ③ 读 写请求数据不一致。
作用
1、读写分离
基本的原理是让主数据库处理事务性增、改、删操作INSERT、UPDATE、DELETE而从数据库处理SELECT 查询操作。数据库复制被用来把事务性操作导致的变更同步到集群中的从数据库。 2、数据分片
垂直拆分 分库 、 水平拆分 分表 、 垂直 水平拆分 分库分表
3、多数据源整合
当一个项目需要用到多种数据源如Oracle、MySQL、SQL Server、 PostgreSQL时可以利用Mycat进行整合只需访问Mycat 这一个 数据源就行。 4、数据库路由器
Mycat基于MySQL 实例的连接池复用机制可以让每个应用最大程度地共享一个MySQL实例的所有连接池让数据库的并发访问能力大大提升。
原理
Mycat的原理中最重要的一个动 词是“拦截”它拦截 了用户发送过来的 SQL 语句首先对 SQL 语句做了 一些特定的分析如分片分析、路由分析、读写分离分析、缓存分析等然后将此 SQL 发往后端的真实数据库 并将返回的结果做适当的处理最终再返回给用户 。
逻辑库schema
业务开发人员通常在实际应用中并不需要知道中间件的存在只需 要关注数据库所以数据库中间件可以被当作一个或多个数据库集 群构成的逻辑库。 name对应Server.xml中配置的逻辑库名TESTDB checkSQLschema在SQL语句操作时指定了数据库名称执行时是否自动去除true自动去 除false不自动去除。当该值设置为true时如果我们执行语句select * from TESTDB.travelrecord;则MyCat会把语句修改为select * from travelrecord;即把表示schema的字 符去掉避免发送到后端数据库执行时报ERROR 1146 (42S02): Table ‘testdb.travelrecord’ doesn’t exist。 sqlMaxLimit当该值设置为某个数值时。每条执行的SQL语句如果没有加上limit语句MyCat 也会自动的加上所对应的值。例如设置值为100执行select * from TESTDB.travelrecord;的效果 为和执行select * from TESTDB.travelrecord limit 100;相同设置该值的话MyCat默认会把查询 到的信息全部都展示出来造成过多的输出。所以在正常使用中还是建议加上一个值用于减 少过多的数据返回。当然SQL语句中也显式的指定limit的大小不受该属性的约束。需要注意的 是如果运行的schema为非拆分库的那么该属性不会生效。需要手动添加limit语句。 dataNode同时存在指定默认存储节点比如建表默认会创建到该节点下,对应dataNode下的 name属性 注意 逻辑库与MySQL中的Database数据库对应⼀个逻辑库中定义了所包括的Table。 逻辑表table
既然有逻辑库就会有逻辑表。在分布式数据库中对于应用来说读写数据的表就是逻辑表。逻辑表可以分布在一个或多个分片库中也可以不分片。
节点主机DataNode
将数据切分后每个分片节点不一定会独占一台机器同一台机器上可以有多个分片数据库这样一个或多个分片节点所在的机器就是节点主机。为了规避单节点主机并发数量的限制,尽量将读写压力高的分片节点均匀地放在不同的节点主机上。
name节点名称可随意填写dataHost对应dataHost标签中name属性值database真实Mysql服务中创建的数据库名称
数据库主机DataHost
数据切分后每个分片节点(dataNode)不一定都会独占一台机器 同一机器上面可以有多个分片数据库这样一个或多个分片节点 (dataNode)所在的机器就是节点主机(dataHost),为了规避单节点主 机并发数限制尽量将读写压力高的分片节点(dataNode)均衡的放 在不同的节点主机(dataHost)。
1、mysql读写分离集群搭建要求主从复制至少三台mycat独立一台
MySQL主从复制
架构规划192.168.99.116 master 主节点192.168.99.117 slave1 从节点 192.168.99.118 slave2 从节点mycat配置 192.168.99.119
server.xml
user namerootproperty namepassword123456/propertyproperty nameschemasXCZDB/property/userschema.xml
?xml version1.0?
!DOCTYPE mycat:schema SYSTEM schema.dtd
mycat:schema xmlns:mycathttp://io.mycat/schema nameXCZDB checkSQLschematrue sqlMaxLimit100 dataNodetestNode/schemadataNode nametestNode dataHostdtHost databaset4 /dataHost namedtHost maxCon1000 minCon10 balance1 writeType0 dbTypemysql dbDrivernative switchType-1 slaveThreshold100!-- 心跳检测检测服务器是否宕机 --heartbeatselect user()/heartbeat!--写节点--writeHost hosthostM1 url192.168.99.116:3306 usernamida passwordNamida123!--从节点--readHost hosthostS1 url192.168.99.117:3306 usernamida passwordNamida123 /readHost hosthostS2 url192.168.99.118:3306 usernamida passwordNamida123 //writeHost/dataHost
/mycat:schemacd /usr/local/mycat/bin
mycat console测试
mycat添加数据 master数据库连接名sql slave1 slave2 2、mycat分片规则实现要求有两个主从集群一台mycat
a、范围分片练习 b、取模分片练习 c、一致性hash分片练习
架构规划
192.168.99.116 master1 主节点
192.168.99.117 slave1 从节点
192.168.99.118 master1 主节点
192.168.99.121 slave2 从节点a、范围分片练习
规则配置
autopartition-long.txt
# range start-end ,data node index
# K1000,M10000.
0-500M0
500M-1000M1
#1000M-1500M2schema.xml
?xml version1.0?
!DOCTYPE mycat:schema SYSTEM schema.dtd
mycat:schema xmlns:mycathttp://io.mycat/schema nameXCZDB checkSQLschematrue sqlMaxLimit100 table nametest4 dataNodedn1,dn2 ruleauto-sharding-long //schemadataNode namedn1 dataHostdtHost1 databaset4 /dataNode namedn2 dataHostdtHost2 databaset4 /dataHost namedtHost1 maxCon1000 minCon10 balance1 writeType0 dbTypemysql dbDrivernative switchType-1 slaveThreshold100!-- 心跳检测检测服务器是否宕机 --heartbeatselect user()/heartbeat!--写节点--writeHost hosthostM1 url192.168.99.116:3306 usernamida passwordNamida123!--从节点--readHost hosthostS1 url192.168.99.117:3306 usernamida passwordNamida123 //writeHost/dataHostdataHost namedtHost2 maxCon1000 minCon10 balance1 writeType0 dbTypemysql dbDrivernative switchType-1 slaveThreshold100!-- 心跳检测检测服务器是否宕机 --heartbeatselect user()/heartbeat!--写节点--writeHost hosthostM2 url192.168.99.118:3306 usernamida passwordNamida123!--从节点--readHost hosthostS2 url192.168.99.121:3306 usernamida passwordNamida123 //writeHost/dataHost
/mycat:schema测试
mycat写入数据
(5000011,test5)
查看master2 b、取模分片练习
修改rule.xml count 2 代表有2个datanode tableRule namemod-longrulecolumnsid/columnsalgorithmmod-long/algorithm/rule/tableRule
……
function namemod-long classio.mycat.route.function.PartitionByMod!-- how many data nodes --property namecount2/property/function
修改配置 文件 schema.xml schema nameXCZDB checkSQLschematrue sqlMaxLimit100 table nametest4 dataNodedn1,dn2 rulemod-long //schemamycat添加数据
11,master1
12,master0master1中出现12 master2中出现11 c、一致性hash分片练习
rule.xml
tableRule namesharding-by-murmurrulecolumnsid/columnsalgorithmmurmur/algorithm/rule/tableRule……
function namemurmurclassio.mycat.route.function.PartitionByMurmurHashproperty nameseed0/property!-- 默认是0 --property namecount2/property!-- 要分片的数据库节点数量必须指定否则没法分片 --property namevirtualBucketTimes160/property!-- 一个实际的数据库节点被映射为这么多虚拟节点默认是160倍也就是虚拟节点数是物理节点数的160倍 --!-- property nameweightMapFileweightMapFile/property 节点的权重没有指定权重的节点默认是1。以properties文件的格式填写以从0开始到count-1的整数值也就是节点索引为key以节点权重值为值。所有权重值必须是正整数否则以1代替 --!-- property namebucketMapPath/etc/mycat/bucketMapPath/property 用于测试时观察各物理节点与虚拟节点的分布情况如果指定了这个属性会把虚拟节点的murmur hash值与物理节点的映射按行输出到这个文件没有默认值如果不指定就不会输出任何东西 --/functionschema.xml
schema nameXCZDB checkSQLschematrue sqlMaxLimit100 table nametest4 dataNodedn1,dn2 rulesharding-by-murmur //schema启动
./mycat consolemycat表test4添加数据
20,test3
21,test33master1 master2
