制作一个动态企业网站,网站建设一流公司,深圳龙华区住房和建设局网站,智能产品开发文章目录 一、简介1、工作机制2、特点3、数据结构4、应用场景5、选举机制 二、软件安装1、单机版安装2、集群安装3、配置参数解读(zoo.cfg)4、ZK集群启动脚本 三、命令行操作1、语法2、使用3、节点相关4、监听器原理5、节点删除与查看 三、写数据流程 一、简介
1、工作机制
官… 文章目录 一、简介1、工作机制2、特点3、数据结构4、应用场景5、选举机制 二、软件安装1、单机版安装2、集群安装3、配置参数解读(zoo.cfg)4、ZK集群启动脚本 三、命令行操作1、语法2、使用3、节点相关4、监听器原理5、节点删除与查看 三、写数据流程 一、简介
1、工作机制
官方地址https://zookeeper.apache.org/
Zookeeper是一个开源的分布式的为分布式框架提供协调服务的Apache项目。
Zookeeper从设计模式角度来理解是一个基于观察者模式设计的分布式服务管理框架它负责存储和管理大家都关心的数据然后接受观察者的注册一旦这些数据的状态发生变化Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应。 2、特点
Zookeeper一个领导者Leader多个跟随者Follower组成的集群。集群中只要有半数以上节点存活Zookeeper集群就能正常服务。所以Zookeeper适合安装奇数台服务器。全局数据一致每个Server保存一份相同的数据副本Client无论连接到哪个Server数据都是一致的。更新请求顺序执行来自同一个Client的更新请求按其发送顺序依次执行。数据更新原子性一次数据更新要么成功要么失败。实时性在一定时间范围内Client能读到最新数据。 3、数据结构
ZooKeeper数据模型的结构与Unix文件系统很类似。整体上可以看作是一棵树每个节点称做一个ZNode。每一个ZNode默认能够存储1MB的数据每个ZNode都可以通过其路径唯一标识。 4、应用场景
提供的服务包括统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等。
统一命名服务统一配置管理统一集群管理服务器节点动态上下线软负载均衡等
统一命名服务
在分布式环境下经常需要对应用/服务进行统一命名便于识别。例如IP不容易记住而域名容易记住。 统一配置管理 分布式环境下配置文件同步非常常见。 一般要求一个集群中所有节点的配置信息是一致的比如 Kafka 集群。对配置文件修改后希望能够快速同步到各个节点上。 配置管理可交由ZooKeeper实现。 可将配置信息写入ZooKeeper上的一个Znode。各个客户端服务器监听这个Znode。一旦Znode中的数据被修改ZooKeeper将通知各个客户端服务器。 统一集群管理
分布式环境中实时掌握每个节点的状态是必要的。 可根据节点实时状态做出一些调整。 ZooKeeper可以实现实时监控节点状态变化。 可将节点信息写入ZooKeeper上的一个ZNode。监听这个ZNode可获取它的实时状态变化。 服务器动态上下线 软负载均衡
在Zookeeper中记录每台服务器的访问数让访问数最少的服务器去处理最新的客户端请求。 5、选举机制
首次启动
1服务器1启动发起一次选举。服务器1投自己一票。此时服务器1票数一票不够半数以上3票选举无法完成服务器1状态保持为LOOKING2服务器2启动再发起一次选举。服务器1和2分别投自己一票并交换选票信息此时服务器1发现服务器2的myid比自己目前投票推举的服务器1大更改选票为推举服务器2。此时服务器1票数0票服务器2票数2票没有半数以上结果选举无法完成服务器12状态保持LOOKING。3服务器3启动发起一次选举。此时服务器1和2都会更改选票为服务器3。此次投票结果服务器1为0票服务器2为0票服务器3为3票。此时服务器3的票数已经超过半数服务器3当选Leader。服务器12更改状态为FOLLOWING服务器3更改状态为LEADING4服务器4启动发起一次选举。此时服务器123已经不是LOOKING状态不会更改选票信息。交换选票信息结果服务器3为3票服务器4为1票。此时服务器4服从多数更改选票信息为服务器3并更改状态为FOLLOWING5服务器5启动同4一样当小弟。 非第一次启动 二、软件安装
# The number of milliseconds of each tick
# 通信心跳时间Zookeeper服务器与客户端心跳时间单位毫秒
tickTime2000d# The number of ticks that the initial
# synchronization phase can take
# LF初始通信时限
initLimit10# The number of ticks that can pass between
# sending a request and getting an acknowledgement
# LF同步通信时限
syncLimit5# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just
# example sakes.
#dataDir/tmp/zookeeper
# 保存Zookeeper中的数据
dataDir/opt/module/zookeeper-3.5.7/zkData# the port at which the clients will connect
#客户端连接端口通常不做修改
clientPort21811、单机版安装
安装JDK(首先需要安装JDK)
yum install java-1.8.0-openjdk-devel.x86_64 创建文件/opt/module
mkdir /opt/module
cd /opt/module下载文件
wget https://archive.apache.org/dist/zookeeper/zookeeper-3.5.7/apache-zookeeper-3.5.7-bin.tar.gz解压文件
tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz -C /opt/module修改安装目录名
mv apache-zookeeper-3.5.7-bin zookeeper-3.5.7配置环境变量
vim /etc/profile.d/my_env.sh# ZOOKEEPER_HOME
export ZOOKEEPER_HOME/opt/module/zookeeper-3.5.7
export PATH$PATH:$ZOOKEEPER_HOME/bin加载环境变量
source /etc/profile添加配置文件
cd /opt/module/zookeeper-3.5.7/conf/
mv zoo_sample.cfg zoo.cfg修改配置文件
vim zoo.cfg
# 修改数据所在文件
dataDir/opt/module/zookeeper-3.5.7/zkData创建日志目录
mkdir /opt/module/zookeeper-3.5.7/zkData启动zookeeper
bin/zkServer.sh start查询启动状态
# 查看进程
jps
# 查看状态
bin/zkServer.sh status启动客户端
bin/zkCli.sh退出客户端
quit停止zookeeper
bin/zkServer.sh stop2、集群安装
安装JDK(首先需要安装JDK)
yum install java-1.8.0-openjdk-devel.x86_64 创建文件/opt/module
mkdir /opt/module
cd /opt/module下载文件
wget https://archive.apache.org/dist/zookeeper/zookeeper-3.5.7/apache-zookeeper-3.5.7-bin.tar.gz解压文件
tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz -C /opt/module修改安装目录名
cd /opt/module
mv apache-zookeeper-3.5.7-bin zookeeper-3.5.7创建数据存储目录
cd /opt/module/zookeeper-3.5.7/
mkdir zkData在/opt/module/zookeeper-3.5.7/zkData目录下创建一个myid的文件
在文件中添加与server对应的编号注意上下不要有空行左右不要有空格
cd /opt/module/zookeeper-3.5.7/zkData
vim myid
# 服务器编号每台服务器要不同
1配置zoo.cfg配置文件
cd /opt/module/zookeeper-3.5.7/conf
mv zoo_sample.cfg zoo.cfg修改配置文件
vim /opt/module/zookeeper-3.5.7/conf/zoo.cfg# 修改数据存储位置
dataDir/opt/module/zookeeper-3.5.7/zkData# 增加集群配置
#######################cluster##########################
server.1hadoop101:2888:3888
server.2hadoop102:2888:3888
server.3hadoop103:2888:3888启动集群(3台都要启动)
cd /opt/module/zookeeper-3.5.7
bin/zkServer.sh start查看状态
bin/zkServer.sh status3、配置参数解读(zoo.cfg)
Zookeeper中的配置文件zoo.cfg中参数含义解读如下
# 通信心跳时间
tickTime2000
# LF初始通信时限
initLimit10
# LF同步通信时限
syncLimit5
# 保存Zookeeper中的数据
dataDir/tmp/zookeeper
# 客户端连接端口通常不做修改
clientPort2181tickTime 2000通信心跳时间Zookeeper服务器与客户端心跳时间单位毫秒 initLimit 10LF初始通信时限
Leader和Follower初始连接时能容忍的最多心跳数tickTime的数量 syncLimit 5LF同步通信时限
Leader和Follower之间通信时间如果超过syncLimit * tickTimeLeader认为Follwer死掉从服务器列表中删除Follwer。 dataDir保存Zookeeper中的数据
注意默认的tmp目录容易被Linux系统定期删除所以一般不用默认的tmp目录。
clientPort 2181客户端连接端口通常不做修改。
4、ZK集群启动脚本
#!/bin/bashcase $1 in
start){for i in hadoop102 hadoop103 hadoop104doecho ---------- zookeeper $i 启动 ------------ssh $i /opt/module/zookeeper-3.5.7/bin/zkServer.sh startdone
};;
stop){for i in hadoop102 hadoop103 hadoop104doecho ---------- zookeeper $i 停止 ------------ ssh $i /opt/module/zookeeper-3.5.7/bin/zkServer.sh stopdone
};;
status){for i in hadoop102 hadoop103 hadoop104doecho ---------- zookeeper $i 状态 ------------ ssh $i /opt/module/zookeeper-3.5.7/bin/zkServer.sh statusdone
};;
esac三、命令行操作
1、语法
命令基本语法功能描述help显示所有操作命令ls path使用 ls 命令来查看当前znode的子节点 [可监听]-w 监听子节点变化-s 附加次级信息create普通创建-s 含有序列-e 临时重启或者超时消失get path获得节点的值 [可监听]-w 监听节点内容变化-s 附加次级信息set设置节点的具体值stat查看节点状态delete删除节点deleteall递归删除节点
2、使用
启动客户端
bin/zkCli.sh -server hadoop101:2181显示所有操作命令
help查看当前znode中所包含的内容
ls /查看当前节点详细数据
ls -s /czxid创建节点的事务zxid 每次修改ZooKeeper状态都会产生一个ZooKeeper事务ID。事务ID是ZooKeeper中所有修改总的次序。每次修改都有唯一的zxid如果zxid1小于zxid2那么zxid1在zxid2之前发生。 ctimeznode被创建的毫秒数从1970年开始mzxidznode最后更新的事务zxidmtimeznode最后修改的毫秒数从1970年开始pZxidznode最后更新的子节点zxidcversionznode子节点变化号znode子节点修改次数dataversionznode数据变化号aclVersionznode访问控制列表的变化号ephemeralOwner如果是临时节点这个是znode拥有者的session id。如果不是临时节点则是0。dataLengthznode的数据长度numChildrenznode子节点数量 3、节点相关
节点可以分为持久节点、短暂节点。
持久Persistent客户端和服务器端断开连接后创建的节点不删除。 持久化目录节点客户端与Zookeeper断开连接后该节点依旧存在持久化顺序编号目录节点客户端与Zookeeper断开连接后该节点依旧存在只是Zookeeper给该节点名称进行顺序编号 短暂Ephemeral客户端和服务器端断开连接后创建的节点自己删除。 临时目录节点客户端与Zookeeper断开连接后该节点被删除。临时顺序编号目录节点客户端与Zookeeper断开连接后该节点被删除只是Zookeeper给该节点名称进行顺序编号。
说明创建znode时设置顺序标识znode名称后会附加一个值顺序号是一个单调递增的计数器由父节点维护。
注意在分布式系统中顺序号可以被用于为所有的事件进行全局排序这样客户端可以通过顺序号推断事件的顺序。 分别创建2个普通节点创建节点时要赋值
create /sanguo diaochan
create /sanguo/shuguo liubei获取子节点
ls /sanguo获取sanguo的值
get -s /sanguo普通节点create /test/test1 zhansan01带序号节点create -s /test/test1 zhansan01创建的节点带序号test1000001短暂节点create -e /test/test1 zhansan01关闭客户端后会消失(临时) 创建普通节点
create /test/test1 zhansan01创建带序号节点
create -s /test/test2/test21 zhansan02
create -s /test/test2/test22 lisi02
create -s /test/test2/test23 wangwu02创建短暂节点(关闭客户端后消失)
create -e /test/test3 zhansan03
# 创建短暂的带序号的节点
create -e -s /test/test3 lisi03修改节点的值
set /test/test3 wangwu034、监听器原理
客户端注册监听它关心的目录节点当目录节点发生变化数据改变、节点删除、子目录节点增加删除时ZooKeeper会通知客户端。监听机制保证ZooKeeper保存的任何的数据的任何改变都能快速的响应到监听了该节点的应用程序。
监听原理
1首先要有一个main()线程2在main线程中创建Zookeeper客户端这时就会创建两个线程一个负责网络连接通信connet一个负责监听listener。3通过connect线程将注册的监听事件发送给Zookeeper。4在Zookeeper的注册监听器列表中将注册的监听事件添加到列表中。5Zookeeper监听到有数据或路径变化就会将这个消息发送给listener线程。6listener线程内部调用了process()方法。
常见的监听
#监听节点数据的变化
get path [watch]
# 监听子节点增减的变化
ls path [watch]监控/test值变化
get -w /test
# 更新/test值
set /test zhangsan注意在hadoop103再多次修改/sanguo的值hadoop104上不会再收到监听。因为注册一次只能监听一次。想再次监听需要再次注册。 监控子目录变化
ls -w /test
# 新建子目录值
create /test/test4 zhangsan04注意节点的路径变化也是注册一次生效一次。想多次生效就需要多次注册。 5、节点删除与查看
删除节点
delete /test/test4递归删除节点
deleteall /test/test2查看节点状态
stat /test三、写数据流程
