加强网站队伍建设,中英文切换网站开发,广州网站设计成功柚米科技,企业融资需求kafka从2.8版本开始#xff0c;就可以不用配置zookeeper了#xff0c;但是也可以继续配置。我目前使用的kafka版本是kafka_2.12-3.0.0.tgz#xff0c;其中前面的2.12表示是使用该版本的scala语言进行编写的#xff0c;而后面的3.00才是kafka当前的版本。
通过百度网盘分享… kafka从2.8版本开始就可以不用配置zookeeper了但是也可以继续配置。我目前使用的kafka版本是kafka_2.12-3.0.0.tgz其中前面的2.12表示是使用该版本的scala语言进行编写的而后面的3.00才是kafka当前的版本。
通过百度网盘分享的文件apache-zookeeper-3.6.4-bin.tar.gz 链接https://pan.baidu.com/s/1XTh89ZRLh2Etbz9lFTWyag?pwdl037 提取码l037
通过百度网盘分享的文件kafka 链接https://pan.baidu.com/s/1w0qZZK3VdGYRPp2T1yWv4w?pwd3wr1 提取码3wr1
kafka的文件夹中有kafka和一个kafka的ui软件
这种配置要想使用kafka需要先启动zookeeper
关闭时需要先关闭kafka再关闭zookeeper否则kafka就关闭不掉了需要kill
zookeeper的配置
上传
1、将zk软件上传到/opt/modules 下
2、解压 重命名配置环境变量
tar -zxvf apache-zookeeper-3.6.4-bin.tar.gz -C /opt/installs/
mv apache-zookeeper-3.6.4-bin zookeeper
vi /etc/profile
export ZOOKEEPER_HOME/opt/installs/zookeeper
export PATH$PATH:$ZOOKEEPER_HOME/bin
source /etc/profile修改配置文件
cd /opt/installs/zookeeper/confmv zoo_sample.cfg zoo.cfg
我的配置文件的全部
# The number of milliseconds of each tick
tickTime2000
# The number of ticks that the initial
# synchronization phase can take
initLimit10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just
# example sakes.
dataDir/opt/installs/zookeeper/zkData
# the port at which the clients will connect
clientPort2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns60
#
# Be sure to read the maintenance section of the
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount3
# Purge task interval in hours
# Set to 0 to disable auto purge feature
#autopurge.purgeInterval1
server.1bigdata01:2888:3888
server.2bigdata02:2888:3888
server.3bigdata03:2888:3888
创建文件夹
cd /opt/installs/zookeeper/
mkdir zkData
cd zkData
touch myid
echo 1 myid
将配置好的zookeeper文件传给集群内所有的服务器
记得将myid文件中的数据修改一下
我的有bigdata01bigdata02bigdata03 三台服务器
bigdata01中myid文件中为1
bigdata02中myid文件中为2
bigdata03中myid文件中为3
一个脚本用于启动/关闭/查看集群中所有的zookeeper 在/usr/local/bin 下面创建zk.sh
#!/bin/bash# 获取参数
COMMAND$1
if [ ! $COMMAND ]; thenecho please input your option in [start | stop | status]exit -1
fi
if [ $COMMAND ! start -a $COMMAND ! stop -a $COMMAND ! status ]; thenecho please input your option in [start | stop | status]exit -1
fi# 所有的服务器
HOSTS( bigdata01 bigdata02 bigdata03 )
for HOST in ${HOSTS[*]}
dossh -T $HOST TERMINATORecho ---------- $HOST ----------zkServer.sh $COMMAND 2 /dev/null | grep -ivh SSLexit
TERMINATOR
done
该脚本的使用方式
chmod 777 zk.shzk.sh start
zk.sh stop
zk.sh status
假如不配置该脚本
在每一个服务器上运行
zkServer.sh stop/start/status
kafka的配置
上传
1、将kafka软件上传到/opt/modules 下
2、解压 重命名配置环境变量
tar -zxvf kafka_2.12-3.0.0.tgz -C /opt/installs/
mv kafka_2.12-3.0.0 kafka3
vi /etc/profile
export KAFKA_HOME/opt/installs/kafka3
export PATH$PATH:$KAFKA_HOME/bin
source /etc/profile集群中所有服务器的profile文件都需要修改 记得刷新环境变量修改配置文件
cd /opt/installs/kafka3vi server.properties
修改其中的部分内容
#broker 的全局唯一编号不能重复只能是数字。
broker.id0 #kafka 运行日志(数据)存放的路径路径不需要提前创建kafka 自动帮你创建可以配置多个磁盘路径路径与路径之间可以用分隔
log.dirs/opt/installs/kafka3/datas #配置连接 Zookeeper 集群地址在 zk 根目录下创建/kafka方便管理
zookeeper.connectbigdata01:2181,bigdata02:2181,bigdata03:2181/kafka3 分发修改好的kafka文件
使用scp命令
scp /opt/installs/kafka3 rootbigdata02:/opt/installs
scp /opt/installs/kafka3 rootbigdata03:/opt/installs
分别在 bigdata02 和 bigdata03上修改配置文件/opt/installs/kafka/config/server.properties 中的 broker.id1、broker.id2
注broker.id 不得重复整个集群中唯一。
一个脚本用于启动/关闭/查看集群中所有的kafka
在/usr/local/sbin 目录下创建文件 kf.sh 脚本文件
vi kf.sh
#! /bin/bash
case $1 in
start){for i in bigdata01 bigdata02 bigdata03doecho --------启动 $i Kafka-------ssh $i source /etc/profile; /opt/installs/kafka3/bin/kafka-server-start.sh -daemon /opt/installs/kafka3/config/server.propertiesdone
};;
stop){for i in bigdata01 bigdata02 bigdata03doecho --------停止 $i Kafka-------ssh $i source /etc/profile; /opt/installs/kafka3/bin/kafka-server-stop.shdone
};;
esac
chmod ux kf.sh如何使用
kf.sh start
kf.sh stop
假如没有配置脚本
//启动时需要指定server.properties的路径
//若不加-daemon 就会占用一个窗口 此时是后台启动kafka进程
./kafka-server-start.sh -daemon ../config/server.properties
kafka-server-stop.sh
结果
