利用虚拟主机建设企业网站,华为手机官网入口,申请公司注册流程,微信开发者工具怎么用kafka介绍
kafka是一个分布式的消息队列系统#xff0c;适合离线和在线消费#xff0c;扩展性好
kafka部署
安装包获取#xff1a; 链接#xff1a;https://pan.baidu.com/s/1y32yvZU-CAHBtbEfnHkJzQ 提取码#xff1a;y9vb –来自百度网盘超级会员V5的分享
安装目录为…kafka介绍
kafka是一个分布式的消息队列系统适合离线和在线消费扩展性好
kafka部署
安装包获取 链接https://pan.baidu.com/s/1y32yvZU-CAHBtbEfnHkJzQ 提取码y9vb –来自百度网盘超级会员V5的分享
安装目录为/opt/soft/下安装3个节点
1、配置jdk
第一种yum install java-1.8.0-openjdk*通过yum安装修改环境变量第二种将jdk包上传到服务器目录
注意所有服务器节点都要安装JDK
解压
tar -xvf jdk-8u102-linux-x64.tar.gzvim /etc/profile
JAVA_HOME/opt/soft/jdk1.8.0_102
CLASS_PATH.:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/jre/lib
PATH$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin
export JAVA_HOME CLASS_PATH PATH生效
source /etc/profile检查jdk是否生效状态
jps
或
javac -version2、zookeeper
解压安装包
tar -xvf zookeeper-3.4.8.tar.gz
mv zookeeper-3.4.8 zookeeper重命名看起来整洁配置zoo.cfg文件
cd /opt/zookeeper/conf
cp zoo_sample.cfg zoo.cfg编辑vim zoo.cfg
tickTime2000 #服务器与客户端之间交互的基本时间单元ms
initLimit10 #zookeeper所能接受的客户端数量
syncLimit5 #服务器和客户端之间请求和应答之间的时间间隔
dataDir/opt/soft/zookeeper/data #保存zookeeper数据日志的路径
quorumListenOnAllIPstrue #因为配置的结点不是在同一内网中设置的是公网ip
server.1192.168.64.20:2888:3888
server.2192.168.64.21:2888:3888
server.3192.168.64.22:2888:3888 #根据节点ip进行修改创建数据目录
mkdir -p /opt/soft/zookeeper/data将zookeeper目录拷贝到各个节点目录
scp -r zookeeper 192.168.64.21:/opt/soft
scp -r zookeeper 192.168.64.22:/opt/soft给每个节点创建myidmyid的值需要与配置文件中server的id相同
vim /opt//softzookeeper/data/myid20节点
1vim /opt//softzookeeper/data/myid21节点
2vim /opt/soft/zookeeper/data/myid22节点
3启动zookeeper并查看状态各个节点
# 启动zookeeper
/opt/opt/zookeeper/bin/zkServer.sh start
# 查看zookeeper状态
/opt/opt/zookeeper/bin/zkServer.sh status
#jps查看是否启动QuorumPeerMain
#停止服务
/opt/opt/zookeeper/bin/zkServer.sh stop3、kafka安装
解压安装包
tar -xvf kafka_2.11-0.10.0.0.tgz
mv kafka_2.11-0.10.0.0 kafka重命名看起来简洁cd kafka/config/ 目录配置server.properties文件
vim server.properties
broker.id0 //broker.id 需要kafka集群各节点不相同
delete.topic.enabletrue //允许管理人员删除topic
auto.create.topics.enablefalse //手动控制topic的创建否则goldengate可以自动创建topic
listenersPLAINTEXT://192.168.64.20:9092 //配置为本节点的ip
log.dirs/opt/soft/kafka/logs
zookeeper.connect192.168.64.20:2181, 192.168.64.21:2181, 192.168.64.22:2181
log.retention.hours168 //多少个小时后log数据会被删除优先级低于minutes和ms
#log.retention.minutes60 //多少分钟后log数据会被删除优先级低于ms
#log.retention.ms6000 //多少毫秒后log数据会被删除如果被配置则优先使用
log.retention.bytes-1 //log文件达到多少字节后数据会被删除。设置为-1则没有大小限制
log.segment.bytes1073741824 //每个log分片的大小超过后会新建分片
log.roll.ms60000 //间隔多久新创建一个数据文件
log.retention.check.interval.ms300000 //多长时间轮询检查是否会删除log创建日志目录
mkdir -p /opt/soft/kafka/logs将kafka传给要安装其他各个节点
scp -r kafka 192.168.64.21:/opt/soft
scp -r kafka 192.168.64.22:/opt/soft修改各个节点的broker.id和listeners节点的broker.id的值不一样分别为123 vim /opt/kafka/config/server.properties21节点
broker.id1
listenersPLAINTEXT://192.168.64.21:9092vim /opt/kafka/config/server.properties22节点
broker.id2
listenersPLAINTEXT://192.168.64.22:9092启动kafka检验是否运行各个节点
启动jsp检验是否启动
/opt/soft/kafka/bin/kafka-server-start.sh /opt/soft/kafka/config/server.properties/opt/kafka/logs/kk.log /opt/soft/kafka/bin/kafka-server-start.sh -daemon /opt/soft/kafka/config/server.properties检测2181和9092端口
netstat -tunlp|egrep (2181|9092)kafka使用测试
创建topic
/opt/soft/kafka/bin/kafka-topics.sh --create --partitions 1 --replication-factor 3 --zookeeper 192.168.64.20:2181, 192.168.64.21:2181, 192.168.64.22:2181 --topic test检查topic
/opt/soft/kafka/bin/kafka-topics.sh --list --zookeeper 192.168.64.20:2181, 192.168.64.21:2181, 192.168.64.22:2181打开生产者
/opt/soft/kafka/bin/kafka-console-producer.sh --broker-list 192.168.192.20:9092 --topic test打开消费者
/opt/soft/kafka/bin/kafka-console-consumer.sh --zookeeper 192.168.64.20:2181, 192.168.64.21:2181, 192.168.64.22:2181 --topic test --from-beginning
