公司网站访问非法网站的作用,网站建设ppt,网站地图设计,小域名 网站备案Apache-doris-2.0.2部署帮助手册 校验时间#xff1a;2023年10月11日 文章目录 Apache-doris-2.0.2部署帮助手册安装前准备安装包安装要求Linux 操作系统版本需求软件需求句柄需求关闭 Swap网络需求 部署规划用户规划目录规划免密需求 安装步骤配置JDK配置Doris文件 启动与停止…Apache-doris-2.0.2部署帮助手册 校验时间2023年10月11日 文章目录 Apache-doris-2.0.2部署帮助手册安装前准备安装包安装要求Linux 操作系统版本需求软件需求句柄需求关闭 Swap网络需求 部署规划用户规划目录规划免密需求 安装步骤配置JDK配置Doris文件 启动与停止启动检查停止 版权声明本文为CSDN博主「顧棟」的原创文章遵循CC 4.0 BY-SA版权协议转载请附上原文出处链接及本声明。 原文链接https://blog.csdn.net/weixin_43820556/article/details/133754689 安装前准备
安装包
apache-doris-2.0.2-bin-x64.tar.gzjdk1.8.0_131.tgzmysql-5.7.43-linux-glibc2.12-x86_64.tar.gz
安装要求 命令cat /proc/cpuinfo | grep flags来查看当前CPU所支持的指令集 命令netstat -lntp 2/dev/null|grep LISTEN|awk {print $4}|awk -F: {print $NF}|sort|uniq查询已经占用的端口 命令cat /etc/redhat-release 查询系统版本 Linux 操作系统版本需求
Linux 系统版本CentOS7.1 及以上Ubuntu16.04 及以上
软件需求
软件版本Java1.8GCC4.8.2 及以上
句柄需求
设置系统文件句柄数
vi /etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536关闭 Swap
修改/etc/sysctl.conf增加以下配置
# 查看交换区
free -m
# 关闭交换区
# 第一步
swapoff -a
# 第二步修改配置文件 vim /etc/fstab 删除swap相关行/mnt/swap swap swap defaults 0 0 这一行或者注释掉这一行网络需求
Doris 各个实例直接通过网络进行通讯。以下表格展示了所有需要的端口
实例名称端口名称默认端口通讯方向说明BEbe_port9060FE -- BEBE 上 thrift server 的端口用于接收来自 FE 的请求BEwebserver_port8040BE – BEBE 上的 http server 的端口BEheartbeat_service_port9050FE -- BEBE 上心跳服务端口thrift用于接收来自 FE 的心跳BEbrpc_port8060FE – BE, BE – BEBE 上的 brpc 端口用于 BE 之间通讯FEhttp_port8030FE – FE用户 – FEFE 上的 http server 端口FErpc_port9020BE -- FE, FE – FEFE 上的 thrift server 端口每个fe的配置需要保持一致FEquery_port9030用户 – FEFE 上的 mysql server 端口FEarrow_flight_sql_port9040用户 – FEFE 上的 Arrow Flight SQL server 端口FEedit_log_port9010FE – FEFE 上的 bdbje 之间通信用的端口Brokerbroker_ipc_port8000FE -- Broker, BE -- BrokerBroker 上的 thrift server用于接收请求 注 当部署多个 FE 实例时要保证 FE 的 http_port 配置相同。部署前请确保各个端口在应有方向上的访问权限。 部署规划
服务器FEBEMysqlClientIP1yesyesIP2yesIP3yesIP4yesIP5yesIP6yes
用户规划
groupadd -g 900 doris
useradd -u 210 -g 900 doris目录规划
将空间大的目录软链接到home的子目录下比如/opt或者/data。此文档采用/data目录为例 用户目录 /home/doris/software 链接至 /data/doris/software 数据目录 /home/doris/data链接至 /data/doris/data 日志目录 /home/doris/logs链接至 /data/doris/logs
免密需求
集群中任一机器都与其他机器root免密。
# 创建秘钥
ssh-keygen -t rsa
# 各个机器生成秘钥汇集公钥
scp ~/.ssh/id_rsa.pub rootip1:~/.ssh/2.id.rsa.pub
scp ~/.ssh/id_rsa.pub rootip1:~/.ssh/3.id.rsa.pub
scp ~/.ssh/id_rsa.pub rootip1:~/.ssh/4.id.rsa.pub
scp ~/.ssh/id_rsa.pub rootip1:~/.ssh/5.id.rsa.pub
scp ~/.ssh/id_rsa.pub rootip1:~/.ssh/6.id.rsa.pub
# 生成秘钥认证文件
cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
cat ~/.ssh/2.id.rsa.pub ~/.ssh/authorized_keys
cat ~/.ssh/3.id.rsa.pub ~/.ssh/authorized_keys
cat ~/.ssh/4.id.rsa.pub ~/.ssh/authorized_keys
cat ~/.ssh/5.id.rsa.pub ~/.ssh/authorized_keys
cat ~/.ssh/6.id.rsa.pub ~/.ssh/authorized_keys
# 向集群机器分发认证文件
scp ~/.ssh/authorized_keys rootip2:~/.ssh/
scp ~/.ssh/authorized_keys rootip3:~/.ssh/
scp ~/.ssh/authorized_keys rootip4:~/.ssh/
scp ~/.ssh/authorized_keys rootip5:~/.ssh/
scp ~/.ssh/authorized_keys rootip6:~/.ssh/每台机器都相互免密登录一下确认免密成功。
安装步骤
# 1.新建用户与用户组
groupadd -g 900 doris;
useradd -u 900 -g 900 doris;
# 2.准备目录-将安装包分发至各个服务器的/data/install_package目录
mkdir -p /data/install_package;
mkdir -p /data/doris/software;
mkdir -p /data/doris/logs;
mkdir -p /data/doris/data;
ln -snf /data/doris/software /home/doris/software;
ln -snf /data/doris/logs /home/doris/logs;
ln -snf /data/doris/data /home/doris/data;
# fe的元数据存储目录
mkdir -p /data/doris/data/doris-meta;
# be的数据存储目录
mkdir -p /data/doris/data/datastorage;# 3.将安装包解压至software目录并配置软链接
tar -zxf /data/install_package/jdk1.8.0_131.tgz -C /home/doris/software/;
tar -zxf /data/install_package/apache-doris-2.0.2-bin-x64.tar.gz -C /home/doris/software/;
ln -snf /home/doris/software/jdk1.8.0_131 /home/doris/software/java;
ln -snf /home/doris/software/apache-doris-2.0.2-bin-x64 /home/doris/software/doris;
# 在某一台机器上安装mysql客户端
tar -zxf /data/install_package/mysql-5.7.43-linux-glibc2.12-x86_64.tar.gz -C /home/doris/software/;
ln -snf /home/doris/software/mysql-5.7.43-linux-glibc2.12-x86_64 /home/doris/software/mysql-client;# 4.确认目录权限
chown -R doris:doris /data/doris/;
chown -R doris:doris /home/doris/;配置JDK
su - doris;
vim /home/doris/.bashrc;
# 在.bashrc文件中追加以下内容
export JAVA_HOME/home/doris/software/java
export PATH$JAVA_HOME/bin:$PATH# 配置生效
source /home/doris/.bashrc;
# 检查jdk
java -version;配置Doris文件
在doris用户下执行
fe.conf
vim /home/doris/software/doris/fe/conf/fe.conf
# 添加配置使用ip a命令可获取
priority_networks 实际本机IP地址/掩码长度
meta_dir/data/doris/data/doris-meta# the output dir of stderr and stdout
LOG_DIR /data/doris/logsbe.conf
vim /home/doris/software/doris/be/conf/be.conf
# 添加配置使用ip a命令可获取
priority_networks 实际本机IP地址/掩码长度
storage_root_path/data/doris/data/datastorage# the output dir of stderr and stdout
LOG_DIR /data/doris/logs启动与停止
启动
启动一个FE
su - doris;
cd /home/doris/software/doris/fe;
sh bin/start_fe.sh --daemon;配置操作
MysqlClient连接第一个启动的FE 增加其他的FE节点和BE节点无密码连接方式
/home/doris/software/mysql-client -h 启动的FEIP -P 9030 -uroot
-- edit_log_port位于conf/fe.conf ,默认为9010
mysql ALTER SYSTEM ADD FOLLOWER fe2的ip:9010;
mysql ALTER SYSTEM ADD FOLLOWER fe3的ip:9010;
-- 查看所有fe节点
mysql show proc /frontends;mysql ALTER SYSTEM ADD BACKEND be1:9050;
mysql ALTER SYSTEM ADD BACKEND be2:9050;
mysql ALTER SYSTEM ADD BACKEND be3:9050;
-- 查看所有be节点
mysql show proc /backends;启动其他的FE节点(FE2,FE3)
待加入的FE节点第一次启动时要加–helper参数否则follower fe节点无法加入集群
su - doris;
cd /home/doris/software/doris/fe;
sh bin/start_fe.sh --helper masterFE的IP:edit_log_port --daemon;启动BE
su - doris;
cd /home/doris/software/doris/be;
sh bin/start_be.sh --daemon检查
查询FE是否正常
curl http://fe_host:fe_http_port/api/bootstrap如果返回{status:OK,msg:Success}则表示启动成功其余情况则可能存在问题。
查询BE是否正常
curl http://be_host:webserver_port/api/health如果返回{status: OK,msg: To Be Added}则表示启动成功其余情况则可能存在问题
停止
su - doris;
cd /home/doris/software/doris/fe;
sh bin/stop_fe.shsu - doris;
cd /home/doris/software/doris/be;
sh bin/stop_be.sh
