公建设计网站,o2o免费网站建设,私人服装定制,网站制作企业对比文章目录前言1、为什么要用工作流调度系统2、常见的工作流调度系统1 集群规划2 配置 MySQL3 配置 Executor Server3.1 修改 azkaban.properties3.2 启动3.3 激活4 配置 Web Server4.1 修改 azkaban.properties4.2 修改azkaban-users.xml文件#xff0c;添加 atguigu 用户4.3 启…
文章目录前言1、为什么要用工作流调度系统2、常见的工作流调度系统1 集群规划2 配置 MySQL3 配置 Executor Server3.1 修改 azkaban.properties3.2 启动3.3 激活4 配置 Web Server4.1 修改 azkaban.properties4.2 修改azkaban-users.xml文件添加 atguigu 用户4.3 启动哈喽大家好我是[有勇气的牛排]全网同名有问题的小伙伴欢迎在文末[评论点赞、收藏]是对我最大的支持。
前言
1、为什么要用工作流调度系统
1一个完整的数据分析系统通常都是由大量任务单元组成shell脚本程序、java程序、MapReduce程序、Hive脚本等。 2各个单元之间存在时间先后及前后依赖关系 3为了很好地组织这样的复杂执行计划需要一个工作流调度系统来执行。
2、常见的工作流调度系统
1简单任务调度直接只用Linux的Crnotab。 2复杂任务调度Ooize、Azkaban、Airflow、DolphinScheduler等
1 集群规划
192.168.56.20: exec、web 192.168.56.20exec 192.168.56.20exec
准备文件
mkdir -p /usr/local/azkaban
cd /usr/local/azkaban
rztar -zxvf azkaban-db-3.84.4.tar.gz
tar -zxvf azkaban-exec-server-3.84.4.tar.gz
tar -zxvf azkaban-web-server-3.84.4.tar.gz2 配置 MySQL
1、安装
docker run -d \
-p 3322:3306 \
-v /usr/local/docker/mysql-api/data:/etc/mysql/conf.d \
-v /usr/local/docker/mysql-api/data:/var/lib/mysql \
-e MYSQL_ROOT_PASSWORD123456* \
--name azkaban mysql:5.72、启动
mysql -u root -p root3、创建 azkaban 数据库并赋予权限
create database azkaban;配置允许简单密码
# 设置密码有效程度 4 为及以上
set global validate_password_length4;
# 设置密码策略最低级别
set global validate_password_policy0;创建 azkaban用户任何主机都可以访问 Azkaban密码是000000
create user azkaban% identified by000000;赋予 azkaban用户 增删改查权限
grant select,insert,update,delete on azkaban.* to azkaban% with grant option;4、创建 azkaban表
use azkaban;
source /usr/local/azkaban/azkaban-db-3.84.4/create-all-sql-3.84.4.sql5、更改 MySql 包大小防止 Azkaban 链接 MySql阻塞
vim /etc/my.cnf在[mysqld]下面家以上 max_allowed_pocked1024M
[mysqld]
# 默认1M
max_allowed_packet1024M6、重启 MySQL
systemctl restart mysqld3 配置 Executor Server
3.1 修改 azkaban.properties
vim /usr/local/azkaban/azkaban-exec-server-3.84.4/conf/azkaban.properties修改如下内容
default.timezone.idAsia/Shanghaiazkaban.webserver.urlhttp://192.168.56.20:8085mysql.host192.168.56.20mysql.passwordroot# 指定端口
executor.port12321分发 xsync
scp -r /usr/local/azkaban rootslave1:/usr/local
scp -r /usr/local/azkaban rootslave2:/usr/local3.2 启动
所有机器
cd /usr/local/azkaban/azkaban-exec-server-3.84.4
./bin/start-exec.sh关闭
shutdown-exec.sh3.3 激活
所有机器
curl -G 192.168.56.20:12321/executor?actionactivate echo
curl -G 192.168.56.21:12321/executor?actionactivate echo
curl -G 192.168.56.22:12321/executor?actionactivate echo4 配置 Web Server
Azkaban Web Server 处理项目管理身份验证计划和执行触发。
4.1 修改 azkaban.properties
cd /usr/local/azkaban/azkaban-web-server-3.84.4vim /usr/local/azkaban/azkaban-web-server-3.84.4/conf/azkaban.properties修改如下属性
default.timezone.idAsia/Shanghai# Web Server端口
jetty.port8085mysql.hostmastermysql.password000000azkaban.executorselector.filtersStaticRemainingFlowSize,CpuStatus4.2 修改azkaban-users.xml文件添加 atguigu 用户
用户/权利管理文件
vim ./confg/azkaban-users.xmlazkaban-usersuser groupsazkaban passwordazkaban rolesadmin usernameazkaban/user passwordmetrics rolesmetrics usernamemetrics/user password123456 rolesadmin usernamecharles/role nameadmin permissionsADMIN/role namemetrics permissionsMETRICS/
/azkaban-users4.3 启动
cd /usr/local/azkaban/azkaban-web-server-3.84.4
bin/start-web.sh关闭
bin/shutdown-web.sh访问http://192.168.56.20:8085 账号charles 密码123456
https://www.couragesteak.com/article/226
