海尔网站建设的缺点,wordpress阿里云服务器开启伪静态,html代码下载,分销系统源代码目录调度资源中心存储概要安装NFS服务器客户端调度验证关闭SFTP开关#xff08;可忽略#xff09;重新上传资源文件worker执行任务验证服务器woker客户端worker其它nfs共享目录的配置文件/etc/exports说明调度资源中心存储概要 针对现有的单机存储可以做哪些扩展#xff1f;…
目录调度资源中心存储概要安装NFS服务器客户端调度验证关闭SFTP开关可忽略重新上传资源文件worker执行任务验证服务器woker客户端worker其它nfs共享目录的配置文件/etc/exports说明调度资源中心存储概要 针对现有的单机存储可以做哪些扩展
指定worker运行工作流时选择存储文件的那台worker缺点很明显执行资源文件必须指定worker,而且只能指定存储文件的那台workerSFTP详见dolphinscheduler 2.0.6 资源中心改造方案一通过SFTP下载文件问题是需要开通SFTP权限对于安全性要求比较高的系统不允许开放该权限NFS通过挂载共享目录实现文件共享本文主要据此展开以上传文件那台主机作为NFS服务器其它worker安装NFS客户端
安装NFS
服务器
查看是否安装NFS
[dolphinschedulerbigdata01 ~]$ rpm -qa | grep nfs
[dolphinschedulerbigdata01 ~]$ rpm -qa | grep rpcbind
[dolphinschedulerbigdata01 ~]$ rpm -q rpcbind nfs-utils
未安装软件包 rpcbind
未安装软件包 nfs-utils
[dolphinschedulerbigdata01 ~]$安装NFS
sudo yum install -y rpcbind nfs-utils配置共享目录
[dolphinschedulerbigdata01 rsfiles]$ sudo vi /etc/exports
/home/dolphinscheduler/rsfiles 221.221.221.0/24(rw,sync,no_root_squash)生效配置文件
[dolphinschedulerbigdata01 rsfiles]$ # 生效配置信息
[dolphinschedulerbigdata01 rsfiles]$ sudo exportfs -r
[dolphinschedulerbigdata01 rsfiles]$ # 查看配置信息
[dolphinschedulerbigdata01 rsfiles]$ sudo exportfs -v启动NFS 先启动rpcbind
[dolphinschedulerbigdata01 rsfiles]$ # 必须先开启rpcbind服务
[dolphinschedulerbigdata01 rsfiles]$ sudo systemctl start rpcbind
[dolphinschedulerbigdata01 rsfiles]$ # 启动nfs
[dolphinschedulerbigdata01 rsfiles]$ sudo systemctl start nfs 查看服务器共享信息
[dolphinschedulerbigdata01 rsfiles]$ sudo showmount -e
Export list for bigdata01:
/home/dolphinscheduler/rsfiles 221.221.221.0/24
[dolphinschedulerbigdata01 rsfiles]$
[dolphinschedulerbigdata01 rsfiles]$ 客户端 安装启动NFS,同上 挂在共享目录
[dolphinschedulerbigdata03 ~]$ # 创建要挂载的目录
[dolphinschedulerbigdata03 ~]$ mkdir rsfiles
[dolphinschedulerbigdata03 ~]$
[dolphinschedulerbigdata03 ~]$ # 挂载目录
[dolphinschedulerbigdata03 ~]$ sudo mount -t nfs 221.221.221.5:/home/dolphinscheduler/rsfiles /home/dolphinscheduler/rsfiles 验证
调度验证
关闭SFTP开关可忽略
在dolphinscheduler 2.0.6 资源中心改造方案一通过SFTP下载文件中添加的该配置需要关闭掉此步可直接忽略掉原始的开源版本是没有改配置的
重新上传资源文件 创建/上传文件 查看共享目录
worker执行任务验证
创建worker分组 创建测试工作流
服务器woker 客户端worker 执行报错原因忘了修改客户端的文件存放路径读取的还是原来路径 修改配置文件重启worker服务再次验证 重新运行
其它
nfs共享目录的配置文件/etc/exports说明
语法 [共享的目录] [主机名或IP(参数,参数)] [共享的目录] [主机名1或IP1(参数1,参数2)] [主机名2或IP2(参数3,参数4)] 其中参数是可选的当不指定参数时 nfs 将使用默认选项。默认的共享选项是 sync , ro , root_squash , no_delay 。 当主机名或IP地址为空时则代表共享给任意客户机提供服务。 常用参数释义 ro只读访问 rw 读写访问 sync所有数据在请求时写入共享 asyncNFS在写入数据前可以相应请求 secureNFS通过1024以下的安全TCP/IP端口发送 insecureNFS通过1024以上的端口发送 wdelay如果多个用户要写入NFS目录则归组写入默认 no_wdelay如果多个用户要写入NFS目录则立即写入当使用async时无需此设置。 hide在NFS共享目录中不共享其子目录 no_hide共享NFS目录的子目录 subtree_check如果共享/usr/bin之类的子目录时强制 NFS检查父目录的权限默认 no_subtree_check和上面相对不检查父目录权限 all_squash共享文件的UID和GID映射匿名用户anonymous适合公用目录。 no_all_squash保留共享文件的UID和GID默认 root_squashroot用户的所有请求映射成如anonymous用户一样的权限默认 no_root_squashroot用户具有根目录的完全管理访问权限 anonuidxxx指定NFS服务器/etc/passwd文件中匿名用户的UID anongidxxx指定NFS服务器/etc/passwd文件中匿名用户的GID
