深圳公司网站建设服务为先,门户网站建设主要内容,成都网站建设 四川冠辰科技公司,房地产图文制作网站配置flink_1.17.0 1.Flink集群搭建1.1解压安装包1.2修改集群配置1.3分发安装目录1.4启动集群、访问Web UI 2.Standalone运行模式3.YARN运行模式4.K8S运行模式 1.Flink集群搭建
1.1解压安装包
链接: 下载Flink安装包
解压文件 [gpbhadoop102 software]$ tar -zxvf flink-1.1… 配置flink_1.17.0 1.Flink集群搭建1.1解压安装包1.2修改集群配置1.3分发安装目录1.4启动集群、访问Web UI 2.Standalone运行模式3.YARN运行模式4.K8S运行模式 1.Flink集群搭建
1.1解压安装包
链接: 下载Flink安装包
解压文件 [gpbhadoop102 software]$ tar -zxvf flink-1.17.0-bin-scala_2.12.tgz -C /opt/module/
1.2修改集群配置
修改conf中的 flink-conf.yaml 文件 vim flink-conf.yaml
# JobManager节点地址.
jobmanager.rpc.address: hadoop102
jobmanager.bind-host: 0.0.0.0
rest.address: hadoop102
rest.bind-address: 0.0.0.0
# TaskManager节点地址.需要配置为当前机器名
taskmanager.bind-host: 0.0.0.0
taskmanager.host: hadoop102
vim workers
hadoop102
hadoop103
hadoop104vim masters
hadoop102:8081另外在flink-conf.yaml文件中还可以对集群中的JobManager和TaskManager组件进行优化配置主要配置项如下
jobmanager.memory.process.size对JobManager进程可使用到的全部内存进行配置包括JVM元空间和其他开销默认为1600M可以根据集群规模进行适当调整。
taskmanager.memory.process.size对TaskManager进程可使用到的全部内存进行配置包括JVM元空间和其他开销默认为1728M可以根据集群规模进行适当调整。
taskmanager.numberOfTaskSlots对每个TaskManager能够分配的Slot数量进行配置默认为1可根据TaskManager所在的机器能够提供给Flink的CPU数量决定。所谓Slot就是TaskManager中具体运行一个任务所分配的计算资源。
parallelism.defaultFlink任务执行的并行度默认为1。优先级低于代码中进行的并行度配置和任务提交时使用参数指定的并行度数量。1.3分发安装目录
1配置修改完毕后将Flink安装目录发给另外两个节点服务器。
[atguiguhadoop102 module]$ xsync flink-1.17.0/
2修改hadoop103的 taskmanager.host
[atguiguhadoop103 conf]$ vim flink-conf.yaml
修改如下内容
# TaskManager节点地址.需要配置为当前机器名
taskmanager.host: hadoop103
3修改hadoop104的 taskmanager.host
[atguiguhadoop104 conf]$ vim flink-conf.yaml
修改如下内容
# TaskManager节点地址.需要配置为当前机器名
taskmanager.host: hadoop1041.4启动集群、访问Web UI
1在hadoop102节点服务器上执行start-cluster.sh启动Flink集群
[atguiguhadoop102 flink-1.17.0]$ bin/start-cluster.sh
2查看进程情况
[atguiguhadoop102 flink-1.17.0]$ jpsall hadoop102
4453 StandaloneSessionClusterEntrypoint
4458 TaskManagerRunner
4533 Jpshadoop103
2872 TaskManagerRunner
2941 Jpshadoop104
2948 Jps
2876 TaskManagerRunner 2.Standalone运行模式
3.YARN运行模式
4.K8S运行模式
