网站备案全国合作拍照点 腾讯云,抖音权重查询工具,梓潼移动网站建设,腾讯云cdn wordpress听说这里是目录哦 一、安装Hadoop#x1f955;二、配置Hadoop系统环境变量#x1f96e;三、验证Hadoop系统环境变量是否配置成功#x1f9c1;四、修改Hadoop配置文件#x1f36d;五、分发Hadoop安装目录#x1f9cb;六、分发系统环境变量文件#x1f368;七、格式化HDFS文… 听说这里是目录哦 一、安装Hadoop二、配置Hadoop系统环境变量三、验证Hadoop系统环境变量是否配置成功四、修改Hadoop配置文件五、分发Hadoop安装目录六、分发系统环境变量文件七、格式化HDFS文件系统八、启动Hadoop九、查看Hadoop运行状态搭建时遇到的问题⚠️logs does not exist. Creatingsecondary namenode等丢失jps时看不到 能量站 前提是集群里的虚拟机间实现了免密登录以及JDK的成功安装执行
java -version查看JDK版本号。【可以参考
Hadoop•FinalShell连接VMware免密登录和
Hadoop•安装JDK】【这里是以test为主结点、test1和test2为从结点。如果看到node了就是我忘改了node的是以node1为主结点、node2和node3为从结点。怕真出现了会迷惑还是谨慎一点点~】 一、安装Hadoop
三台机子的JDK和Hadoop版本必须一致
电脑下载Hadoop安装包需要该安装包可以在文章下面评论1如果宝贝是学生你们老师应该会给命令记得要根据安装包名字对应更改哦用FinalShell直接上传到虚拟机用mv命令移动到所需文件夹。如mv /jdk-8u271-linux-x64.tar.gz /export/software即mv /要移动文件的名字/要移动到的文件夹如果显示没有那个文件或目录“Hadoop•安装JDK”里有解决办法将位于/export/software的文件名为hadoop-3.3.0.tar.gz的Hadoop安装包解压缩到/export/servers命令为tar -zxvf /export/software/hadoop-3.3.0.tar.gz -C /export/servers 这里的目录约定在Hadoop•安装JDK有说明
二、配置Hadoop系统环境变量
编辑环境变量的配置文件命令为vi /etc/profile在文件底部添加这些你所安装的Hadoop解压缩后的路径以及它的bin目录包含Hadoop可执行文件和sbin目录包含系统级别的Hadoop可执行文件用于启动和停止Hadoop服务的路径。编好后保存退出用source /etc/profile使环境变量生效。 添加
export HADOOP_HOME/export/servers/hadoop-3.3.0export PATH$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
增加理解
三、验证Hadoop系统环境变量是否配置成功
执行hadoop version命令可以查看到Hadoop版本号就成功了跟查看JDK版本号的命令不同这个命令version前没有横杠- 四、修改Hadoop配置文件
修改的都是自己后来装的Hadoop3.3.0【/export/servers/hadoop-3.3.0/etc/hadoop】里的一共要修改六个文件。
hadoop-env.sh 在底部添加
export JAVA_HOME/export/servers/jdk1.8.0_271
#文件最后添加
export HDFS_NAMENODE_USERroot
export HDFS_DATANODE_USERroot
export HDFS_SECONDARYNAMENODE_USERroot
export YARN_RESOURCEMANAGER_USERroot我是分割线 core-site.xml 在底部添加
configuration
property
namefs.defaultFS/name
valuehdfs://test:8020/value
/property
property
namehadoop.tmp.dir/name
value/export/data/hadoop-3.3.0/value
/property
!-- 设置HDFS web UI用户身份 --
property
namehadoop.http.staticuser.user/name
valueroot/value
/property
!-- 整合hive --
property
namehadoop.proxyuser.root.hosts/name
value*/value
/property
property
namehadoop.proxyuser.root.groups/name
value*/value
/property
!-- 文件系统垃圾桶保存时间 --
property
namefs.trash.interval/name
value1440/value
/property
/configuration我是分割线 hdfs-site.xml 在底部添加
configuration
property
namedfs.replication/name
value2/value
/property
property
namedfs.namenode.secondary.http-address/name
valuetest1:9868/value
/property
/configuration我是分割线 mapred-site.xml 在底部添加
configuration
property
namemapreduce.framework.name/name
valueyarn/value
/property
!-- 历史服务器端地址 --
property
namemapreduce.jobhistory.address/name
valuetest:10020/value
/property
!-- 历史服务器web端地址 --
property
namemapreduce.jobhistory.webapp.address/name
valuetest:19888/value
/property
property
nameyarn.app.mapreduce.am.env/name
valueHADOOP_MAPRED_HOME${HADOOP_HOME}/value
/property
property
namemapreduce.map.env/name
valueHADOOP_MAPRED_HOME${HADOOP_HOME}/value
/property
property
namemapreduce.reduce.env/name
valueHADOOP_MAPRED_HOME${HADOOP_HOME}/value
/property
/configuration我是分割线 yarn-site.xml 在底部添加
configuration
property
nameyarn.resourcemanager.hostname/name
valuetest/value
/property
property
nameyarn.nodemanager.aux-services/name
valuemapreduce_shuffle/value
/property
!-- 是否将对容器实施物理内存限制 --
property
nameyarn.nodemanager.pmem-check-enabled/name
valuefalse/value
/property
!-- 是否将对容器实施虚拟内存限制。 --
property
nameyarn.nodemanager.vmem-check-enabled/name
valuefalse/value
/property
!-- 开启日志聚集 --
property
nameyarn.log-aggregation-enable/name
valuetrue/value
/property
!-- 保存的时间7天 --
property
nameyarn.log-aggregation.retain-seconds/name
value604800/value
/property
/configuration我是分割线 workers 最终修改为core-site.xml已经指定了主节点的地址这里只要列出从节点地址就能让集群识别主从结点了【下面是两个从节点的名字】:
test1
test2五、分发Hadoop安装目录 分发到test1 scp -r /export/servers/hadoop-3.3.0 roottest1:/export/servers 分发到test2 scp -r /export/servers/hadoop-3.3.0 roottest2:/export/servers
六、分发系统环境变量文件 分发到test1 scp /etc/profile roottest1:/etc 分发到test2 scp /etc/profile roottest2:/etc
分发完后在test1和test2执行source /etc/profile
七、格式化HDFS文件系统
在主结点test执行hdfs namenode -format注意只有初次启动Hadoop集群前才需要格式化。 八、启动Hadoop
在主结点test执行start-dfs.sh和start-yarn.sh实现在三台虚拟机上启动HDFS和YARN的相关服务。如果要关闭Hadoop则在主结点test执行stop-dfs.sh和stop-yarn.sh的命令。(或者start-all.sh一键启动) start-all.sh一键启动在Hadoop 2.x版本中已经被弃用在Hadoop 3.x版本中仍然可以使用但建议分别使用start-dfs.sh和start-yarn.sh来启动HDFS和YARN服务以避免潜在的问题。总的来说就是最好分别启动。 我是分割线 九、查看Hadoop运行状态
分别在三台虚拟机执行jps命令查看Hadoop运行状态。 搭建时遇到的问题⚠️
logs does not exist. Creating
这里是以test为主结点、test1和test2为从结点。 问题test1: WARNING: /export/servers/hadoop-3.3.0/logs does not exist. Creating. 解决办法在三个节点上启动journalnode命令是hdfs --daemon start journalnode就是三台虚拟机都需要执行这个命令。 secondary namenode等丢失jps时看不到
问题多次格式化导致secondary namenode等丢失jps时看不到 解决办法 关闭集群 stop-all.sh或stop-dfs.sh和stop-yarn.sh 删除集群产生的缓存文件三台机子都要 一/export/data的hadoop文件夹三台机子都要 二删除/export/servers/hadoop-3.1.4/logs三台机子都要 也是先刷新哦然后整个文件夹直接删掉格式化后会自己创建的 重新格式化 hdfs namenode -format
能量站
我遇到的挑战可以帮助我成长。
❤️谢谢你为自己努力❤️
