匿名ip访问网站受限,wordpress插件途径,百度推广 个人网站,免费注册店铺位置环境准备
安装 JAVA 1.8 Java环境搭建之JDK下载及安装下载 Hadoop 3.3.5 安装包 Hadoop 下载#xff1a;https://archive.apache.org/dist/hadoop/common/
一、JAVA JDK 环境检查 二、Hadoop(HDFS)环境搭建
1. 解压安装文件 hadoop-3.3.5.tar 2. 配置环境变量
HADOOP_HO…环境准备
安装 JAVA 1.8 Java环境搭建之JDK下载及安装下载 Hadoop 3.3.5 安装包 Hadoop 下载https://archive.apache.org/dist/hadoop/common/
一、JAVA JDK 环境检查 二、Hadoop(HDFS)环境搭建
1. 解压安装文件 hadoop-3.3.5.tar 2. 配置环境变量
HADOOP_HOMED:\Development\HadoopHADOOP_USER_NAMErootPath%HADOOP_HOME%\bin;%HADOOP_HOME%\sbin;3.配置Hadoop
检查 hadoop-3.3.5\etc\hadoop\hadoop-env.cmd 文件JDK的配置通常无需改动
set JAVA_HOME%JAVA_HOME%如果报错的话配置为 JAVA 安装路径
set JAVA_HOMEC:\PROGRA~1\Java\jdk1.8.0_92windowsd的cmd不允许设置变量路径带有空格所以Java的安装目录需要不带空格 修改 hadoop/etc/hadoop/core-site.xml
configuration!--指定 namenode 的 hdfs 协议文件系统的通信地址--propertynamefs.defaultFS/namevaluehdfs://localhost:9000/value/property!--指定 hadoop 存储临时文件的目录--propertynamehadoop.tmp.dir/namevalueD:\Development\Hadoop\data\tmp/value/property
/configuration修改 hadoop/etc/hadoop/hdfs-site.xml
configurationpropertynamedfs.namenode.name.dir/namevalueD:\Development\Hadoop\data\namenode/value/propertypropertynamedfs.datanode.data.dir/namevalueD:\Development\Hadoop\data\datanode/value/property!--由于我们这里搭建是单机版本所以指定 dfs 的副本系数为 1-- propertynamedfs.replication/namevalue1/value/propertypropertynamedfs.permissions.enabled/namevaluefalse/value/property
/configuration4. 格式化NameNode : 第一次启动 Hadoop 时需要进行初始化进入 ${HADOOP_HOME}/bin/ 目录下执行以下命令 进入 hadoop-3.3.5\bin 目录执行 以下命令
hdfs namenode -format5. 启动 HDFS
进入 hadoop/sbin 目录执行以下命令
hadoop/sbin/start-dfs.cmdhadoop/sbin/start-yarn.cmd验证是否启动成功 方式一执行 jps 查看 NameNode 和 DataNode 服务是否已经启动
[../sbin]# jps
5988 Jps
1964 DataNode
4572 NameNode查看集群状态 http://localhost:9870/ 三、Hadoop(YARN)环境搭建
1. 修改配置
进入 ${HADOOP_HOME}/etc/hadoop/ 目录下修改以下配置
修改 hadoop/etc/hadoop/mapred-site.xml
configurationpropertynamemapreduce.framework.name/namevalueyarn/value/property
/configuration修改 hadoop/etc/hadoop/yarn-site.xml
configuration!--配置 NodeManager 上运行的附属服务。需要配置成 mapreduce_shuffle 后才可以在 Yarn 上运行 MapReduce 程序。--propertynameyarn.nodemanager.aux-services/namevaluemapreduce_shuffle/value/propertypropertynameyarn.nodemanager.aux-services.mapreduce_shuffle.class/namevalueorg.apache.hadoop.mapred.ShuffleHandler/value/propertypropertynameyarn.resourcemanager.hostname/namevaluelocalhost/value/property
/configuration5. 启动服务
进入 hadoop/sbin 目录执行以下命令
hadoop/sbin/start-yarn.cmd6. 验证是否启动成功
方式一执行 jps 查看 ResourceManager 和 NodeManager 服务是否已经启动
4112 Jps
2100 ResourceManager
1964 DataNode
4572 NameNode
4668 NodeManager方式二查看 Web UI 界面端口号为 8088访问页面http://localhost:8088/ 参考
Windows安装Hadoop3.x https://blog.csdn.net/qq_38628046/article/details/124217768Windows环境下执行hadoop命令出现Error: JAVA_HOME is incorrectly set 解决办法 https://www.cnblogs.com/zlslch/p/8580446.html
