多少个网站,成都网络营销品牌代理机构,百度广告竞价,建管家公司简介hadoop 伪分布式搭建 环境 CentOS 7jdk 1.8hadoop 3.3.6 1. 准备
准备环境所需包上传所有压缩包到服务器
2. 安装jdk
# 解压jdk到/usr/local目录下
tar -xvf jdk-8u431-linux-x64.tar.gz -C /usr/local先不着急配置java环境变量#xff0c;后面和hadoop一起配置 3. 安装had…hadoop 伪分布式搭建 环境 CentOS 7jdk 1.8hadoop 3.3.6 1. 准备
准备环境所需包上传所有压缩包到服务器
2. 安装jdk
# 解压jdk到/usr/local目录下
tar -xvf jdk-8u431-linux-x64.tar.gz -C /usr/local先不着急配置java环境变量后面和hadoop一起配置 3. 安装hadoop
# 解压hadoop到/usr/local目录下
tar -xvf hadoop-3.3.6.tar.gz -C /usr/local4. 配置hadoop
进入目录 /usr/local/hadoop-3.3.6/sbin修改如下文件 mapred-site.xml configurationproperty!-- 指定mapreduce 编程模型运行在yarn上--namemapreduce.framework.name/namevalueyarn/value/property
/configurationcore-site.xml configuration!-- 指定hadoop运行时产生文件的存储路径--propertynamehadoop.tmp.dir/namevaluefile:/usr/local/hadoop-3.3.6/tmp/valuedescriptionAbase for other temporary directories./description/property!--hdfs namenode的通信地址--propertynamefs.defaultFS/namevaluehdfs://localhost:9000/value/property!--该用户将作为所有 Hadoop 服务的运行身份--propertynamehadoop.http.staticuser.user/namevalueroot/value/property
/configurationhdfs-site.xml configuration!--指定HDFS储存数据的副本数目默认情况下为3份--propertynamedfs.replication/namevalue1/value/property!--name node 存放 name table 的目录--propertynamedfs.namenode.name.dir/namevaluefile:/usr/local/hadoop-3.3.6/tmp/dfs/name/value/property!--DataNode 在本地磁盘存放数据块block的位置--propertynamedfs.datanode.data.dir/namevaluefile:/usr/local/hadoop-3.3.6/tmp/dfs/data/value/property!--设置监控页面的端口及地址--propertynamedfs.http.address/namevalue0.0.0.0:50070/value/property
/configurationyarn-site.xml configuration!-- Site specific YARN configuration properties --property!-- 指定mapreduce 编程模型运行在yarn上 --nameyarn.nodemanager.aux-services/namevaluemapreduce_shuffle/value/property
/configuration修改编辑开始和关闭脚本进入目录/usr/local/hadoop/hadoop-3.3.6/sbin修改文件如下 注所有添加内容都是在文件最开头的 #/usr/bin/env bash 下 start-dfs.sh HDFS_DATANODE_USERroot
HADOOP_SECURE_DN_USERhdfs
HDFS_NAMENODE_USERroot
HDFS_SECONDARYNAMENODE_USERrootstop-dfs.sh HDFS_DATANODE_USERroot
HADOOP_SECURE_DN_USERhdfs
HDFS_NAMENODE_USERroot
HDFS_SECONDARYNAMENODE_USERrootstart-yarn.sh YARN_RESOURCEMANAGER_USERroot
HADOOP_SECURE_DN_USERyarn
YARN_NODEMANAGER_USERrootstop-yarn.sh YARN_RESOURCEMANAGER_USERroot
HADOOP_SECURE_DN_USERyarn
YARN_NODEMANAGER_USERroot修改hadoop-env环境变量进入目录/usr/local/hadoop-3.3.6/etc/hadoop打开 hadoop-env.sh 文件追加内容如下
export JAVA_HOME/usr/local/jdk1.8.0_431
export HADOOP_CONF_DIR/usr/local/hadoop-3.3.6/etc/hadoop5. 编辑环境变量
# 打开环境变量文件
vim /etc/profile文件末尾追加内容
# Java
export JAVA_HOME/usr/local/jdk1.8.0_431
export MAVEN_HOME/usr/local/apache-maven-3.9.0
export CLASSPATH.:${JAVA_HOME}/jre/lib/rt.jar:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar# Hadoop
export HADOOP_HOME/usr/local/hadoop-3.3.6/
export PATH$PATH:${JAVA_HOME}/bin:${MAVEN_HOME}/bin:${HADOOP_HOME}/bin执行命令使其生效
source /etc/profile6. SSH免密登录设置
# 本地连接本地
ssh localhost
# 退出
exit
# 进入root目录
cd ~/.ssh
# 执行命令三次回车
ssh-keygen -t rsa
cat id_rsa.pub authorized_keys7.启动
cd /usr/local/hadoop/hadoop-3.3.6/etc/hadoop
# 初始化
hadoop namenode -format
# 启动hadoop
./start-all.sh
# 查看进程
jps不出意外结果如下
12720 ResourceManager
15072 Jps
14002 NameNode
14754 NodeManager
14389 SecondaryNameNode
14173 DataNode用浏览器访问地址http://[服务器IP]:50070http://[服务器IP]:8088
