网站推广分为哪几个部分,广东东莞直播基地,网站主机多大,看手表网站视频课程地址#xff1a;https://www.bilibili.com/video/BV1WY4y197g7 课程资料链接#xff1a;https://pan.baidu.com/s/15KpnWeKpvExpKmOC8xjmtQ?pwd5ay8
Hadoop入门学习笔记#xff08;汇总#xff09; 目录 二、在虚拟机里部署HDFS集群2.1. 部署node1虚拟机2.2. 部…视频课程地址https://www.bilibili.com/video/BV1WY4y197g7 课程资料链接https://pan.baidu.com/s/15KpnWeKpvExpKmOC8xjmtQ?pwd5ay8
Hadoop入门学习笔记汇总 目录 二、在虚拟机里部署HDFS集群2.1. 部署node1虚拟机2.2. 部署node2和node3虚拟机2.3. 初始化并启动Hadoop集群格式化文件系统2.4. 快照部署好的集群2.5. 部署过程中可能会遇到的问题2.5. Hadoop HDFS集群启停脚本 二、在虚拟机里部署HDFS集群
下载Hadoophttps://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz 本次演示部署结构如下图所示 本次部署服务清单如下表所示
节点部署的服务node1NameNode、DataNode、SecondaryNameNodenode2DataNodenode3DataNode
2.1. 部署node1虚拟机
1、将下载好的Hadoop压缩包上传至node1虚拟机的root目录 2、将Hadoop压缩包解压至/export/server目录下
tar -zxvf hadoop-3.3.4.tar.gz -C /export/server/3、创建hadoop目录的软链接
# 切换工作目录
cd /export/server/
# 创建软连接
ln -s /export/server/hadoop-3.3.4/ hadoop4、hadoop目录结构如下
目录存放内容bin存放Hadoop的各类程序命令etc存放Hadoop的配置文件include存放Hadopp用到的C语言的头文件lib存放Linux系统的动态链接库.so文件libexec存放配置Hadoop系统的脚本文件.sh和.cmd文件licenses_binary存放许可证文件sbin管理员程序super binshare存放二进制源码jar包
5、配置workers文件
cd etc/hadoop/
vim workers将workers文件原有的内容删掉改为
node1
node2
node3保存即可 6、配置hadoop-env.sh文件使用vim hadoop-env.sh打开修改以下配置
# 指明JDK安装目录
export JAVA_HOME/export/server/jdk
# 指明HADOOP安装目录
export HADOOP_HOME/export/server/hadoop
# 指明HADOOP配置文件的目录
export HADOOP_CONF_DIR$HADOOP_HOME/etc/hadoop
#指明HADOOP运行日志文件的目录
export HADOOP_LOG_DIR$HADOOP_HOME/logs7、配置core-site.xml文件使用vim core-site.xml打开文件修改以下配置
configurationproperty!--HDFS 文件系统的网络通讯路径--namefs.defaultFS/namevaluehdfs://node1:8020/value/propertyproperty!--io 操作文件缓冲区大小--nameio.file.buffer.size/namevalue131072/value/property
/configuration8、配置hdfs-site.xml文件修改以下配置
configurationproperty!--hdfs 文件系统默认创建的文件权限设置--namedfs.datanode.data.dir.perm/name!-- 700权限即rwx------ --value700/value/propertyproperty!--NameNode 元数据的存储位置--namedfs.namenode.name.dir/name!-- 在 node1 节点的 /data/nn 目录下 --value/data/nn/value/propertyproperty!--NameNode 允许哪几个节点的 DataNode 连接即允许加入集群--namedfs.namenode.hosts/namevaluenode1,node2,node3/value/propertyproperty!--hdfs 默认块大小--namedfs.blocksize/name!--268435456即256MB--value268435456/value/propertyproperty!--namenode 处理的并发线程数--namedfs.namenode.handler.count/namevalue100/value/propertyproperty!--从节点 DataNode 的数据存储目录即数据存放在node1、node2、node3三台机器中的路径--namedfs.datanode.data.dir/namevalue/data/dn/value/property
/configuration9、根据上一步的配置项在node1节点创建/data/nn和/data/dn目录在node2和node3节点创建/data/dn目录 10、将已配置好的hadoop程序从node1分发到node2和node3
# 切换工作目录
cd /export/server/
# 将node1的hadoop-3.3.4/目录复制到node2的同样的位置
scp -r hadoop-3.3.4/ node2:pwd/
# 将node1的hadoop-3.3.4/目录复制到node3的同样的位置
scp -r hadoop-3.3.4/ node3:pwd/11、将Hadoop加入环境变量使用vim /etc/profile打开环境变量文件将以下内容添加在文件末尾
export HADOOP_HOME/export/server/hadoop
export PATH$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin执行source /etc/profile命令使环境变量配置生效 12、修改相关目录的权限
chown -R hadoop:hadoop /data
chown -R hadoop:hadoop /export/2.2. 部署node2和node3虚拟机 本小节内容如无特殊说明均需在node2和node3虚拟机分别执行 1、为hadoop创建软链接命令都是一样的如下所示
cd /export/server/
ln -s /export/server/hadoop-3.3.4/ hadoop2、将Hadoop加入环境变量使用vim /etc/profile打开环境变量文件将以下内容添加在文件末尾
export HADOOP_HOME/export/server/hadoop
export PATH$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin执行source /etc/profile命令使环境变量配置生效 3、修改相关目录的权限
chown -R hadoop:hadoop /data
chown -R hadoop:hadoop /export/2.3. 初始化并启动Hadoop集群格式化文件系统
1、在node1虚拟机上执行以下命令
# 切换为hadoop用户
su - hadoop
# 格式化namenode
hadoop namenode -format2、启动集群在node1虚拟机上执行以下命令
# 一键启动整个集群包括namenode、secondarynamenode和所有的datanode
start-dfs.sh
# 查看当前系统中正在运行的Java进程可以看到每台虚拟机上hadoop的运行情况
jps3、执行上述步骤之后我们可以在我们自己的电脑非虚拟机上查看 HDFS WEBUI即HADOOP管理页面可以通过访问namenode所在服务器的9870端口查看在本案例中因为namenode处于node1虚拟机上所以可以访问http://node1:9870/打开。PS因为之前我们已经配置了本机的hosts文件所以这里可以使用node1访问其实这个地址对应的就是http://192.168.88.101:9870/。 4、如果看到以下界面代表Hadoop集群启动成功了。
2.4. 快照部署好的集群
为了保存刚部署好的集群在后续如果出现无法解决的问题不至于重新部署一遍使用虚拟机快照的方式进行备份。 1、一键关闭集群在node1虚拟机执行以下命令
# 切换为hadoop用户
su - hadoop
# 一键关闭整个集群
stop-dfs.sh关闭完成后可以在node1、node2、node3虚拟机中使用jps命令查看相应Java进程是否已消失。 2、关闭三台虚拟机 3、在VMware中分别在三台虚拟机上右键“快照”-“拍摄快照”功能创建快照。
2.5. 部署过程中可能会遇到的问题
在以Hadoop用户身份执行start-dfs.sh命令时提示Permission denied。此时需要检查三台虚拟机上相关路径/data、/export/server及其子路径上hadoop用户是否具有读、写、执行的权限。在执行start-dfs.sh命令后使用jps命令可以查看已启动的服务若发现有服务未启动成功的可以查看/export/server/hadoop/logs目录下的日志文件若在日志文件中看到类似于无权限、不可访问等报错信息同样需要检查对应机器的相关路径权限。执行hadoop namenode -format、start-dfs.sh、stop-dfs.sh等Hadoop相关命令时若提示command not found则代表着环境变量没配置好需要检查三台机器的/etc/profile文件的内容需要使用source命令使环境变量生效以及hadoop的软连接是否正确。执行start-dfs.sh命令后node1的相关进程启动成功但node2和node3没有启动的需要检查workers文件的配置是否有node2和node3。若在日志文件中看到WstxEOFException或Unexpected EOF等信息大概率是xml配置文件有问题需要仔细检查core-site.xml和hdfs-site.xml文件里面的内容少了某个字母或字符、写错了某个字母或字符尤其是符号。 综上常见出错点总结为
权限未正确配置配置文件错误未格式化
2.5. Hadoop HDFS集群启停脚本
注意在使用以下命令前一定要确保当前是hadoop用户否则将报错或没有效果 Hadoop HDFS 组件内置了HDFS集群的一键启停脚本。 $HADOOP_HOME/sbin/start-dfs.sh一键启动HDFS集群 执行流程 在执行此脚本的机器上启动SecondaryNameNode读取core-site.xml内容fs.defaultFS项确定NameNode所在机器启动NameNode读取workers内容确定DataNode所在机器启动全部DataNode。 $HADOOP_HOME/sbin/stop-dfs.sh一键关闭HDFS集群 执行流程 在执行此脚本的机器上关闭SecondaryNameNode读取core-site.xml内容fs.defaultFS项确定NameNode所在机器关闭NameNode读取workers内容确认DataNode所在机器关闭全部NameNode。 除了一键启停外也可以单独控制某个进程的启停。 $HADOOP_HOME/sbin/hadoop-daemon.sh此脚本可以单独控制所在机器的进程启停 用法hadoop-daemon.sh (start|status|stop) (namenode|secondarynamenode|datanode) $HADOOP_HOME/sbin/hdfs此程序也可以单独控制所在机器的进程启停 用法hdfs --daemon (start|status|stop) (namenode|secondarynamenode|datanode)
