开发外贸产品的网站,徐水区城市建设网站,微信公众号优惠和网站绑定怎么做,最近上海大事件文章目录 一、下载安装包二、上传压缩包三、解压压缩包四、配置环境变量五、测试Hadoop5.1 测试hadoop命令5.2 测试wordcount案例5.2.1 创建wordcount输入文本信息5.2.2 执行程序5.2.3 查看结果 六、分发压缩包到集群中其他机器6.1 分发压缩包6.2 解压压缩包6.3 配置环境变量 七… 文章目录 一、下载安装包二、上传压缩包三、解压压缩包四、配置环境变量五、测试Hadoop5.1 测试hadoop命令5.2 测试wordcount案例5.2.1 创建wordcount输入文本信息5.2.2 执行程序5.2.3 查看结果 六、分发压缩包到集群中其他机器6.1 分发压缩包6.2 解压压缩包6.3 配置环境变量 七、配置集群7.1 核心配置文件7.2 HDFS配置文件7.3 YARN配置文件7.4 MapReduce配置文件7.5 分发配置文件 八、启动集群8.1 编辑workers文件确定数据节点8.2 启动集群步骤1 格式化NameNode首次启动集群时步骤2启动HDFS步骤3启动YARN步骤4测试WEB访问1配置阿里云安全组2浏览器访问 九、测试集群9.1 上传文件9.2 查看文件9.3 下载文件9.4 执行程序 十、配置历史服务器10.1 修改配置文件10.2 分发配置文件10.3 启动历史服务器10.4 访问WEB 十一、配置日志的聚集11.1 修改配置文件11.2 分发配置文件11.3 重启NM、RM、HistoryServer11.4 测试1删除HDFS已经存在的输出文件2执行WordCount程序3查看日志 一、下载安装包 https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/ 二、上传压缩包 使用普通账号上传到/opt/software目录 三、解压压缩包 使用普通账号 [hadoophadoop102 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/四、配置环境变量
[hadoophadoop102 software]$ sudo vim /etc/profile.d/my_env.sh新增内容
#HADOOP_HOME
export HADOOP_HOME/opt/module/hadoop-3.1.3
export PATH$PATH:$HADOOP_HOME/bin
export PATH$PATH:$HADOOP_HOME/sbin让新的环境变量PATH生效
[hadoophadoop102 hadoop-3.1.3]$ source /etc/profile五、测试Hadoop
5.1 测试hadoop命令
[hadoophadoop102 hadoop-3.1.3]$ hadoop version5.2 测试wordcount案例
5.2.1 创建wordcount输入文本信息
[hadoophadoop102 hadoop-3.1.3]$ mkdir wcinput
[hadoophadoop102 hadoop-3.1.3]$ cd wcinput/
[hadoophadoop102 wcinput]$ vim word.txt内容
hadoop yarn
hadoop mapreduce
vimgo
jbl jbl jbl5.2.2 执行程序
[hadoophadoop102 hadoop-3.1.3]$ cd /opt/module/hadoop-3.1.3
[hadoophadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput/ wcoutput/5.2.3 查看结果
[hadoophadoop102 hadoop-3.1.3]$ cd wcoutput/
[hadoophadoop102 wcoutput]$ cat part-r-00000hadoop 2
jbl 3
mapreduce 1
vimgo 1
yarn 1六、分发压缩包到集群中其他机器
6.1 分发压缩包
[hadoophadoop102 module]$ cd /opt/software/
[hadoophadoop102 software]$ mytools_rsync hadoop-3.1.3.tar.gz6.2 解压压缩包 同第三步骤 6.3 配置环境变量 同第四步骤 七、配置集群 有两种类型的配置文件*-default.xml 和 *-site.xml。 *-site.xml 中的配置项覆盖 *-default.xml的相同配置项。 7.1 核心配置文件 core-default.xml默认的核心Hadoop属性配置文件。该配置文件位于下面的JAR文件中:hadoop-common-x.x.x.jar [hadoophadoop102 software]$ cd $HADOOP_HOME/etc/hadoop
[hadoophadoop102 hadoop]$ vim core-site.xml新增内容 !-- 指定NameNode的地址 --propertynamefs.defaultFS/namevaluehdfs://hadoop102:9820/value/property!-- 指定hadoop数据的存储目录 --propertynamehadoop.tmp.dir/namevalue/opt/module/hadoop-3.1.3/data/value/property!-- 配置HDFS网页登录使用的静态用户为hadoop --propertynamehadoop.http.staticuser.user/namevaluehadoop/value/property!-- 配置该hadoop用户(superUser)允许通过代理访问的主机节点 --propertynamehadoop.proxyuser.hadoop.hosts/namevalue*/value/property!-- 配置该hadoop用户(superUser)允许通过代理用户所属组 --propertynamehadoop.proxyuser.hadoop.groups/namevalue*/value/property!-- 配置该hadoop用户(superUser)允许通过代理的用户--propertynamehadoop.proxyuser.hadoop.users/namevalue*/value/property说明 fs.defaultFS文件系统地址。可以是HDFS也可以是ViewFS等其他文件系统。 hadoop.tmp.dir默认值为/tmp/hadoop-${user.name}。比如跑MR时生成的临时路径本质上其实就是生成在它的下面当然如果你不想也可以去更改 mapred-site.xml 文件。再比如如果你不配置namenode和datanode的数据存储路径那么默认情况下存储路径会放在hadoop.tmp.dir所指路径下的dfs路径中。 hadoop.http.staticuser.user默认值是dr.who。需要调整为启动HDFS的用户普通用户/root才能访问增删文件/文件夹WEB HDFS。 代理配置hadoop.proxyuser.hadoop.hosts必须配hadoop.proxyuser.hadoop.groups和hadoop.proxyuser.hadoop.users至少配置一个。如果不配置代理会有什么问题 hadoop.proxyuser.hadoop.hosts和hadoop.proxyuser.hadoop.users本案例配置表示允许用户hadoop在任意主机节点代理任意用户。 7.2 HDFS配置文件 hdfs-default.xml默认的HDFS属性配置文件。该配置文件位于下面的JAR文件中:hadoop-hdfs-x.x.x.jar [hadoophadoop102 hadoop]$ vim hdfs-site.xml新增内容 !-- nn web端访问地址--propertynamedfs.namenode.http-address/namevaluehadoop102:9870/value/property!-- 2nn web端访问地址--propertynamedfs.namenode.secondary.http-address/namevaluehadoop104:9868/value/property7.3 YARN配置文件 yarn-default.xml默认的YARN属性配置文件。该配置文件位于下面的JAR文件中:hadoop-yarn-common-x.x.x.jar [hadoophadoop102 hadoop]$ vim yarn-site.xml新增内容 !-- 指定MR走shuffle --propertynameyarn.nodemanager.aux-services/namevaluemapreduce_shuffle/value/property!-- 指定ResourceManager的地址--propertynameyarn.resourcemanager.hostname/namevaluehadoop103/value/property!-- 环境变量的继承 --propertynameyarn.nodemanager.env-whitelist/namevalueJAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME/value/property!-- yarn容器允许分配的最大最小内存 --propertynameyarn.scheduler.minimum-allocation-mb/namevalue512/value/propertypropertynameyarn.scheduler.maximum-allocation-mb/namevalue4096/value/property!-- yarn容器允许管理的物理内存大小 --propertynameyarn.nodemanager.resource.memory-mb/namevalue4096/value/property!-- 关闭yarn对物理内存和虚拟内存的限制检查 --propertynameyarn.nodemanager.pmem-check-enabled/namevaluefalse/value/propertypropertynameyarn.nodemanager.vmem-check-enabled/namevaluefalse/value/property说明 yarn.nodemanager.env-whitelist默认JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_HOME,PATH,LANG,TZ yarn.scheduler.minimum-allocation-mb单位为MB 7.4 MapReduce配置文件 mapred-default.xml默认的MapReduce属性配置文件。该配置文件位于下面的JAR文件中:hadoop-mapreduce-client-core-x.x.x.jar [hadoophadoop102 hadoop]$ vim mapred-site.xml新增内容 !-- 指定MapReduce程序运行在Yarn上 --propertynamemapreduce.framework.name/namevalueyarn/value/property说明 mapreduce.framework.name 默认值为 local设置为 yarn让 MapReduce 程序运行 在 YARN 框架上。 7.5 分发配置文件
[hadoophadoop102 hadoop]$ mytools_rsync /opt/module/hadoop-3.1.3/etc/hadoop/八、启动集群
8.1 编辑workers文件确定数据节点 注意该文件中添加的内容结尾不允许有空格文件中不允许有空行。 [hadoophadoop102 hadoop]$ vim /opt/module/hadoop-3.1.3/etc/hadoop/workers内容
hadoop102
hadoop103
hadoop104同步到所有节点
[hadoophadoop102 hadoop]$ mytools_rsync /opt/module/hadoop-3.1.3/etc/8.2 启动集群
步骤1 格式化NameNode首次启动集群时 注意在NameNode所在节点core-site.xml中配置的执行命令 原因先前在care_site.xml中配置了文件系统为HDFSHDFS类似一块磁盘初次使用硬盘需要格式化让存储空间明白该按什么方式组织存储数据。 [hadoophadoop102 hadoop-3.1.3]$ hdfs namenode -format看到下图样例代表格式化成功
步骤2启动HDFS 注意在NameNode所在节点执行命令 [hadoophadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh步骤3启动YARN 注意在ResourceManager所在节点yarn-site.xml中配置的执行命令 [hadoophadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh步骤4测试WEB访问
1配置阿里云安全组 查看本机ip百度搜索ip 配置阿里云安全组放开ip 端口 配置本机hosts文件用swichhosts配置 2浏览器访问 Web端查看HDFS的NameNodehttp://hadoop102:9870 Web端查看YARN的ResourceManagerhttp://hadoop103:8088 九、测试集群
9.1 上传文件
上传小文件
[hadoophadoop102 hadoop-3.1.3]$ hadoop fs -put /opt/module/hadoop-3.1.3/wcinput/word.txt /input上传大文件
[hadoophadoop102 hadoop-3.1.3]$ hadoop fs -put /opt/software/jdk-8u291-linux-x64.tar.gz /9.2 查看文件
[hadoophadoop102 subdir0]$ cat /opt/module/hadoop-3.1.3/data/dfs/data/current/BP-343847855-172.28.76.203-1700227787497/current/finalized/subdir0/subdir0/blk_10737418259.3 下载文件
[hadoophadoop102 software]$ cd /opt/software/test_tmp
[hadoophadoop102 test_tmp]$ hadoop fs -get /input ./9.4 执行程序
[hadoophadoop102 software]$ cd /opt/module/hadoop-3.1.3/
[hadoophadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output查看执行结果通过WEB页面下载执行结果文件 配置安全组放开9864端口 访问HDFS WEB下载文件 查看执行结果在服务器上直接查看文件 cat /opt/module/hadoop-3.1.3/data/xxx 十、配置历史服务器
10.1 修改配置文件
10.2 分发配置文件
10.3 启动历史服务器
10.4 访问WEB
十一、配置日志的聚集 注意开启日志聚集功能需要重新启动NodeManager 、ResourceManager和HistoryServer。 11.1 修改配置文件
11.2 分发配置文件
11.3 重启NM、RM、HistoryServer
11.4 测试
1删除HDFS已经存在的输出文件
2执行WordCount程序
3查看日志
