浦江建设局网站,asp 手机网站,做网站工作内容,wordpress4.9.8有中文版Hadoop配置文件修改
Hadoop安装主要就是配置文件的修改#xff0c;一般在主节点进行修改#xff0c;完毕后scp下发给其他各个从节点机器
文件中设置的是Hadoop运行时需要的环境变量。JAVA_HOME是必须设置的#xff0c;即使我们当前的系统中设置了JAVA_HOME#xff0c;它也…Hadoop配置文件修改
Hadoop安装主要就是配置文件的修改一般在主节点进行修改完毕后scp下发给其他各个从节点机器
文件中设置的是Hadoop运行时需要的环境变量。JAVA_HOME是必须设置的即使我们当前的系统中设置了JAVA_HOME它也是不认识的因为Hadoop即使是在本机上执行它也是把当前的执行环境当成远程服务器
export JAVA_HOME/export/server/jdk1.8.0_241#文件最后添加
export HDFS_NAMENODE_USERroot
export HDFS_DATANODE_USERroot
export HDFS_SECONDARYNAMENODE_USERroot
export YARN_RESOURCEMANAGER_USERroot
export YARN_NODEMANAGER_USERroothadoop的核心配置文件有默认的配置项core-default.xml。 core-default.xml与core-site.xml的功能是一样的如果在core-site.xml里没有配置的属性则会自动会获取core-default.xml里的相同属性的值
propertynamefs.defaultFS/namevaluehdfs://node1:8020/value/propertypropertynamehadoop.tmp.dir/namevalue/export/data/hadoop-3.3.0/value
/property!-- 设置HDFS web UI用户身份 --
propertynamehadoop.http.staticuser.user/namevalueroot/value
/property!-- 整合hive --
propertynamehadoop.proxyuser.root.hosts/namevalue*/value
/propertypropertynamehadoop.proxyuser.root.groups/namevalue*/value
/propertyHDFS的核心配置文件有默认的配置项hdfs-default.xml。 hdfs-default.xml与hdfs-site.xml的功能是一样的如果在hdfs-site.xml里没有配置的属性则会自动会获取hdfs-default.xml里的相同属性的值
!-- 指定secondarynamenode运行位置 --
propertynamedfs.namenode.secondary.http-address/namevaluenode2:50090/value
/propertyMapReduce的核心配置文件有默认的配置项mapred-default.xml。 mapred-default.xml与mapred-site.xml的功能是一样的如果在mapred-site.xml里没有配置的属性则会自动会获取mapred-default.xml里的相同属性的值
propertynamemapreduce.framework.name/namevalueyarn/value
/propertypropertynameyarn.app.mapreduce.am.env/namevalueHADOOP_MAPRED_HOME${HADOOP_HOME}/value
/propertypropertynamemapreduce.map.env/namevalueHADOOP_MAPRED_HOME${HADOOP_HOME}/value
/propertypropertynamemapreduce.reduce.env/namevalueHADOOP_MAPRED_HOME${HADOOP_HOME}/value
/propertyYARN的核心配置文件有默认的配置项yarn-default.xml。 yarn-default.xml与yarn-site.xml的功能是一样的如果在yarn-site.xml里没有配置的属性则会自动会获取yarn-default.xml里的相同属性的值
!-- 指定YARN的主角色ResourceManager的地址 --
propertynameyarn.resourcemanager.hostname/namevaluenode1/value
/property!-- NodeManager上运行的附属服务。需配置成mapreduce_shuffle才可运行MapReduce程序默认值 --
propertynameyarn.nodemanager.aux-services/namevaluemapreduce_shuffle/value
/property!-- 是否将对容器实施物理内存限制 --
propertynameyarn.nodemanager.pmem-check-enabled/namevaluefalse/value
/property!-- 是否将对容器实施虚拟内存限制。 --
propertynameyarn.nodemanager.vmem-check-enabled/namevaluefalse/value
/property
!-- 开启日志聚集 --
propertynameyarn.log-aggregation-enable/namevaluetrue/value
/property!-- 设置yarn历史服务器地址 --
propertynameyarn.log.server.url/namevaluehttp://node1:19888/jobhistory/logs/value
/property!-- 保存的时间7天 --
propertynameyarn.log-aggregation.retain-seconds/namevalue604800/value
/propertyworkers文件里面记录的是集群主机名。主要作用是配合一键启动脚本如start-dfs.sh、stop-yarn.sh用来进行集群启动。这时候workers文件里面的主机标记的就是从节点角色所在的机器
vi workersnode1.itcast.cn
node2.itcast.cn
node3.itcast.cn
