网站酷站,宽带固定ip的怎么做网站服务器,如何制作网站页面,极简风格网站介绍目录 1. 引言2. 配置单机Hadoop2.1 下载并解压JDK1.8、Hadoop3.3.62.2 配置环境变量2.3 验证JDK、Hadoop配置 3. 伪分布Hadoop3.1 配置ssh免密码登录3.2 配置伪分布Hadoop3.2.1 修改hadoop-env.sh3.2.2 修改core-site.xml3.2.3 修改hdfs-site.xml3.2.4 修改yarn-site.xml3.2.5 … 目录 1. 引言2. 配置单机Hadoop2.1 下载并解压JDK1.8、Hadoop3.3.62.2 配置环境变量2.3 验证JDK、Hadoop配置 3. 伪分布Hadoop3.1 配置ssh免密码登录3.2 配置伪分布Hadoop3.2.1 修改hadoop-env.sh3.2.2 修改core-site.xml3.2.3 修改hdfs-site.xml3.2.4 修改yarn-site.xml3.2.5 修改mapred-site.xml3.2.6 格式化namenode 3.3 测试Hadoop 参考 1. 引言 不知道是不是Docker的原因导致我电脑的系统盘健康度急剧减少。 换了一个SSD安装Docker后发现健康度又掉了1%所以接下来只能用华为云开发空间的2CPU4G内存云主机来重新配置Hadoop。
2. 配置单机Hadoop
2.1 下载并解压JDK1.8、Hadoop3.3.6 首先在https://adoptium.net/下载jdk1.8并使用sudo tar -zxvf OpenJDK8U-jdk_x64_linux_hotspot_8u442b06.tar.gz -C /home/developer解压下载的jdk1.8接着在/home/developer路径下用mv jdk8u442-b06 jdk-8对jdk文件夹进行重命名。 (华为云开发空间的云主机ubuntu仓库中有jdk8直接使用sudo apt install openjdk-8-jdk -y。如果默认选择Java工具链云主机内会自带一个jdk17用sudo update-alternatives --config java来切换全局默认Java版本。) 使用https://dlcdn.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz下载Hadoop-3.3.6。 在/home/developer路径下使用tar -zxvf hadoop-3.3.6.tar.gz -C .解压Hadoop3.3.6。
2.2 配置环境变量 编辑配置文件的命令sudo vim /etc/profile。 在/etc/profile文件的尾部写入如下内容
export JAVA_HOME/home/developer/jdk-8
export HADOOP_HOME/home/developer/hadoop-3.3.6
export PATH$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin(如果是华为云空间主机的话在/home/developer/.bashrc文件的尾部写入如下内容
export JAVA_HOME/lib/jvm/java-8-openjdk-amd64
export HADOOP_HOME/home/developer/hadoop-3.3.6
export PATH$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin) 按ESC键后输入wq!来保存修改并用source /etc/profile命令使配置的环境变量生效。
2.3 验证JDK、Hadoop配置 验证JDKjava -version。 验证Hadoophadoop version。
3. 伪分布Hadoop
3.1 配置ssh免密码登录 安装ssh和pdshsudo apt install ssh pdsh -y。 配置ssh免密码登录
ssh-keygen -t rsa -P -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys测试ssh登录ssh localhost。 (安装了pdsh后可能需要在/etc/pdsh中新建rcmd_default文件再其中输入ssh。)
3.2 配置伪分布Hadoop 在/home/developer/hadoop-3.3.6/etc/hadoop中使用vim命令配置core-site.xml、hdfs-site.xml、yarn-site.xml和mapred-site.xml。
3.2.1 修改hadoop-env.sh 在其中配置jdk1.8的路径。
3.2.2 修改core-site.xml
configurationpropertynamefs.defaultFS/namevaluehdfs://localhost:9000/value/property
/configuration3.2.3 修改hdfs-site.xml 将dfs.datanode.data.dir和dfs.namenode.name.dir的value修改为你想要存放的位置注意要保留file://再连接路径。
configurationpropertynamedfs.datanode.data.dir/namevaluefile:///home/developer/data/datanode/value/propertypropertynamedfs.namenode.name.dir/namevaluefile:///home/developer/data/namenode/value/propertypropertynamedfs.namenode.http-address/namevaluelocalhost:9870/value/propertypropertynamedfs.replication/namevalue1/value/property
/configuration
3.2.4 修改yarn-site.xml
configurationpropertynameyarn.resourcemanager.hostname/namevaluelocalhost/value/propertypropertynameyarn.nodemanager.aux-services/namevaluemapreduce_shuffle/value/propertypropertynameyarn.nodemanager.env-whitelist/namevalueJAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_HOME,PATH,LANG,TZ,HADOOP_MAPRED_HOME/value/property
/configuration
3.2.5 修改mapred-site.xml
configurationpropertynamemapreduce.framework.name/namevalueyarn/value/propertypropertynamemapreduce.application.classpath/namevalue$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*/value/property
/configuration
3.2.6 格式化namenode 格式化命令hdfs namenode -format。 启动hdfs和yarnstart-dfs.sh start-yarn.sh。 使用jps命令验证是否启动 检验localhost:9870和localhost:8088能否显示。
3.3 测试Hadoop 测试命令hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar pi 10 10。
参考
https://hadoop.apache.org/docs/r3.3.6/hadoop-project-dist/hadoop-common/SingleCluster.html
