保险网站,wordpress如何去掉amp,网站手机适配跳转,上海做网站推广关键词来源#xff1a;B站尚硅谷 目录 HDFS概述HDFS产出背景及定义HDFS优缺点HDFS组成架构HDFS文件块大小#xff08;面试重点#xff09; HDFS的Shell操作#xff08;开发重点#xff09;基本语法命令大全常用命令实操准备工作上传下载HDFS直接操作 HDFS的API操作HDFS的API案例…来源B站尚硅谷 目录 HDFS概述HDFS产出背景及定义HDFS优缺点HDFS组成架构HDFS文件块大小面试重点 HDFS的Shell操作开发重点基本语法命令大全常用命令实操准备工作上传下载HDFS直接操作 HDFS的API操作HDFS的API案例实操HDFS文件上传测试参数优先级HDFS文件下载HDFS文件更名和移动HDFS删除文件和目录HDFS文件详情查看HDFS文件和文件夹判断 HDFS的读写流程面试重点HDFS写数据流程剖析文件写入网络拓扑-节点距离计算机架感知副本存储节点选择 HDFS读数据流程 NameNode和SecondaryNameNodeNN和2NN工作机制Fsimage和Edits解析CheckPoint时间设置 DataNodeDataNode工作机制数据完整性掉线时限参数设置 HDFS概述
HDFS产出背景及定义
1HDFS产生背景 随着数据量越来越大在一个操作系统存不下所有的数据那么就分配到更多的操作系统管理的磁盘中但是不方便管理和维护迫切需要一种系统来管理多台机器上的文件这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。 2HDFS定义 HDFSHadoop Distributed File System它是一个文件系统用于存储文件通过目录树来定位文件其次它是分布式的由很多服务器联合起来实现其功能集群中的服务器有各自的角色。 HDFS的使用场景适合一次写入多次读出的场景。一个文件经过创建、写入和关闭之后就不需要改变。
HDFS优缺点 优点 1高容错性 数据自动保存多个副本。它通过增加副本的形式提高容错性。 某一个副本丢失以后它可以自动恢复。 2适合处理大数据 数据规模能够处理数据规模达到GB、TB、甚至PB级别的数据文件规模能够处理百万规模以上的文件数量数量相当之大。 3可构建在廉价机器上通过多副本机制提高可靠性。 缺点 1不适合低延时数据访问比如毫秒级的存储数据是做不到的。 2无法高效的对大量小文件进行存储。 存储大量小文件的话它会占用NameNode大量的内存来存储文件目录和块信息。这样是不可取的因为NameNode的内存总是有限的小文件存储的寻址时间会超过读取时间它违反了HDFS的设计目标。 3不支持并发写入、文件随机修改。 一个文件只能有一个写不允许多个线程同时写仅支持数据append追加不支持文件的随机修改。
HDFS组成架构 1NameNodenn就是Master它是一个主管、管理者。
1管理HDFS的名称空间2配置副本策略3管理数据块Block映射信息4处理客户端读写请求。
2DataNode就是Slave。NameNode下达命令DataNode执行实际的操作。
1存储实际的数据块2执行数据块的读/写操作。
3Client就是客户端。
1文件切分。文件上传HDFS的时候Client将文件切分成一个一个的Block然后进行上传2与NameNode交互获取文件的位置信息3与DataNode交互读取或者写入数据4Client提供一些命令来管理HDFS比如NameNode格式化5Client可以通过一些命令来访问HDFS比如对HDFS增删查改操作
4Secondary NameNode并非NameNode的热备。当NameNode挂掉的时候它并不能马上替换NameNode并提供服务。
1辅助NameNode分担其工作量比如定期合并Fsimage和Edits并推送给NameNode 2在紧急情况下可辅助恢复NameNode。
HDFS文件块大小面试重点
HDFS中的文件在物理上是分块存储Block块的大小可以通过配置参数( dfs.blocksize来规定默认大小在Hadoop2.x/3.x版本中是128M1.x版本中是64M。 思考为什么块的大小不能设置太小也不能设置太大 1HDFS的块设置太小会增加寻址时间程序一直在找块的开始位置 2如果块设置的太大从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。导致程序在处理这块数据时会非常慢。 总结HDFS块的大小设置主要取决于磁盘传输速率。
HDFS的Shell操作开发重点
基本语法
hadoop fs 具体命令 或 hdfs dfs 具体命令 两个是完全相同的。
命令大全
[jjmhadoop102 hadoop-3.1.3]$ bin/hadoop fs[-appendToFile localsrc ... dst][-cat [-ignoreCrc] src ...][-chgrp [-R] GROUP PATH...][-chmod [-R] MODE[,MODE]... | OCTALMODE PATH...][-chown [-R] [OWNER][:[GROUP]] PATH...][-copyFromLocal [-f] [-p] localsrc ... dst][-copyToLocal [-p] [-ignoreCrc] [-crc] src ... localdst][-count [-q] path ...][-cp [-f] [-p] src ... dst][-df [-h] [path ...]][-du [-s] [-h] path ...][-get [-p] [-ignoreCrc] [-crc] src ... localdst][-getmerge [-nl] src localdst][-help [cmd ...]][-ls [-d] [-h] [-R] [path ...]][-mkdir [-p] path ...][-moveFromLocal localsrc ... dst][-moveToLocal src localdst][-mv src ... dst][-put [-f] [-p] localsrc ... dst][-rm [-f] [-r|-R] [-skipTrash] src ...][-rmdir [--ignore-fail-on-non-empty] dir ...]
acl_spec path]][-setrep [-R] [-w] rep path ...][-stat [format] path ...][-tail [-f] file][-test -[defsz] path][-text [-ignoreCrc] src ...]常用命令实操
准备工作
1启动Hadoop集群方便后续的测试
[jjmhadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh
[jjmhadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh2-help输出这个命令参数
[jjmhadoop102 hadoop-3.1.3]$ hadoop fs -help rm3创建/sanguo文件夹
[jjmhadoop102 hadoop-3.1.3]$ hadoop fs -mkdir /sanguo上传
1-moveFromLocal从本地剪切粘贴到HDFS
[jjmhadoop102 hadoop-3.1.3]$ vim shuguo.txt
输入
shuguo[jjmhadoop102 hadoop-3.1.3]$ hadoop fs -moveFromLocal ./shuguo.txt /sanguo2-copyFromLocal从本地文件系统中拷贝文件到HDFS路径去
[jjmhadoop102 hadoop-3.1.3]$ vim weiguo.txt
输入
weiguo[jjmhadoop102 hadoop-3.1.3]$ hadoop fs -copyFromLocal weiguo.txt /sanguo3-put等同于copyFromLocal生产环境更习惯用put
[jjmhadoop102 hadoop-3.1.3]$ vim wuguo.txt
输入
wuguo[jjmhadoop102 hadoop-3.1.3]$ hadoop fs -put ./wuguo.txt /sanguo4-appendToFile追加一个文件到已经存在的文件末尾
[jjmhadoop102 hadoop-3.1.3]$ vim liubei.txt
输入
liubei[jjmhadoop102 hadoop-3.1.3]$ hadoop fs -appendToFile liubei.txt /sanguo/shuguo.txt下载
1-copyToLocal从HDFS拷贝到本地
[jjmhadoop102 hadoop-3.1.3]$ hadoop fs -copyToLocal /sanguo/shuguo.txt ./2-get等同于copyToLocal生产环境更习惯用get
[jjmhadoop102 hadoop-3.1.3]$ hadoop fs -get /sanguo/shuguo.txt ./shuguo2.txtHDFS直接操作
1-ls: 显示目录信息
[jjmhadoop102 hadoop-3.1.3]$ hadoop fs -ls /sanguo2-cat显示文件内容
[jjmhadoop102 hadoop-3.1.3]$ hadoop fs -cat /sanguo/shuguo.txt3-chgrp、-chmod、-chownLinux文件系统中的用法一样修改文件所属权限
[jjmhadoop102 hadoop-3.1.3]$ hadoop fs -chmod 666 /sanguo/shuguo.txt
[jjmhadoop102 hadoop-3.1.3]$ hadoop fs -chown atguigu:atguigu /sanguo/shuguo.txt4-mkdir创建路径
[jjmhadoop102 hadoop-3.1.3]$ hadoop fs -mkdir /jinguo5-cp从HDFS的一个路径拷贝到HDFS的另一个路径
[jjmhadoop102 hadoop-3.1.3]$ hadoop fs -cp /sanguo/shuguo.txt /jinguo6-mv在HDFS目录中移动文件
[jjmhadoop102 hadoop-3.1.3]$ hadoop fs -mv /sanguo/wuguo.txt /jinguo
[jjmhadoop102 hadoop-3.1.3]$ hadoop fs -mv /sanguo/weiguo.txt /jinguo7-tail显示一个文件的末尾1kb的数据
[jjmhadoop102 hadoop-3.1.3]$ hadoop fs -tail /jinguo/shuguo.txt8-rm删除文件或文件夹
[jjmhadoop102 hadoop-3.1.3]$ hadoop fs -rm /sanguo/shuguo.txt9-rm -r递归删除目录及目录里面内容
[jjmhadoop102 hadoop-3.1.3]$ hadoop fs -rm -r /sanguo10-du统计文件夹的大小信息
[jjmhadoop102 hadoop-3.1.3]$ hadoop fs -du -s -h /jinguo
27 81 /jinguo
[jjmhadoop102 hadoop-3.1.3]$ hadoop fs -du -h /jinguo
14 42 /jinguo/shuguo.txt
7 21 /jinguo/weiguo.txt
6 18 /jinguo/wuguo.tx说明27表示文件大小81表示27*3个副本/jinguo表示查看的目录 11-setrep设置HDFS中文件的副本数量
[jjmhadoop102 hadoop-3.1.3]$ hadoop fs -setrep 10 /jinguo/shuguo.txt这里设置的副本数只是记录在NameNode的元数据中是否真的会有这么多副本还得看DataNode的数量。因为目前只有3台设备最多也就3个副本只有节点数的增加到10台时副本数才能达到10。
HDFS的API操作
HDFS的API案例实操
HDFS文件上传测试参数优先级
1编写源代码
Test
public void testCopyFromLocalFile() throws IOException, InterruptedException, URISyntaxException {// 1 获取文件系统Configuration configuration new Configuration();configuration.set(dfs.replication, 2);FileSystem fs FileSystem.get(new URI(hdfs://hadoop102:8020), configuration, jjm);// 2 上传文件fs.copyFromLocalFile(new Path(d:/sunwukong.txt), new Path(/xiyou/huaguoshan));// 3 关闭资源fs.close();2将hdfs-site.xml拷贝到项目的resources资源目录下
?xml version1.0 encodingUTF-8?
?xml-stylesheet typetext/xsl hrefconfiguration.xsl?configurationpropertynamedfs.replication/namevalue1/value/property
/configuration3参数优先级 参数优先级排序1客户端代码中设置的值 2ClassPath下的用户自定义配置文件 3然后是服务器的自定义配置xxx-site.xml 4服务器的默认配置xxx-default.xml
HDFS文件下载
Test
public void testCopyToLocalFile() throws IOException, InterruptedException, URISyntaxException{// 1 获取文件系统Configuration configuration new Configuration();FileSystem fs FileSystem.get(new URI(hdfs://hadoop102:8020), configuration, jjm);// 2 执行下载操作// boolean delSrc 指是否将原文件删除// Path src 指要下载的文件路径// Path dst 指将文件下载到的路径// boolean useRawLocalFileSystem 是否开启文件校验fs.copyToLocalFile(false, new Path(/xiyou/huaguoshan/sunwukong.txt), new Path(d:/sunwukong2.txt), true);// 3 关闭资源fs.close();
}注意如果执行上面代码下载不了文件有可能是你电脑的微软支持的运行库少需要安装一下微软运行库。
HDFS文件更名和移动
Test
public void testRename() throws IOException, InterruptedException, URISyntaxException{// 1 获取文件系统Configuration configuration new Configuration();FileSystem fs FileSystem.get(new URI(hdfs://hadoop102:8020), configuration, jjm); // 2 修改文件名称fs.rename(new Path(/xiyou/huaguoshan/sunwukong.txt), new Path(/xiyou/huaguoshan/meihouwang.txt));// 3 关闭资源fs.close();
}HDFS删除文件和目录
Test
public void testDelete() throws IOException, InterruptedException, URISyntaxException{// 1 获取文件系统Configuration configuration new Configuration();FileSystem fs FileSystem.get(new URI(hdfs://hadoop102:8020), configuration, jjm);// 2 执行删除fs.delete(new Path(/xiyou), true);// 3 关闭资源fs.close();
}HDFS文件详情查看
查看文件名称、权限、长度、块信息
Test
public void testListFiles() throws IOException, InterruptedException, URISyntaxException {// 1获取文件系统Configuration configuration new Configuration();FileSystem fs FileSystem.get(new URI(hdfs://hadoop102:8020), configuration, jjm);// 2 获取文件详情RemoteIteratorLocatedFileStatus listFiles fs.listFiles(new Path(/), true);while (listFiles.hasNext()) {LocatedFileStatus fileStatus listFiles.next();System.out.println( fileStatus.getPath() );System.out.println(fileStatus.getPermission());System.out.println(fileStatus.getOwner());System.out.println(fileStatus.getGroup());System.out.println(fileStatus.getLen());System.out.println(fileStatus.getModificationTime());System.out.println(fileStatus.getReplication());System.out.println(fileStatus.getBlockSize());System.out.println(fileStatus.getPath().getName());// 获取块信息BlockLocation[] blockLocations fileStatus.getBlockLocations();System.out.println(Arrays.toString(blockLocations));}// 3 关闭资源fs.close();
}HDFS文件和文件夹判断
Test
public void testListStatus() throws IOException, InterruptedException, URISyntaxException{// 1 获取文件配置信息Configuration configuration new Configuration();FileSystem fs FileSystem.get(new URI(hdfs://hadoop102:8020), configuration, jjm);// 2 判断是文件还是文件夹FileStatus[] listStatus fs.listStatus(new Path(/));for (FileStatus fileStatus : listStatus) {// 如果是文件if (fileStatus.isFile()) {System.out.println(f:fileStatus.getPath().getName());}else {System.out.println(d:fileStatus.getPath().getName());}}// 3 关闭资源fs.close();
}HDFS的读写流程面试重点
HDFS写数据流程
剖析文件写入 1客户端通过Distributed FileSystem模块向NameNode请求上传文件NameNode检查目标文件是否已存在父目录是否存在。2NameNode返回是否可以上传。3客户端请求第一个Block上传到哪几个DataNode服务器上。4NameNode返回3个DataNode节点分别为dn1、dn2、dn3。5客户端通过FSDataOutputStream模块请求dn1上传数据dn1收到请求会继续调用dn2然后调佣dn3将这个通信管道建立完成。6dn1、dn2、dn3逐级应答客户端。7客户端开始往dn1上传第一个Block先从磁盘读取数据放到一个本地内存缓存以Packet为单位dn1收到一个Packet就会传给dn2dn2传给dn3dn1每传一个Packet会放入一个应答队列等待应答。8当一个Block传输完成之后客户端再次请求NameNode上传第二个Block的服务器。重复执行3-7步。
网络拓扑-节点距离计算
在HDFS写数据的过程中NameNode会选择距离待上传数据最近距离的DataNode接收数据。那么这个最近距离怎么计算呢 节点距离两个节点到达最近的共同祖先的距离总和。
机架感知副本存储节点选择
1机架感知说明 在一般情况下当复制因子为3时HDFS的放置策略是如果写入器在datanode上则在本地机器上放置一个副本否则在一个随机的datanode上另一个副本在另一个(远程)机架上的节点上最后一个副本在同一个远程机架上的不同节点上。2Hadoop3.1.3副本节点选择 第一个副本在Client所处的节点上。如果客户端在集群外随机选一个。 第二个副本在另一个机架的随机一个节点 第三个副本在第二个副本所在机架的随机节点
HDFS读数据流程 1客户端通过DistributedFileSystem向NameNode请求下载文件NameNode通过查询元数据找到文件块所在的DataNode地址。2挑选一台DataNode就近原则然后随机服务器请求读取数据。3DataNode开始传输数据给客户端从磁盘里面读取数据输入流以Packet为单位来做校验。4客户端以Packet为单位接收先在本地缓存然后写入目标文件。
NameNode和SecondaryNameNode
NN和2NN工作机制
思考NameNode中的元数据是存储在哪里的 首先我们做个假设如果存储在NameNode节点的磁盘中因为经常需要进行随机访问还有响应客户请求必然是效率过低。因此元数据需要存放在内存中。但如果只存在内存中一旦断电元数据丢失整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。 这样又会带来新的问题当在内存中的元数据更新时如果同时更新FsImage就会导致效率过低但如果不更新就会发生一致性问题一旦NameNode节点断电就会产生数据丢失。因此引入Edits文件只进行追加操作效率很高。每当元数据有更新或者添加元数据时修改内存中的元数据并追加到Edits中。这样一旦NameNode节点断电可以通过FsImage和Edits的合并合成元数据。 但是如果长时间添加数据到Edits中会导致该文件数据过大效率降低而且一旦断电恢复元数据需要的时间过长。因此需要定期进行FsImage和Edits的合并如果这个操作由NameNode节点完成又会效率过低。因此引入一个新的节点SecondaryNamenode专门用于FsImage和Edits的合并。
1第一阶段NameNode启动 1第一次启动NameNode格式化后创建Fsimage和Edits文件。如果不是第一次启动直接加载编辑日志和镜像文件到内存。 2客户端对元数据进行增删改的请求。 3NameNode记录操作日志更新滚动日志。 4NameNode在内存中对元数据进行增删改。2第二阶段Secondary NameNode工作 1Secondary NameNode询问NameNode是否需要CheckPoint。直接带回NameNode是否检查结果。 2Secondary NameNode请求执行CheckPoint。 3NameNode滚动正在写的Edits日志。 4将滚动前的编辑日志和镜像文件拷贝到Secondary NameNode。 5Secondary NameNode加载编辑日志和镜像文件到内存并合并。 6生成新的镜像文件fsimage.chkpoint。 7拷贝fsimage.chkpoint到NameNode。 8NameNode将fsimage.chkpoint重新命名成fsimage。
Fsimage和Edits解析
NameNode被格式化之后将在/opt/module/hadoop-3.1.3/data/tmp/dfs/name/current目录中产生如下文件 fsimage_0000000000000000000 fsimage_0000000000000000000.md5 seen_txid VERSION 1Fsimage文件HDFS文件系统元数据的一个永久性的检查点其中包含HDFS文件系统的所有目录和文件inode的序列化信息。 2Edits文件存放HDFS文件系统的所有更新操作的路径文件系统客户端执行的所有写操作首先会被记录到Edits文件中。 3seen_txid文件保存的是一个数字就是最后一个edits_的数字 4每次NameNode启动的时候都会将Fsimage文件读入内存加载Edits里面的更新操作保证内存中的元数据信息是最新的、同步的可以看成NameNode启动的时候就将Fsimage和Edits文件进行了合并。
1oiv查看Fsimage文件 1查看oiv和oev命令
[jjmhadoop102 current]$ hdfs
oiv apply the offline fsimage viewer to an fsimage
oev apply the offline edits viewer to an edits file2基本语法 hdfs oiv -p 文件类型 -i镜像文件 -o 转换后文件输出路径 3案例实操
[jjmhadoop102 current]$ pwd
/opt/module/hadoop-3.1.3/data/dfs/name/current[jjmhadoop102 current]$ hdfs oiv -p XML -i fsimage_0000000000000000025 -o /opt/module/hadoop-3.1.3/fsimage.xml[jjmhadoop102 current]$ cat /opt/module/hadoop-3.1.3/fsimage.xml将显示的xml文件内容拷贝到Idea中创建的xml文件中并格式化。部分显示结果如下。
inodeid16386/idtypeDIRECTORY/typenameuser/namemtime1512722284477/mtimepermissionjjm:supergroup:rwxr-xr-x/permissionnsquota-1/nsquotadsquota-1/dsquota
/inode
inodeid16387/idtypeDIRECTORY/typenamejjm/namemtime1512790549080/mtimepermissionjjm:supergroup:rwxr-xr-x/permissionnsquota-1/nsquotadsquota-1/dsquota
/inode
inodeid16389/idtypeFILE/typenamewc.input/namereplication3/replicationmtime1512722322219/mtimeatime1512722321610/atimeperferredBlockSize134217728/perferredBlockSizepermissionjjm:supergroup:rw-r--r--/permissionblocksblockid1073741825/idgenstamp1001/genstampnumBytes59/numBytes/block/blocks
/inode 思考可以看出Fsimage中没有记录块所对应DataNode为什么 在集群启动后要求DataNode上报数据块信息并间隔一段时间后再次上报。
2oev查看Edits文件 1基本语法 hdfs oev -p 文件类型 -i编辑日志 -o 转换后文件输出路径 2案例实操
[jjmhadoop102 current]$ hdfs oev -p XML -i edits_0000000000000000012-0000000000000000013 -o /opt/module/hadoop-3.1.3/edits.xml[jjmhadoop102 current]$ cat /opt/module/hadoop-3.1.3/edits.xml将显示的xml文件内容拷贝到Idea中创建的xml文件中并格式化。显示结果如下。
?xml version1.0 encodingUTF-8?
EDITSEDITS_VERSION-63/EDITS_VERSIONRECORDOPCODEOP_START_LOG_SEGMENT/OPCODEDATATXID129/TXID/DATA/RECORDRECORDOPCODEOP_ADD/OPCODEDATATXID130/TXIDLENGTH0/LENGTHINODEID16407/INODEIDPATH/hello7.txt/PATHREPLICATION2/REPLICATIONMTIME1512943607866/MTIMEATIME1512943607866/ATIMEBLOCKSIZE134217728/BLOCKSIZECLIENT_NAMEDFSClient_NONMAPREDUCE_-1544295051_1/CLIENT_NAMECLIENT_MACHINE192.168.10.102/CLIENT_MACHINEOVERWRITEtrue/OVERWRITEPERMISSION_STATUSUSERNAMEjjm/USERNAMEGROUPNAMEsupergroup/GROUPNAMEMODE420/MODE/PERMISSION_STATUSRPC_CLIENTID908eafd4-9aec-4288-96f1-e8011d181561/RPC_CLIENTIDRPC_CALLID0/RPC_CALLID/DATA/RECORDRECORDOPCODEOP_ALLOCATE_BLOCK_ID/OPCODEDATATXID131/TXIDBLOCK_ID1073741839/BLOCK_ID/DATA/RECORDRECORDOPCODEOP_SET_GENSTAMP_V2/OPCODEDATATXID132/TXIDGENSTAMPV21016/GENSTAMPV2/DATA/RECORDRECORDOPCODEOP_ADD_BLOCK/OPCODEDATATXID133/TXIDPATH/hello7.txt/PATHBLOCKBLOCK_ID1073741839/BLOCK_IDNUM_BYTES0/NUM_BYTESGENSTAMP1016/GENSTAMP/BLOCKRPC_CLIENTID/RPC_CLIENTIDRPC_CALLID-2/RPC_CALLID/DATA/RECORDRECORDOPCODEOP_CLOSE/OPCODEDATATXID134/TXIDLENGTH0/LENGTHINODEID0/INODEIDPATH/hello7.txt/PATHREPLICATION2/REPLICATIONMTIME1512943608761/MTIMEATIME1512943607866/ATIMEBLOCKSIZE134217728/BLOCKSIZECLIENT_NAME/CLIENT_NAMECLIENT_MACHINE/CLIENT_MACHINEOVERWRITEfalse/OVERWRITEBLOCKBLOCK_ID1073741839/BLOCK_IDNUM_BYTES25/NUM_BYTESGENSTAMP1016/GENSTAMP/BLOCKPERMISSION_STATUSUSERNAMEjjm/USERNAMEGROUPNAMEsupergroup/GROUPNAMEMODE420/MODE/PERMISSION_STATUS/DATA/RECORD
/EDITS 思考NameNode如何确定下次开机启动的时候合并哪些Edits 如果当前是fsimage_0000000000000000355那么只合并大于355的镜像文件和编辑日志。
CheckPoint时间设置
1通常情况下SecondaryNameNode每隔一小时执行一次。 [hdfs-default.xml]
propertynamedfs.namenode.checkpoint.period/namevalue3600s/value
/property2一分钟检查一次操作次数当操作次数达到1百万时SecondaryNameNode执行一次。
propertynamedfs.namenode.checkpoint.txns/namevalue1000000/value
description操作动作次数/description
/propertypropertynamedfs.namenode.checkpoint.check.period/namevalue60s/value
description 1分钟检查一次操作次数/description
/propertyDataNode
DataNode工作机制 1一个数据块在DataNode上以文件形式存储在磁盘上包括两个文件一个是数据本身一个是元数据包括数据块的长度块数据的校验和以及时间戳。2DataNode启动后向NameNode注册通过后周期性6小时的向NameNode上报所有的块信息。 DN向NN汇报当前解读信息的时间间隔默认6小时
propertynamedfs.blockreport.intervalMsec/namevalue21600000/valuedescriptionDetermines block reporting interval in milliseconds./description
/propertyDN扫描自己节点块信息列表的时间默认6小时
propertynamedfs.datanode.directoryscan.interval/namevalue21600s/valuedescriptionInterval in seconds for Datanode to scan data directories and reconcile the difference between blocks in memory and on the disk.Support multiple time unit suffix(case insensitive), as describedin dfs.heartbeat.interval./description
/property3心跳是每3秒一次心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器或删除某个数据块。如果超过10分钟没有收到某个DataNode的心跳则认为该节点不可用。4集群运行中可以安全加入和退出一些机器。
数据完整性
思考如果电脑磁盘里面存储的数据是控制高铁信号灯的红灯信号1和绿灯信号0但是存储该数据的磁盘坏了一直显示是绿灯是否很危险同理DataNode节点上的数据损坏了却没有发现是否也很危险那么如何解决呢 如下是DataNode节点保证数据完整性的方法。 1当DataNode读取Block的时候它会计算CheckSum。 2如果计算后的CheckSum与Block创建时值不一样说明Block已经损坏。 3Client读取其他DataNode上的Block。 4常见的校验算法crc32md5128sha1160 5DataNode在其文件创建后周期验证CheckSum。
掉线时限参数设置 1、DataNode进程死亡或者网络故障造成DataNode无法与NameNode通信。 2、NameNode不会立即把该节点判定为死亡要经过一段时间这段时间暂称作超时时长。 3、HDFS默认的超时时长为10分钟30秒。 4、如果定义超时时间为TimeOut则超时时长的计算公式为
TimeOut 2 * dfs.namenode.heartbeat.recheck-interval 10 * dfs.heartbeat.interval。
而默认的dfs.namenode.heartbeat.recheck-interval 大小为5分钟dfs.heartbeat.interval默认为3秒。需要注意的是hdfs-site.xml 配置文件中的heartbeat.recheck.interval的单位为毫秒dfs.heartbeat.interval的单位为秒。
propertynamedfs.namenode.heartbeat.recheck-interval/namevalue300000/value
/propertypropertynamedfs.heartbeat.interval/namevalue3/value
/property
