微信一键登录网站怎么做,哪些属于功能型网站,自己做微网站,如何开发微网站HDFS体系架构
HDFS#xff08;Hadoop Distributed File System#xff0c;Hadoop分布式文件系统#xff09;是Hadoop项目中的一个核心组件#xff0c;旨在以高容错、高吞吐量来处理大规模数据集。它的体系架构由以下几个主要部分组成#xff1a;Client#xff0c;NameNo…HDFS体系架构
HDFSHadoop Distributed File SystemHadoop分布式文件系统是Hadoop项目中的一个核心组件旨在以高容错、高吞吐量来处理大规模数据集。它的体系架构由以下几个主要部分组成ClientNameNodeDataNodeSecondaryNameNode
1.Client客户端 1.文件切分 2.与NameNode交互获取文件元数据信息 3.与DataNode交互读取或写入数据 4.与HDFS进行交互
2.NameNodeMaster(管理者) 1.管理HDFS的元数据空间 2.管理block块的映射信息 3.接受DataNode心跳管理DataNode信息 4.处理客户端的读写请求
3.DataNodeSlave(NN下达命令执行实际的操作) 1. 存储实际的数据块 2.执行数据块的读写操作 3.向NameNode发送心跳以及block块汇报
4.Secondary NameNode 1.并非NameNode的热备份当NameNode停止服务的时候不能马上代替NameNode 2.辅助NameNode分担工作量 3.定期合并fsimage和editslog推送给NameNode 4.紧急情况下可以辅助恢复namenode
HDFS写入/下载流程 客户端 请求 NameNode 创建一个新文件。 NameNode 检查文件是否已存在并验证客户端权限。 NameNode 创建一个新文件条目返回给客户端数据块的位置信息即哪些 DataNode 将存储数据块的副本。 客户端 按顺序将数据块写入到指定的 DataNode。 DataNode 将数据块复制到其他 DataNode 以确保副本数量。 DataNode 向 NameNode 报告已存储的数据块信息。 客户端 请求 NameNode 读取文件。 NameNode 返回文件的元数据和数据块位置信息。 客户端 按顺序从相应的 DataNode 读取数据块。 客户端 汇总数据块呈现完整文件。
