网站建设带有注册账号,中国纪检监察报订阅,企业门户网址,网站 案例前言
在当今大数据时代#xff0c;处理海量数据成为了一项关键任务。Hadoop作为一种开源的分布式计算框架#xff0c;为大规模数据处理和存储提供了强大的解决方案。本文将介绍Hadoop的组成和其在大数据处理中的重要作用#xff0c;让我们一同踏上学习Hadoop的旅程。
Hado…前言
在当今大数据时代处理海量数据成为了一项关键任务。Hadoop作为一种开源的分布式计算框架为大规模数据处理和存储提供了强大的解决方案。本文将介绍Hadoop的组成和其在大数据处理中的重要作用让我们一同踏上学习Hadoop的旅程。
Hadoop概述
Hadoop 是什么
1Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 2主要解决海量数据的存储和海量数据的分析计算问题。 3广义上来说Hadoop通常是指一个更广泛的概念——Hadoop生态圈。
Hadoop 三大发行版本了解
Hadoop 三大发行版本Apache、Cloudera、Hortonworks。 Apache 版本最原始最基础的版本对于入门学习最好。2006 Cloudera 内部集成了很多大数据框架对应产品CDH。2008 Hortonworks 文档较好对应产品HDP。2011 Hortonworks 现在已经被Cloudera 公司收购推出新的品牌CDP。
Apache Hadoop
官网地址 下载地址https://hadoop.apache.org/releases.html
Cloudera Hadoop
官网地址https://www.cloudera.com/downloads/cdh 下载地址 12008 年成立的Cloudera是最早将Hadoop商用的公司为合作伙伴提供Hadoop的 商用解决方案主要是包括支持、咨询服务、培训。 22009 年 Hadoop 的创始人Doug Cutting 也加盟 Cloudera 公司。Cloudera 产品主 要为CDHCloudera ManagerCloudera Support 3CDH是Cloudera的Hadoop发行版完全开源比Apache Hadoop在兼容性安 全性稳定性上有所增强。Cloudera的标价为每年每个节点10000美元。 4Cloudera Manager 是集群的软件分发及管理监控平台可以在几个小时内部署好一 个Hadoop集群并对集群的节点及服务进行实时监控。
Hortonworks Hadoop
官网地址 下载地址https://hortonworks.com/downloads/#data-platform
12011年成立的Hortonworks是雅虎与硅谷风投公司Benchmark Capital合资组建。 2公司成立之初就吸纳了大约25名至30名专门研究Hadoop的雅虎工程师上述 工程师均在2005年开始协助雅虎开发Hadoop贡献了Hadoop80%的代码。 3Hortonworks 的主打产品是Hortonworks Data PlatformHDP也同样是100%开 源的产品HDP除常见的项目外还包括了Ambari一款开源的安装和管理系统。 42018年Hortonworks 目前已经被Cloudera公司收购。
Hadoop 优势4 高
1高可靠性Hadoop底层维护多个数据副本所以即使Hadoop某个计算元 素或存储出现故障也不会导致数据的丢失。
2高扩展性在集群间分配任务数据可方便的扩展数以千计的节点。
3高效性在MapReduce的思想下Hadoop是并行工作的以加快任务处 理速度。
4高容错性能够自动将失败的任务重新分配。
Hadoop 组成面试重点 HDFS 架构概述
Hadoop Distributed File System简称 HDFS是一个分布式文件系统。
1NameNodenn存储文件的元数据如文件名文件目录结构文件属性生成时间、副本数、 文件权限以及每个文件的块列表和块所在的DataNode等2DataNode(dn)在本地文件系统存储文件块数据以及块数据的校验和。3Secondary NameNode(2nn)每隔一段时间对NameNode元数据备份。
YARN 架构概述
Yet Another Resource Negotiator 简称 YARN 另一种资源协调者是 Hadoop 的资源管理器。
1ResourceManagerRM整个集群资源内存、CPU等的老大2NodeManagerNM单个节点服务器资源老大3ApplicationMasterAM单个任务运行的老大4Container容器相当一台独立的服务器里面封装了任务运行所需要的资源如内存、CPU、磁盘、网络等
说明1客户端可以有多个
说明2集群上可以运行多个ApplicationMaster
说明3每个NodeManager上可以有多个Container
MapReduce 架构概述
MapReduce 将计算过程分为两个阶段Map和Reduce 1Map阶段并行处理输入数据 2Reduce 阶段对Map结果进行汇总
HDFS、YARN、MapReduce三者关系 大数据技术生态体系 图中涉及的技术名词解释如下 视频、ppt等非结构化数据 数据来源层 1SqoopSqoop 是一款开源的工具主要用于在Hadoop、Hive与传统的数据库MySQL 间进行数据的传递可以将一个关系型数据库例如 MySQLOracle 等中的数据导进 到Hadoop的HDFS中也可以将HDFS的数据导进到关系型数据库中。 2FlumeFlume 是一个高可用的高可靠的分布式的海量日志采集、聚合和传输的系统 Flume 支持在日志系统中定制各类数据发送方用于收集数据 3KafkaKafka 是一种高吞吐量的分布式发布订阅消息系统 4SparkSpark 是当前最流行的开源大数据内存计算框架。可以基于Hadoop上存储的大数 据进行计算。 5FlinkFlink 是当前最流行的开源大数据内存计算框架。用于实时计算的场景较多。 6OozieOozie 是一个管理Hadoop作业job的工作流程调度管理系统。 7HbaseHBase 是一个分布式的、面向列的开源数据库。HBase不同于一般的关系数据库 它是一个适合于非结构化数据存储的数据库。 8HiveHive 是基于 Hadoop 的一个数据仓库工具可以将结构化的数据文件映射为一张 数据库表并提供简单的SQL查询功能可以将SQL语句转换为MapReduce任务进行运 行。其优点是学习成本低可以通过类SQL语句快速实现简单的MapReduce统计不必开 发专门的MapReduce应用十分适合数据仓库的统计分析。 9ZooKeeper它是一个针对大型分布式系统的可靠协调系统提供的功能包括配置维护、 名字服务、分布式同步、组服务等。
推荐系统框架图 总结
Hadoop是大数据时代的重要组成部分其分布式文件系统HDFS和分布式计算框架MapReduce构成了Hadoop的核心。Hadoop的出现为大规模数据处理和存储带来了新的解决方案其高可扩展性、容错性和成本效益成为吸引用户的重要特点。
今天我们以了解和认识Hadoop为主充分熟悉它的组成和细节帮助我们更好的去学习它。
题外话
我整理了一些资源如果你也对Python和大数据感兴趣关注下方公众号免费提取资料。
