做企业网站能赚钱吗?,公司网站建设文章,360网站收录,宾馆网站建设1.谈谈你对MR执行流程各个阶段的理解#xff08;提示里面涉及到排序#xff0c;快速排序或者归并排序知道两种实现形式#xff09;#xff1f;
2.hadoop 1.0和hadoop 2.0明显的差异如何理解#xff1f; hadoop2.0与hadoop1.0区别体现在在架构、性能、功能和组件方面…1.谈谈你对MR执行流程各个阶段的理解提示里面涉及到排序快速排序或者归并排序知道两种实现形式
2.hadoop 1.0和hadoop 2.0明显的差异如何理解 hadoop2.0与hadoop1.0区别体现在在架构、性能、功能和组件方面新的版本更加强大、灵活、可靠和高效适用于大规模数据的处理、存储和分析。 1.Hadoop 2.0具有更好的集群管理能力 Hadoop 2.0引入了YARN(Yet Another Resource Negotiator)框架它是Hadoop1.0中JobTracker和TaskTracker的替代品能够更好地管理资源和任务分配。与Hadoop 1.0相比Hadoop 2.0可支持多种类型的处理程序如批处理、流处理以及图形处理等等。 2. Hadoop 2.0支持非MapReduce应用程序 Hadoop2.0提供了一个面向资源管理的通用框架允许运行除MapReduce之外的非批处理程序如Storm、Spark、Samza等等。这使得Hadoop可以处理各种类型的数据并且更灵活更适合混合型分析任务。 3. Hadoop 2.0中修改了HDFS的体系结构 Hadoop 2.0中对HDFS体系结构进行了大规模修改使其更加健壮和可靠。新版本中引入了一些新的特性如Secondary NameNode的去除、NameNode的高可用性、块缓存以及数据完整性检查等。 4. Hadoop 2.0提高了性能和效率 Hadoop 2.0的新版高效执行引擎不仅允许在多个应用程序之间共享资源还改善了任务调度效率从而提高了处理速度和性能。Hadoop2.0还采用了新的资源分配和管理功能如容器(Container)机制可以更好地利用机器资源实现资源的细粒度管理。 总体而言Hadoop 2.0对于大规模的数据处理任务来说有显著的性能优势高可用性、可靠性及更好的集群管理能力是Hadoop 2.0的显著优势。 3.谈谈工作中数据处理的流程
4.hive 内外表的区别和使用场景有哪些 区别 1.在建表的时候外部表要使用 EXTERNAL 关键字不指定默认是内部表; 2.创建外部表的同时语句末尾一般要自己指定 数据文件存储路径 location ‘/AUTO/PATH’ 3。内部表不用特殊指定默认为/user/hive/warehouse, 可配置hive-site.xml propertynamehive.metastore.warehouse.dir/namevalue/hive/warehouse/value /property4.内部表数据由Hive自身管理外部表数据由HDFS管理 5.DTOP TABLE 内部表元数据和数据文件都会被删除掉 外部表元数据被删除数据文件任然保留 ,此时重建表都是可以的还是可以直接查数据的 6.LOAD DATA 加载HDFS DATA都是会将HDFS数据进行移动到对应的表目录类似 mv 命令 应用场景 1.每天采集的ng日志和埋点日志,在存储的时候建议使用外部表因为日志数据是采集程序实时采集进来的一旦被误删恢复起来非常麻烦。而且外部表方便数据的共享。 2.抽取过来的业务数据其实用外部表或者内部表问题都不大就算被误删恢复起来也是很快的如果需要对数据内容和元数据进行紧凑的管理, 那还是建议使用内部表 3.在做统计分析时候用到的中间表结果表可以使用内部表因为这些数据不需要共享使用内部表更为合适。并且很多时候结果分区表我们只需要保留最近3天的数据用外部表的时候删除分区时无法删除数据。 5.行式存储和列式存储有什么区别优劣 行存储将每条数据的所有列连续存储在一起一条记录接着一条记录 行存储中数据写入的成本较低适合数据有频繁更新的场景 通过使用索引能大幅提高行存储的数据查询速度 行存储是传统的数据组织形式更适合传统的 OLTP 系统OLTP数据库表的设计强调范式底层一般有多张有关联关系的窄表 而列存储有以下特点 列存储将多行记录的列连续存储在一起一列接着一列 由于连续存储在一起的列的数据类型都一样所以数据压缩率更高更省存储空间 列存储中数据查询的成本较低特别适合分析时只查询部分列的场景因为不需要扫描/读取不需要查询的列 列存储由于数据更新成本较高一般适合读多写少的场景但是不代表不能更新 列存储是新型数据组织形式更适合 OLAP分析型系统OLAP数据库表的设计强调反范式底层一般是星型模式的若干张事实表和维度表倾向使用大宽表
