网站制作长春,湖北手机网站建设,如何制作网页插件,北京有哪些网站建设公司好系列文章目录
大数据面试题专栏点击进入 文章目录 系列文章目录Hive 面试知识点全面解析一、函数相关#xff08;一#xff09;函数分类与特点#xff08;二#xff09;concat和concat_ws的区别 二、SQL 的书写和执行顺序#xff08;一#xff09;书写顺序#xff08;二…系列文章目录
大数据面试题专栏点击进入 文章目录 系列文章目录Hive 面试知识点全面解析一、函数相关一函数分类与特点二concat和concat_ws的区别 二、SQL 的书写和执行顺序一书写顺序二执行顺序 三、where 和 having 的区别一筛选时机二示例 四、表连接的方式及区别一连接方式二区别示例 五、Hive 的排序方式及区别一排序方式二区别 六、Hive 的体系架构一Hive 概述二主要组件 七、Hive 的表分类一管理表内部表二外部表三分区表四桶表 八、将数据导入Hive的方式一将文件数据导入Hive表中二直接将查询结果放入新创建的表中执行查询的创建三将查询结果导入已经存在表四将HDFS中已经存在文件导入新建的Hive表中五insert into 表名 values 九、开窗函数一开窗函数语法及分类二应用场景 十、Hive SQL 执行的方式十一、Hive 的自定义函数一函数类型及定义二应用场景及临时函数与永久函数的区别 十二、Hive 优化一开启本地模式二JVM 重用三设置并行执行四开启hive严格模式五通过mapjoin提高大表和小表的join执行速度、通过桶表的join解决大表和大表的join六列裁剪与分区裁剪七避免数据倾斜 十三、Hive 文件存储格式十四、Hive 序列化十五、Hive 中maptask和reducetask的数量十六、Hive中的mapjoin、commonjoin、smbjoin的特点与区别MapJoin原理及特点CommonJoin原理及特点smbJoin原理及特点 十七、Hive 中的压缩一Hive 在不同阶段的压缩 十八、Hive 如何导出数据一使用 ETL 工具二导出数据到本地目录三导出到 HDFS 的目录下 十九、Hive SQL 的行转列和列转行适用于 MySQL一示例表及数据二行转列操作三列转行操作 二十、如何实现 Hive 的动态分区一需求场景二实现步骤 二十一、Hive 表的字段类型二十二、Hive 的相关概念及特点总结一Hive 概述二Hive 与传统关系型数据库的区别三Hive 的架构及组件作用四Hive 的分区和桶五Hive 支持的连接方式及特点六Hive 中查询性能优化方法七Hive 中数据倾斜的相关问题 Hive 面试知识点全面解析
一、函数相关
一函数分类与特点
单行函数 特点一进一出。细分类型及示例 字符串函数 substring用于截取字符串的子串。例如substring(abcdefg, 2, 4)返回bcde表示从字符串abcdefg的第2个位置开始截取截取长度为4。concat连接多个字符串。例如concat(hello, world)返回helloworld将hello和world连接在一起。concat_ws与concat类似但可以指定连接字符串之间的分隔符。例如concat_ws(, , apple, banana, cherry)返回apple, banana, cherry使用, 作为分隔符连接三个字符串。 日期函数 datediff计算两个日期之间的天数差。例如datediff(2023-10-10, 2023-10-01)返回9表示从2023-10-01到2023-10-10相差9天。date_add在给定日期上增加指定的天数。例如date_add(2023-10-10, 5)返回2023-10-15在2023-10-10的基础上增加5天。 数值函数 round对数值进行四舍五入。例如round(3.14159, 2)返回3.14将3.14159保留两位小数四舍五入。floor向下取整。例如floor(3.9)返回3取不大于3.9的最大整数。ceil向上取整。例如ceil(3.1)返回4取不小于3.1的最小整数。cast用于类型转换。例如cast(123 as int)将字符串123转换为整数123。 流程控制函数 case when then end用于条件判断。例如select case when age 18 then 成年 else 未成年 end from users根据age字段的值判断是成年还是未成年。if简单的条件判断函数。例如if(condition, value1, value2)如果condition为真则返回value1否则返回value2。 集合函数 nvl用于处理空值。例如nvl(column_name, default_value)如果column_name为NULL则返回default_value否则返回column_name的值。 聚合函数 特点多进一出。示例 max求最大值。例如select max(salary) from employees返回employees表中salary列的最大值。min求最小值。avg求平均值。count计数。sum求和。collect_list将分组后的某个列值存放在一个数组中不去重。例如select collect_list(id) from table会将id列的值收集到一个数组中每个分组对应一个数组。collect_set与collect_list类似但会对集合中元素去重。 炸裂函数 特点一进多出。示例 explode将数组或映射中的元素拆分成多行。例如对于一个包含数组字段的表explode(array_column)可以将数组中的每个元素作为一行输出。posexplode除了将元素拆分成多行还会返回元素的位置索引。
二concat和concat_ws的区别
concat函数用于简单地连接多个字符串没有指定分隔符直接将字符串拼接在一起。concat_ws函数可以指定一个分隔符用于在连接字符串时插入分隔符使得连接后的字符串更具可读性和规范性。例如在连接多个单词组成一个句子时concat_ws( , hello, world)可以清晰地用空格分隔每个单词而concat(hello, world)则是直接连接成helloworld没有分隔。
二、SQL 的书写和执行顺序
一书写顺序
select.. from.. join.. group by.. having.. order by.. limit
二执行顺序
from.. join.. group by.. having.. select.. order by.. limit
例如在执行一个查询时首先从指定的数据源from读取数据然后进行表连接join操作接着按照group by指定的列进行分组对分组后的数据应用having筛选条件之后进行select列的选择和计算最后按照order by进行排序并根据limit限制返回的行数。
三、where 和 having 的区别
一筛选时机
where在分组之前对数据进行筛选它可以直接使用表中的任意字段进行条件判断但不能使用聚合函数。having在分组之后对分组结果进行筛选只能使用分组字段和聚合函数作为筛选条件不能使用分组字段以外其他原表字段。
二示例
假设我们有一个销售数据表包含字段product_id产品ID、quantity销售数量、date销售日期等。
如果我们要查询销售数量大于100的记录可以使用whereselect * from sales where quantity 100。如果我们要查询每个产品的总销售数量并找出总销售数量大于500的产品需要先分组再筛选此时使用havingselect product_id, sum(quantity) as total_quantity from sales group by product_id having total_quantity 500。
四、表连接的方式及区别
一连接方式
左连接Left Outer Join以左边表为主表如果主表中某条数据没有和右表数据连接上则左表这条数据也会出现在查询结果中右边表对应列输出null。例如员工表有一个员工没有部门编号如果使用左连接以员工表为主表则该员工会被查询出来对应的部门表的列为null。右连接Right Outer Join以右边表为主表右表中所有的行以及与左表匹配的行都会出现在结果中如果左表中没有匹配的行将返回NULL值。内连接Inner Join返回两个表中匹配的行即只返回两个表中共有的行没有连接上的行不会输出。全连接Full Outer Join返回两个表中所有的行并将不匹配的行填充为NULL值两张表都是主表。
二区别示例
假设有两张表table1包含id1和value1字段和table2包含id2和value2字段部分数据如下
table1id1value11a2b3c
table2id2value22x3y4z
左连接select * from table1 left join table2 on table1.id1 table2.id2结果
id1value1id2value21anullnull2b2x3c3y
右连接select * from table1 right join table2 on table1.id1 table2.id2结果
id1value1id2value22b2x3c3ynullnull4z
内连接select * from table1 inner join table2 on table1.id1 table2.id2结果
id1value1id2value22b2x3c3y
全连接select * from table1 full outer join table2 on table1.id1 table2.id2结果
id1value1id2value21anullnull2b2x3c3ynullnull4z
五、Hive 的排序方式及区别
一排序方式
order by全局排序 特点对应的 MapReduce 任务中只有一个reduceTask即使设置了set mapreduce.job.reduces大于1也不行。适用于分组聚合的结果数据量已经不大的情况下可以保证整个数据集的有序性。示例select * from table order by column_name会对table表中的数据按照column_name列进行全局排序。 sort by局部排序 特点对应的 MapReduce 任务可以有多个reduceTask每个reduceTask输出的数据是有序的。它只保证每个分区内的数据有序不保证全局有序。示例select * from table sort by column_name会在每个分区内对数据按照column_name列进行排序。 distribute by自定义分区 特点负责指定分区规则将某一类数据写入同一个reduceTask中。通常和sort by配合使用distribute by指定如何分区sort by指定分区内数据的排序方式。示例select * from table distribute by partition_column sort by sort_column首先根据partition_column进行分区然后在每个分区内按照sort_column进行排序。
二区别
order by对整个数据集进行排序确保所有数据按照指定列有序但在大数据集情况下可能导致性能问题因为只有一个reduceTask处理所有排序工作数据量大时可能会内存不足等。sort by在每个reduceTask内进行局部排序适合数据量较大且不需要全局严格有序的场景能提高处理效率多个reduceTask可以并行处理排序任务。distribute by主要用于将数据按照指定规则分区到不同的reduceTask结合sort by可以实现更灵活的数据分布和局部有序处理。
六、Hive 的体系架构
一Hive 概述
Hive是一个构建在Hadoop上的数据仓库软件它提供了类似SQL的查询语言使得用户可以用SQL来查询存放在Hadoop上的数据。Hive是一种结构化数据的存储和查询机制它可以将SQL语句转换为MapReduce任务在Hadoop上执行。
二主要组件
用户接口User Interface 支持多种方式包括CLI命令行界面用户可以直接在命令行中输入Hive命令执行SQL操作。JDBC/ODBC供其他程序通过JDBC或ODBC接口访问Hive方便与其他应用程序集成例如在Java程序中可以使用JDBC连接Hive进行数据查询和处理。WebUI浏览器访问提供了一个可视化的界面用户可以通过浏览器进行一些基本的操作和查询监控等。 元数据存储Metastore 存储关于数据的信息比如表的结构、分区、数据所在的HDFS路径等。通常使用关系型数据库如MySQL来存储元数据。它提供了一组API和服务用于查询、更新和管理Hive表的元数据以便不同的用户和进程可以共享和访问相同的元数据从而协调和共享表的结构和属性。 驱动器Driver 包含解析器、编译器、优化器和执行器。解析器将SQL字符串转换成抽象语法树AST并进行语法分析检查SQL语句的语法是否正确。编译器将AST编译生成逻辑执行计划确定如何执行查询例如选择使用哪些表连接算法等。优化器对逻辑执行计划进行优化例如选择最优的执行路径、调整执行顺序等以提高查询性能。执行器把逻辑执行计划转换成可运行的物理计划对于Hive来说就是MapReduce或Spark任务负责实际执行查询操作与Hadoop进行交互调度和管理任务的执行。 与Hadoop的关系 Hive底层依赖Hadoop的HDFS进行数据存储数据以文件的形式存储在HDFS中Hive表对应为HDFS上的指定目录。使用MapReduce或其他计算框架如Tez、Spark等进行数据计算根据执行计划将任务分解为MapReduce或其他任务在集群上执行。
七、Hive 的表分类
一管理表内部表
默认创建就是管理表管理表被删除时会将HDFS存储的数据删除。例如创建一个管理表employees
CREATE TABLE employees (id INT,name STRING,salary FLOAT
) STORED AS ORC;当删除这个表时HDFS中存储该表数据的目录也会被删除。
二外部表
创建表时使用external关键字如create external table 表名。外部表被删除时只会删除MySQL中对应的元数据信息并不会删除HDFS上表中的数据。外部表可以防止误删除实际数据推荐使用。如果外部表被删除重写创建表通过location指向原本的数据目录可以在创建完表的情况下直接查询表到中的数据。例如
CREATE EXTERNAL TABLE external_employees (id INT,name STRING,salary FLOAT
) LOCATION /user/data/external_employees STORED AS ORC;删除该外部表时HDFS上/user/data/external_employees目录中的数据不会被删除。
三分区表
Hive中的表对应为HDFS上的指定目录在查询数据时候默认会对全表进行扫描这样时间和性能的消耗都非常大。分区为HDFS上表目录的子目录数据按照分区存储在子目录中。如果查询的where字句中包含分区条件则直接从该分区去查找而不是扫描整个表目录合理的分区设计可以极大提高查询速度和性能。通常在管理大规模数据集的时候都需要进行分区比如将日志文件按天进行分区从而保证数据细粒度的划分使得查询性能得到提升。创建分区表语法可以使用PARTITIONED BY子句创建分区表。表可以包含一个或多个分区列如partitioned by (分区列类型,分区列类型..)。添加分区alter table 表名 add partition (分区字段值)。例如为一个日志表log_table添加一个分区dt2023-10-10alter table log_table add partition (dt2023-10-10)。删除分区alter table 表名 drop partition(分区字段值)如alter table log_table drop partition (dt2023-10-10)。
四桶表
桶表就是对指定列进行哈希(hash)计算然后会根据hash值进行切分数据将具有不同hash值的数据写到每个桶对应的文件中。创建桶表语法CLUSTERED BY(分区字段) INTO 桶的数量 BUCKETS。例如
CREATE TABLE bucket_table (id INT,data STRING
) CLUSTERED BY (id) INTO 5 BUCKETS STORED AS ORC;这会将bucket_table表按照id列进行哈希分桶共分为5个桶数据会根据id的哈希值分配到不同的桶文件中。桶表可以用于数据抽样、高效连接等操作例如在连接操作中如果两个表按照相同的列进行分桶并且桶的数量成倍数关系可以提高连接效率。
八、将数据导入Hive的方式
一将文件数据导入Hive表中
非分区表 load data local inpath 文件的路径 overwrite into table 表从本地文件系统加载数据到Hive表中会覆盖表中原有数据。例如load data local inpath /home/user/data.txt overwrite into table my_table; 这里假设data.txt是本地文件包含了适合my_table表结构的数据。执行该命令后data.txt中的数据将被加载到my_table表中并且如果my_table表中原来有数据会被新数据覆盖。load data inpath 文件的路径 overwrite into table 表从HDFS文件系统加载数据到Hive表中也会覆盖表中原有数据。例如load data inpath /user/hive/data/hive_data.txt overwrite into table my_table; 这里假设hive_data.txt是HDFS上的文件执行该命令后hive_data.txt中的数据将被加载到my_table表中同样会覆盖原有的数据。如果文件在HDFS上的路径不存在可能会导致加载失败需要确保文件路径的正确性。
二直接将查询结果放入新创建的表中执行查询的创建
create table[view] 表 as select 语句 where.. group by;例如
create table new_table as select id, name, sum(salary) as total_salary from employees group by id, name;这会创建一个名为new_table的新表并将employees表中按照id和name分组后计算的每个组的总工资插入到新表中。如果使用create view则会创建一个视图而不是实际的表视图是一个虚拟的表它基于查询结果定义可以像表一样进行查询但不存储实际数据。例如
create view employee_salary_view as select id, name, salary from employees where department sales;这里创建了一个名为employee_salary_view的视图它显示了sales部门员工的id、name和salary信息。视图可以方便地对数据进行筛选和展示而不需要实际创建一个新的表来存储数据当原始表employees的数据发生变化时视图中的数据也会相应更新。
三将查询结果导入已经存在表
insert into table 表名 select语句...将查询结果插入到已存在的表中如果表中已有数据会在原有数据基础上追加新数据。 例如 insert into table existing_table select id, name from new_employees;这里假设existing_table是已经存在的表new_employees是另一个表或查询结果集。执行该语句后new_employees表中的id和name列的数据将被插入到existing_table表中如果existing_table表原来有数据新数据会追加到原有数据之后。insert overwrite table 表名 select语句...会覆盖表中原有数据将查询结果插入到表中。 例如 insert overwrite table existing_table select id, name from new_employees;这次执行后existing_table表中原来的数据将被删除然后用new_employees表中的id和name列的数据替换。insert overwrite table 表名 partition(分区字段值) select语句...将查询结果插入到指定分区的表中如果分区不存在会自动创建分区如果表是分区表并覆盖该分区原有数据。 例如 insert overwrite table partition_table partition(dt2023-10-11) select id, name from new_employees where date2023-10-11;这里假设partition_table是一个分区表按照dt字段进行分区。执行该语句后如果dt2023 - 10 - 11这个分区不存在会自动创建该分区然后将new_employees表中date2023 - 10 - 11的数据插入到该分区中并且覆盖该分区原来可能存在的数据。如果分区已经存在只是数据会被新数据覆盖。
四将HDFS中已经存在文件导入新建的Hive表中
create table Xxx(...
)row format delimited
fields terminated by ,
location hdfs的表数据对应的目录;例如假设在HDFS的/user/data/hive_table_data目录下有一些以逗号分隔的文本数据文件要创建一个Hive表来读取这些数据
create table hive_table(id INT,name STRING,age INT
)row format delimited
fields terminated by ,
location /user/data/hive_table_data;这样创建的hive_table表会从指定的HDFS目录中读取数据并按照逗号分隔符解析每行数据将其映射到表的相应列中。在创建表时需要确保指定的列类型如INT、STRING等与数据文件中的实际数据格式相匹配否则可能会导致数据导入错误或解析失败。同时location指定的HDFS目录必须存在且有足够的权限让Hive读取数据。如果数据文件的格式不是逗号分隔或者有其他特殊的格式要求可以根据实际情况调整fields terminated by等参数或者使用更复杂的序列化和反序列化方式来处理数据。
五insert into 表名 values
insert into 表名(列名1,列名2,列名3) values(值1,值2,值3);这种方式用于向表中插入单行数据。例如向一个名为students的表包含id、name、grade列插入一条数据
insert into students(id, name, grade) values(1, Tom, A);需要注意的是每次执行该语句只能插入一行数据。如果要插入多行数据需要多次执行该语句。而且要确保插入的值的数据类型与表中列的数据类型相匹配否则会出现数据类型不兼容的错误。另外这种方式适用于手动插入少量数据的情况如果要插入大量数据使用其他更高效的数据导入方式如前面提到的load data等会更加合适。
九、开窗函数
一开窗函数语法及分类
语法 函数名() over(partition by.. order by... rows between x and y)其中partition by用于指定分区字段按照该字段对数据进行分组order by用于指定排序字段在每个分区内对数据进行排序rows between x and y用于定义窗口范围x和y可以是unbounded preceding窗口起点为分区的第一行、current row当前行、unbounded following窗口终点为分区的最后一行等也可以是具体的行数偏移量用于控制函数在窗口内的计算范围。 分类 排序开窗函数 row_number()根据某个字段分区在分区内进行排序然后增加序号列序号列从1开始然后递增。例如row_number() over(partition by department order by salary desc)会在每个部门内按照工资降序排列并为每个员工分配一个从1开始的序号。rank()与row_number()类似但当排序字段值相同时rank()会给相同值的行分配相同的序号而后续的序号会跳过相应的数量。例如如果有两个员工工资相同它们的序号都是2那么下一个不同工资的员工序号将是4。dense_rank()也在分区内排序并为行分配序号当排序字段值相同时序号是连续的。例如相同工资的员工序号依次递增不会跳过序号。 聚合开窗函数 sum()、avg()、max()、min()、count()等。例如sum(salary) over(partition by department order by hire_date) as running_total会在每个部门内按照入职日期排序计算截至到当前行的员工工资总和并将其作为running_total列显示在结果中。聚合开窗函数在分区内对数据进行逐行聚合order by指定了聚合的顺序不写order by时默认的定位框架是对分区内的第一行到最后一行进行整体聚合写了order by则是对分区内的数据从第一行到当前行数据进行聚合。 其他开窗函数 first_value()获取当前分区的第一行的某列的值。例如first_value(name) over(partition by class order by score desc)会在每个班级内按照成绩降序排列返回每个分区的第一个学生的名字。last_value()获取当前分区的最后一行的某列的值。lag()获取上一行中某列的值如果当前行没有上一行默认返回null。也可以指定获取上n行中某列的值并设置默认值如lag(列名, n, 默认值)。lead()与lag()相反作用是获取下一行某列的值。
二应用场景
数据分析和报表生成 在销售数据分析中可以使用row_number()为每个销售订单按照时间顺序分配一个序号方便查看订单的处理顺序。例如select order_id, order_date, customer_id, row_number() over(order by order_date) as order_sequence from sales_orders可以清晰地看到订单的先后顺序有助于分析销售趋势和订单处理效率。使用聚合开窗函数可以计算累计销售额、累计用户数等指标。比如在每月销售报表中通过sum(sales_amount) over(order by month)可以计算出每个月的累计销售额帮助企业了解销售业绩的增长趋势。 数据比较和差异分析 利用lag()和lead()函数可以比较当前行与上一行或下一行的数据。例如在股票价格分析中通过select date, price, lag(price, 1) over(order by date) as previous_price from stock_prices可以计算出每天股票价格与前一天价格的差异用于分析价格波动情况。在用户行为分析中可以使用first_value()和last_value()来获取用户在某个时间段内的首次和最后操作记录以便了解用户的行为模式和路径。
十、Hive SQL 执行的方式
hive hive交互式执行sql开发人员可以在交互式命令行编写sql执行。在命令行中输入hive进入交互式环境后就可以输入SQL语句并立即得到执行结果适合进行快速的数据查询和探索性分析。例如查询employees表中的所有数据 hive select * from employees;hive -e “sql” 本质上还是hive命令不过是直接传递sql执行没有交互。这种方式适用于在脚本中执行特定的Hive SQL语句例如在一个bash脚本中执行Hive SQL查询并将结果输出到文件中 hive -e select * from employees where departmentsales output.txthive -f sql文件 将hive sql写入一个文件中直接执行该文件中的sql语句。例如有一个名为query.hive的文件内容如下 SELECT count(*) FROM table_name WHERE condition;可以通过hive -f query.hive来执行文件中的SQL语句。这种方式适合执行一系列相关的SQL操作便于管理和维护复杂的查询逻辑。hiveserver2 beeline 需要先启动hiveserver2服务然后通过beeline客户端命令连接上hiveserver2然后执行sql。hiveserver2是一个允许远程客户端连接到Hive的服务beeline是一个用于连接hiveserver2的客户端工具。例如启动hiveserver2后在另一个终端中输入beeline -u jdbc:hive2://localhost:10000 -n username -p password其中localhost是服务器地址10000是默认端口username和password是登录凭据连接到hiveserver2然后可以在beeline命令行中执行Hive SQL语句这种方式适用于在分布式环境中多个客户端远程连接到Hive进行查询和操作。
十一、Hive 的自定义函数
一函数类型及定义
Hive可以自定义单行函数、聚合函数、炸裂函数。 定义单行函数通过继承UDF重写evaluate方法。例如创建一个自定义的字符串拼接函数 import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;public class CustomConcatUDF extends UDF {public Text evaluate(Text str1, Text str2) {if (str1 null || str2 null) {return null;}return new Text(str1.toString() str2.toString());}
}定义炸裂函数继承GenericUDTF重写process方法。例如创建一个将字符串拆分为单个字符的炸裂函数 import org.apache.hadoop.hive.ql.exec.UDFArgumentException;
import org.apache.hadoop.hive.ql.metadata.HiveException;
import org.apache.hadoop.hive.ql.udf.generic.GenericUDTF;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspectorFactory;
import org.apache.hadoop.hive.serde2.objectinspector.StructObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.primitive.PrimitiveObjectInspectorFactory;public class StringExplodeUDTF extends GenericUDTF {Overridepublic StructObjectInspector initialize(ObjectInspector[] args) throws UDFArgumentException {if (args.length! 1 ||!(args[0].getCategory() ObjectInspector.Category.PRIMITIVE ((PrimitiveObjectInspector) args[0]).getPrimitiveCategory() PrimitiveObjectInspector.PrimitiveCategory.STRING)) {throw new UDFArgumentException(StringExplodeUDTF expects a single string argument.);}StructObjectInspector soi ObjectInspectorFactory.getStandardStructObjectInspector(new String[]{char},new ObjectInspector[]{PrimitiveObjectInspectorFactory.writableStringObjectInspector});return soi;}Overridepublic void process(Object[] args) throws HiveException {String input args[0].toString();for (char c : input.toCharArray()) {forward(new Object[]{String.valueOf(c)});}}Overridepublic void close() throws HiveException {// No need to do anything here for this simple example}
}将项目打成jar包mvn clean package上传到linux服务器如果是定义永久函数需要上传到HDFS。通过create function 函数名的方式创建函数即可。例如创建上面的自定义字符串拼接函数add jar /path/to/custom_function.jar;
create function custom_concat as CustomConcatUDF;二应用场景及临时函数与永久函数的区别
应用场景 单行函数生成随机数函数的参数是生成随机数的最大值例如函数名(10),作用是生成1 - 10的随机数。可以用于数据模拟、测试等场景比如在生成测试数据时为每个记录生成一个随机的数值在指定范围内。表中存储用户开会员的开始时间和结束时间统计每个月的会员人数。通过自定义炸裂函数将一个用户开启会员的时间进行炸裂得到用户会员月份。例如 1001 2022 - 09 - 05 2023 - 09 - 05。生成炸裂结果就是1001 2022 - 09、1001 2022 - 10、… 。这样可以方便地对每个月的会员情况进行统计和分析用于会员活跃度分析、业务决策等。 临时函数与永久函数的区别 临时函数只在当前会话中有效当会话结束时函数定义失效。通常在交互式查询或临时的数据分析任务中使用方便快速定义和使用一些特定的函数而不需要在全局范围内进行管理。例如在一个hive交互式会话中定义了一个临时函数来处理当前查询中的特定数据转换会话结束后该函数不能在其他会话中使用。永久函数定义后在整个Hive环境中都可用所有用户都可以使用该函数除非被删除。永久函数需要将函数的jar包上传到HDFS如果是在分布式环境中并且在Hive中进行注册。适用于在多个不同的查询和任务中频繁使用的自定义函数方便统一管理和维护函数定义提高代码的可复用性。例如一个企业内部定义了一个用于数据清洗的永久函数在多个不同的数据分析项目和日常数据处理任务中都可以使用该函数。
十二、Hive 优化
一开启本地模式
默认本地模式是关闭的开启之后默认情况下当输入的数据量小于128M且文件个数小于4时Hive可以通过本地模式在单台机器上处理所有的任务。对于小数据集执行时间可以明显被缩短。例如对于一些简单的查询或测试任务数据量较小开启本地模式可以快速得到结果而不需要启动分布式的MapReduce任务减少了任务启动和调度的开销。
二JVM 重用
默认一个JVM上最多可以顺序执行的task数目属于同一个Job是1。也就是说一个task启一个JVM这样JVM的效率就比较低需要JVM重用。JVM重用就是一个虚拟机开启以后执行多个task任务再关闭。大大提高执行效率。例如在一个包含多个MapReduce任务的Hive作业中如果每个任务都单独启动一个JVM会有大量的JVM启动和关闭开销而通过JVM重用可以减少这种开销提高整体作业的执行速度。
三设置并行执行
hive会将一个查询转化成一个或者多个阶段Stage。默认情况下Hive一次只会执行一个阶段。不过某个特定的job可能包含众多的阶段而这些阶段可能并非完全互相依赖的也就是说有些阶段是可以并行执行的这样可能使得整个job的执行时间缩短。例如一个复杂的数据分析任务包含数据读取、数据转换和数据聚合等多个阶段如果数据转换和数据聚合阶段之间没有依赖关系可以设置它们并行执行从而提高整体的执行效率。
四开启hive严格模式
对分区表查询必须使用分区过滤这可以避免全表扫描提高查询效率。例如如果有一个分区表按照日期分区查询时如果不指定日期分区条件在严格模式下会报错强制用户使用分区过滤来减少数据读取量。不允许出现笛卡尔积查询因为笛卡尔积查询通常会产生大量的数据可能导致性能问题和资源浪费在严格模式下可以避免意外的笛卡尔积查询。使用order by的时候需要使用limit这是为了防止order by对全量数据进行排序时可能导致的内存溢出等问题通过limit限制排序的数据量提高查询的安全性和性能。
五通过mapjoin提高大表和小表的join执行速度、通过桶表的join解决大表和大表的join
mapjoin原理及优势 MapJoin是小表缓存并发送到各个节点直接在MapTask阶段完成join操作没有Shuffle的过程。小表缓存并发送到各个节点以map的形式存储key是连接条件value是其他值。MapTask任务执行的时候只需要根据split逻辑切片读取大表数据读取大表的数据按照列分隔符拆分获取到连接条件作为key从map集合中获取可以连接的value然后整合成一条结果输出。其优势主要体现在以下几点 执行速度快避免了Shuffle阶段带来的网络传输和数据排序等开销大大提高了join操作的速度。特别是对于大表和小表连接的场景效果显著。例如在处理大规模的用户行为数据和一个相对较小的用户属性表连接时MapJoin可以快速完成连接操作减少执行时间。内存利用高效由于小表可以完全放入内存进行缓存相比于在Reduce阶段进行连接操作减少了对磁盘的频繁读写提高了数据处理效率。但需要注意小表的大小不能超过内存的限制否则可能会导致内存溢出问题。简化数据处理流程不需要复杂的Shuffle和Reduce过程配置降低了任务的复杂性和出错的可能性。对于开发人员来说使用MapJoin可以更方便地实现大表和小表的连接操作提高开发效率。 通过桶表的join解决大表和大表的joinSort Merge Bucket Join - SMBJoin 原理 首先了解一下分桶分桶相对于分区来说是更加细粒度的数据组织方式。分桶会将一个分区下的数据或者未分区全表数据按照分桶字段求其hash值然后对分桶数量取余决定其所在的桶那么分区下的数据文件数或者全表文件数就是分桶的个数。分桶还有一个重要的条件就是对分桶字段进行排序每一个桶里面的数据按照分桶字段进行升序或者降序组织那么其整体就是一个并归排序操作。大表关联大表时使用分而治之思想 map join。对关联两表做成以join条件为分桶字段的表并按照同样的排序方式组织分桶数据两表的分桶个数必须成整数倍数关系。在表数据关联的时候将小表的数据加载到内存中开启大表桶个数的map任务并且将小表桶数据加载到与大表对应桶位置对应相同或者成倍数关系的map任务的内存中去然后以map join的方式执行。 优势 高效处理大表连接适用于大表和大表连接的场景尤其是在数据量巨大且可能存在数据倾斜的情况下。通过分桶和map join的结合将大表连接转化为多个小的map join操作规避了Shuffle操作带来的性能问题减少了数据倾斜的影响提高了连接效率。优化数据读取和处理由于数据按照桶进行组织和排序在连接时可以更快速地定位和匹配相关数据减少不必要的数据扫描和处理。例如在进行两个大规模的交易表连接时按照交易日期分桶后进行SMBJoin可以快速找到对应日期桶中的数据进行连接提高查询性能。提高资源利用率通过合理设置分桶个数和大小可以更好地利用集群资源避免某些节点负载过高或过低的情况。同时将小表数据加载到内存中进行map join可以充分利用内存资源加快数据处理速度。
六列裁剪与分区裁剪
列裁剪 sql语句在进行查询的时候不要全部查询使用哪个字段就查询哪个字段不要动不动就*。例如只需要查询employees表中的id和name字段时使用select id, name from employees而不是select * from employees。这样做的好处是 减少数据读取量对于大规模的表只读取需要的列可以显著减少从磁盘或存储系统中读取的数据量。如果一个表有很多列但查询只需要其中的几列读取所有列会浪费大量的I/O资源和网络带宽而列裁剪可以避免这种不必要的读取。提高查询性能减少了数据在网络和内存中的传输量以及查询处理过程中的数据处理量。这可以加快查询的执行速度特别是在处理海量数据时效果更为明显。例如在一个数据仓库中对一个包含数百列的事实表进行查询如果只选择需要的列进行查询能够大大提高查询的响应时间提升用户体验。节省存储资源在一些情况下尤其是对于存储资源有限的环境减少不必要列的读取和处理可以间接节省存储资源。因为不需要将所有列的数据加载到内存中进行处理从而可以释放更多的内存空间用于其他操作。 分区裁剪 需要哪个分区就查询哪个分区不要全查。比如一个按日期分区的日志表只查询某一天的日志数据时使用分区条件进行筛选如select * from log_table where partition_date2023-10-10而不是查询整个表的所有分区数据。这样做的优势在于 精准数据定位能够快速准确地定位到需要查询的数据所在的分区避免扫描不必要的分区数据。对于按日期、地区等维度进行分区的表通过分区裁剪可以直接找到符合条件的分区大大减少了数据扫描范围。例如在一个按月份分区的销售数据表中查询某个月的销售数据时只需要扫描对应月份的分区而不需要扫描其他月份的分区提高了查询效率。提高查询性能减少了数据读取量和处理时间因为只需要处理特定分区的数据。这对于大规模数据集尤其重要能够显著缩短查询执行时间。同时也减少了对存储系统的I/O压力提高了整个系统的性能。方便数据管理和维护在数据管理方面分区裁剪使得数据的管理更加灵活和高效。可以根据业务需求对不同分区的数据进行独立的管理、备份、删除等操作。例如对于过期的分区数据可以方便地进行清理而不影响其他有用分区的数据。
七避免数据倾斜
阐述什么是数据倾斜 在分布式计算场景下大量的数据集中在某一个节点而导致一个任务的执行时间变长。大数据组件处理海量数据不患多而患不均。例如在一个group by操作中如果某个键的值在数据集中出现的频率非常高那么在进行分组和聚合时这个键对应的任务可能会处理大量的数据而其他键对应的任务处理的数据量相对较少导致整个作业的执行时间取决于这个处理大量数据的任务从而出现数据倾斜现象。数据倾斜可能发生在MapReduce的Map阶段或Reduce阶段在Reduce阶段更为常见。例如在对用户行为数据按照用户ID进行分组统计时如果某些用户的行为数据量远远大于其他用户那么在Reduce阶段处理这些大量数据的任务就会成为性能瓶颈导致整个作业执行时间延长。 怎么发现任务出现了数据倾斜现象 在yarn上可以查看task的执行情况如果一个阶段中有些task很快执行完了有些task迟迟无法结束或者运行时间减少则大概率出现了数据倾斜的现象。例如在Hive任务的yarn监控界面中可以看到每个MapReduce任务的执行进度和时间如果发现某些任务的进度明显落后于其他任务并且持续很长时间没有进展就可能是数据倾斜导致的。此外还可以通过查看任务的日志信息可能会有关于数据倾斜的提示或错误信息例如某个任务处理的数据量过大、内存不足等。还可以通过一些性能监控工具或指标来判断如任务的CPU使用率、内存使用率等如果某个任务的资源使用率异常高也可能是因为数据倾斜导致的。 描述1个数据倾斜的情景及解决方案 情景1select count(distinct user_id) from t_user; 解决方案 设置提高reduceTask的个数例如set mapreduce.job.reduces 10可以根据数据量和集群资源适当调整这样可以将数据分散到更多的reduce任务中进行处理减轻单个任务处理的数据量。增加reduceTask的个数可以使数据在reduce阶段更均匀地分布避免某个任务处理过多的数据。但要注意不要设置过多的reduceTask以免导致任务启动和调度开销过大。select count(*) from(select sex from t_person group by sex) t1; 可以先对数据进行一些预处理比如按照某个字段这里是sex进行分组后再进行计数可能会减少数据倾斜的影响。通过这种预处理方式可以将数据按照一定的规则进行分组使得每个组的数据量相对较为均匀然后再进行计数操作减少数据倾斜对最终结果的影响。 情景2在group by分组的时候某个key过多。 解决方案将key打散给key增加随机前缀分组之后再将前缀去掉然后再分组。例如对于一个用户行为表按照用户id进行group by时如果某些用户的行为数据量非常大导致倾斜可以给用户id添加一个随机前缀如random_prefix_user_id进行分组和聚合操作后再去掉前缀得到最终结果。这样可以将数据随机分散到不同的reduce任务中避免某个reduce任务处理过多的数据。同时也可以结合使用其他优化策略如增加reduceTask的个数等进一步提高处理效率。 情况3在join表连接的时候可能出现数据倾斜。 解决方案 mapjoin对于大表和小表连接当小表足够小可以放入内存时使用mapjoin将小表缓存到内存中在map阶段直接与大表进行连接避免reduce阶段的数据倾斜。例如select /* MAPJOIN(small_table) */ * from big_table join small_table on big_table.key small_table.key;在查询语句中通过/* MAPJOIN(small_table) */提示Hive使用mapjoin。这种方式适用于大表和小表连接的场景能够有效避免reduce阶段因数据分布不均匀导致的倾斜问题提高连接效率。大表打散、小表扩容对大表的连接键进行哈希分区将数据分散到多个reduce任务中同时对小表进行复制或扩展使其与大表的分区数相匹配然后进行连接。例如对大表按照连接键hash(key) % num_partitions进行分区小表复制num_partitions份分别与大表的各个分区进行连接。这样可以使数据在reduce阶段更均匀地分布减少倾斜。通过这种方式可以将大表和小表的数据进行更合理的划分和匹配提高连接的性能和稳定性。smbjoinSort Merge Bucket Join若关联量表的数据量都很大使用分而治之的思想。首先对关联两表做成以join条件为分桶字段的表并按照同样的排序方式组织分桶数据两表的分桶个数必须成整数倍数关系。在表数据关联的时候将小表的数据加载到内存中开启大表桶个数的map任务并且将小表桶数据加载到与大表对应桶位置对应相同或者成倍数关系的map任务的内存中去然后以map join的方式执行。这种方式可以将大表和大表的连接转换为多个小的map join操作规避shuffle操作减少数据倾斜和提高连接效率。例如对于两个大规模的交易表按照交易ID进行分桶后使用SMBJoin可以有效地处理大表连接时的数据倾斜问题提高查询性能。
十三、Hive 文件存储格式
分类及特点 Hive的存储格式分为两大类一类纯文本文件一类是二进制文件存储。Hive支持的存储数据的格式主要有TEXTFILE、SEQUENCEFILE、ORC、PARQUET。TEXTFILE和SEQUENCEFILE的存储格式都是基于行存储的ORC和PARQUET是基于列式存储的。 各格式特点及适用场景 TEXTFILE文本文件 特点适用于存储结构简单的数据易于读写和处理。文件未经过压缩存储空间占用较大。数据以文本形式存储每行记录是一个完整的字符串字段之间通常使用分隔符如逗号、制表符等分隔。适用场景当数据需要被外部工具或人员直接查看和编辑时较为方便适合小规模数据或对数据存储格式要求不高的场景例如一些临时数据文件或需要快速验证数据内容的情况。 SEQUENCEFILE序列文件 特点适用于大规模数据的读写操作提供高压缩率和高性能。将数据以键值对的形式存储可以分割和合并方便并行处理。它支持压缩如Snappy、Gzip等压缩算法可以有效减少存储空间和网络传输开销。适用场景在大规模数据处理中需要高效存储和读取数据并且对数据的分割和合并操作有需求的场景如日志数据的存储和处理以及需要对数据进行分布式并行处理的任务。 ORC文件Optimized Row Columnar 特点适用于大规模数据的读取和查询操作提供更高的压缩率和查询性能。对数据进行了更高效的编码和压缩支持复杂的数据类型和嵌套结构。它采用了列式存储和索引等技术能够快速读取和处理大规模数据集中的特定列并且在查询时可以只读取需要的列减少不必要的数据读取。适用场景对于数据仓库中的大规模结构化数据特别是需要频繁进行查询和分析的场景能够显著提高查询性能和存储效率。例如企业的财务数据、销售数据等分析场景。 PARQUET文件 特点适用于大规模数据的读取和查询操作提供更高的压缩率和列式存储优势。与ORC类似按列存储数据能够快速读取和处理大规模数据集中的特定列。它具有良好的兼容性和可扩展性被广泛应用于各种大数据处理框架和工具中。适用场景在大数据分析和处理中需要高效存储和查询大规模结构化数据的场景尤其在与其他大数据工具如Hive、Spark等集成的项目中PARQUET文件格式是一个常用的选择。例如在数据湖项目中用于存储和分析各种结构化数据。
十四、Hive 序列化
概念解释 Hive的序列化和反序列化指select过程读取磁盘上的数据创建row对象这种从磁盘读取文件并转换为对象的过程称之为反序列化底层用到了InputFormat。insert过程将内存中的row对象存储为磁盘上的数据这个过程是序列化的过程底层用到了OutputFormat。 具体的序列化方式 默认分隔符\001、自定义分隔符 row format delimited用于指定行格式的分隔方式。fields terminated by ,本质是LazySimpleSerde表示字段之间使用逗号分隔。例如创建一个表时指定字段分隔符为逗号create table my_table (id int, name string) row format delimited fields terminated by ,; csv分隔符逗号 row format serde org.apache.hadoop.hive.serde2.OpenCSVSerde;使用OpenCSVSerde来处理csv格式的数据逗号是默认的分隔符。这种方式适用于处理标准的csv文件它可以正确解析和处理csv文件中的字段和记录。 json分隔符 row format serde org.apache.hadoop.hive.serde2.JsonSerDe;使用JsonSerDe来处理json格式的数据。对于包含json数据的文件或字段使用这个序列化器可以方便地将json数据解析到Hive表的列中或者将Hive表中的数据序列化为json格式输出。 正则表达式分隔符分隔符 || 、数据中包含分隔符 张三,20,我喜欢,篮球 row format serde org.apache.hadoop.hive.serde2.RegexSerDe with serdeproperties (input.regex ^([^,]),([^,]),([^,],?[^,]),(.)$);使用RegexSerDe并通过serdeproperties指定正则表达式来解析数据。这里的正则表达式用于匹配和提取数据中的不同部分将其映射到表的列中。例如对于上面的数据“张三,20,我喜欢,篮球”正则表达式可以将其解析为四个部分分别对应表中的四个列。这种方式适用于数据格式不固定或需要复杂解析的情况但需要编写合适的正则表达式来准确提取数据。
十五、Hive 中maptask和reducetask的数量
maptask个数的确定 maptask个数取决于split逻辑切片的个数在mapreduce中split逻辑切片和表中文件大小和文件个数、blockSize等参数有关。Hive底层读取表默认使用的是CombineHiveInputFormat会对小文件进行合并。set mapreduce.input.fileinputformat.split.maxsize100;这里的100可以根据实际情况调整CombineHiveInputFormat底层逻辑切片计算的过程如下 如果文件大小大于split.maxsize的2倍则形成一个独立的逻辑切片。例如一个文件大小为200MBsplit.maxsize为100MB那么这个文件会形成一个独立的逻辑切片。如果文件大小大于split.maxsize但是小于split.maxsize的2倍则拆分成两个平均大小的虚拟存储。比如一个文件大小为150MB会拆分成两个75MB左右的虚拟存储。如果文件大小小于split.maxsize则形成一个虚拟存储。例如一个文件大小为50MB会形成一个虚拟存储。判断虚拟存储的文件大小是否大于split.MaxSize如果大于等于则形成一个逻辑切片如果虚拟存储的文件大小小于split.maxsize则和下一个虚拟文件进行合并直到大于split.maxsize共同形成一个切片。例如有三个文件分别大小为30MB、40MB、50MB首先它们都会形成虚拟存储然后第一个和第二个虚拟存储合并因为30MB 40MB 100MB再和第三个虚拟存储合并因为30MB 40MB 50MB 100MB最终形成一个逻辑切片。 reducetask个数的确定 set mapreduce.job.reduces-1; N min(参数2总输入数据量/参数1)其中参数1set hive.exec.reducers.bytes.per.reducer256000000表示每个reducer处理的数据字节数参数2set hive.exec.reducers.max1009表示reducer的最大数量。例如如果总输入数据量为500MBhive.exec.reducers.bytes.per.reducer为256MB那么理论上需要的reducer个数为500MB / 256MB ≈ 2向上取整但如果hive.exec.reducers.max设置为10那么最终reducer的个数为2取min(2, 10)。 set mapreduce.job.reduces3直接指定reducer的个数为3这种方式适用于对reducer个数有明确要求的情况比如已知数据分布和集群资源情况希望固定reducer的数量来控制任务的并行度和输出文件的数量等。
十六、Hive中的mapjoin、commonjoin、smbjoin的特点与区别
MapJoin原理及特点
原理 小表缓存并发送到各个节点直接在MapTask阶段完成join操作没有Shuffle的过程。小表以map的形式存储key是连接条件value是其他值。MapTask任务执行时根据split逻辑切片读取大表数据读取大表的数据后按照列分隔符拆分获取到连接条件作为key从map集合中获取可以连接的value然后整合成一条结果输出。 特点 执行速度快因为避免了Shuffle阶段减少了网络传输和数据排序等开销。例如在处理大量数据的连接操作时MapJoin可以显著缩短执行时间特别是当小表与大表连接且小表数据量相对较小时优势更为明显。适用于小表和大表连接的场景当小表足够小可以完全放入内存时效果最佳但如果小表过大可能导致内存不足问题。所以在使用MapJoin时需要对小表的大小进行评估和控制。例如对于一个包含少量产品信息的小表和一个大规模的销售记录大表进行连接MapJoin可以快速完成连接操作提高查询效率。对内存有一定要求因为需要将小表缓存到内存中如果小表过大可能导致内存不足问题。在实际应用中需要根据集群的内存资源情况合理选择是否使用MapJoin以及合适的小表大小。可以通过调整内存参数等方式来优化MapJoin的性能但也要注意不要超出内存限制导致任务失败。
CommonJoin原理及特点
原理 在reduce阶段的join底层会产生shuffle。MapTask根据split逻辑切片读取A表和B表因为MapTask读取的都是局部数据所以无法在MapTask直接产生join。MapTask底层map方法将连接条件作为key其他值作为value这样A表和B表需要连接在一起的数据通过shuffle会进入同一个reduceTask中此处需要知道就是key相同hash值相同和reduceTask个数求余结果相同这样相同key值它们底层计算的分区号就相同所以会进入同一个reduceTask因为在MapTask阶段对A表和B表的数据进行了不同的标记所以可以根据标记进行区分并且将A表和B表的数据join在一起输出。 特点 适用于各种大小表的连接场景相对比较通用它不需要像MapJoin那样对小表的大小有严格限制可以处理不同规模的表连接。例如在一些数据处理场景中可能无法事先确定表的大小关系或者需要连接的表大小较为接近此时CommonJoin可以作为一种较为稳妥的选择。由于涉及Shuffle过程在数据量较大且分布不均匀时可能会出现数据倾斜问题导致某些reduceTask执行时间过长当连接键的值在数据集中分布不均匀时可能会导致某些reduceTask处理的数据量远远大于其他reduceTask从而影响整体性能。例如在对用户行为数据按照用户ID进行连接时如果某些用户的行为数据量特别大就可能出现数据倾斜。为了解决这个问题可能需要采取一些数据倾斜处理措施如调整reduceTask的数量、对数据进行预处理等。对于内存的要求相对MapJoin较低因为不需要将整个小表缓存到内存中它主要依赖Shuffle过程在reduce阶段进行数据的连接操作对内存的压力相对较小。但在处理大规模数据时仍然需要考虑Shuffle过程中的网络传输和reduce阶段的资源消耗等问题可能需要对相关参数进行优化配置以提高性能。
smbJoin原理及特点
原理 Sort Merge Bucket Join分桶表Join。首先了解一下分桶分桶相对于分区来说是更加细粒度的数据组织方式分桶会将一个分区下的数据或者未分区全表数据按照分桶字段求其hash值然后对分桶数量取余决定其所在的桶那么分区下的数据文件数或者全表文件数就是分桶的个数。分桶还有一个重要的条件就是对分桶字段进行排序每一个桶里面的数据按照分桶字段进行升序或者降序组织那么其整体就是一个并归排序操作。大表关联大表时使用分而治之思想 map join对关联两表做成以join条件为分桶字段的表并且按照同样的排序方式组织分桶数据两表的分桶个数必须成整数倍数关系。在表数据关联的时候将小表的数据加载到内存中开启大表桶个数的map任务并且将小表桶数据加载到与大表对应桶位置对应相同或者成倍数关系的map任务的内存中去然后以map join的方式执行。 特点 适用于大表和大表连接的场景尤其是在数据量巨大且可能存在数据倾斜的情况下通过分桶和map join的结合能够有效地处理大表连接时的数据倾斜问题提高连接效率。例如在处理两个大规模的交易表连接时smbJoin可以根据交易ID等连接条件进行分桶将数据合理划分到不同的桶中然后进行连接操作避免了数据倾斜对性能的影响。通过分桶和map join的结合将大表连接转化为多个小的map join操作规避shuffle操作减少了数据在网络上的传输和排序开销进一步提高了性能。每个小的map join操作可以在本地节点上快速完成然后将结果进行合并。这种方式充分利用了分桶和map join的优势适用于对性能要求较高的大表连接场景。在数据处理过程中需要对表进行合理的分桶设计和配置包括确定合适的分桶字段、分桶数量以及保证两表的分桶个数成整数倍数关系等。这需要对数据的特点和分布有一定的了解并且可能需要进行一些实验和调优来找到最佳的配置。同时在将小表数据加载到内存时也需要注意内存的使用情况避免内存溢出等问题。
综上所述mapjoin适用于小表和大表连接且对内存有一定容忍度的场景以换取快速的执行速度commonjoin较为通用但在数据量大且分布不均时可能面临数据倾斜问题smbjoin则专门针对大表和大表连接且可能存在数据倾斜的情况进行了优化通过分桶和map join的巧妙结合提高了连接性能和处理效率。在实际使用中需要根据具体的数据情况和业务需求选择合适的连接方式。
十七、Hive 中的压缩
一Hive 在不同阶段的压缩
在 map 阶段压缩 map阶段的设置就是在MapReduce的shuffle阶段对mapper产生的中间结果数据压缩。在这个阶段优先选择一个低CPU开销的算法。因为map阶段要将数据传递给reduce阶段使用压缩可以提高传输效率。例如可以使用Snappy或LZO等压缩算法它们在提供较好压缩比的同时对CPU的性能影响相对较小。可以通过设置相关参数来启用map阶段的压缩如mapreduce.map.output.compresstrue开启压缩和mapreduce.map.output.compress.codecorg.apache.hadoop.io.compress.SnappyCodec指定压缩算法为Snappy。 单条 SQL 语句的中间结果进行压缩 单条SQL语句的中间结果是指两个MR一条SQL语句可能需要通过多个MR进行计算之间的临时数据。对这些中间结果进行压缩可以减少磁盘读写和网络传输的开销提高查询性能。可以在Hive的配置文件中设置相关参数来启用中间结果的压缩例如hive.exec.compress.intermediatetrue开启中间结果压缩和hive.intermediate.compression.codecorg.apache.hadoop.io.compress.GzipCodec指定压缩算法为Gzip。不同的压缩算法有不同的特点Gzip压缩比高但压缩和解压缩速度相对较慢适合对中间结果进行长期存储或对网络带宽要求较高的场景而Snappy等算法压缩和解压缩速度快适合对中间结果进行快速处理的场景。 在 reduce 阶段的压缩 在reduce阶段对输出结果进行压缩可以减少存储占用空间和网络传输的数据量。可以使用与map阶段类似的压缩算法和参数设置如mapreduce.reduce.output.compresstrue开启压缩和mapreduce.reduce.output.compress.codecorg.apache.hadoop.io.compress.BZip2Codec指定压缩算法为BZip2。BZip2算法在压缩比和压缩质量上有较好的表现但压缩速度相对较慢适合对存储占用空间要求较高且对压缩时间不太敏感的场景。在实际应用中需要根据数据特点、集群资源和性能要求等因素选择合适的压缩算法和参数设置以平衡压缩效果和计算资源消耗。
十八、Hive 如何导出数据
一使用 ETL 工具
可以使用datax、sqoop等ETL工具将hive表数据导出到关系型数据库。例如使用sqoop可以将Hive表中的数据导出到MySQL数据库中命令示例如下
sqoop export --connect jdbc:mysql://localhost:3306/mydb --username myuser --password mypassword --table destination_table --export-dir /user/hive/warehouse/source_table这里将Hive中/user/hive/warehouse/source_table表的数据导出到MySQL数据库的destination_table表中需要指定MySQL的连接信息、用户名和密码等。datax也类似通过配置相应的任务文件可以实现从Hive到各种数据源包括关系型数据库、文件系统等的数据导出。
二导出数据到本地目录
insert overwrite local directory /root/out/00 select * from t_user;将Hive表t_user中的数据导出到本地目录/root/out/00下覆盖本地目录中已有的文件。如果本地目录不存在会自动创建。hive -e select * from test_hive.t_user /root/out/a.txt通过hive -e执行SQL语句将查询结果追加到本地文件/root/out/a.txt中。这种方式适合在脚本中使用可以将Hive查询结果与其他本地文件处理操作结合起来。
三导出到 HDFS 的目录下
insert overwrite directory /root/out/00 select * from t_user;将Hive表t_user中的数据导出到HDFS目录/root/out/00下覆盖HDFS目录中已有的文件。这个目录是在HDFS文件系统中的路径需要有相应的权限才能进行写入操作。注意事项 在导出数据到HDFS目录时要确保目标目录存在且有足够的权限。如果目录不存在可以先使用hadoop fs -mkdir命令创建目录。对于大规模数据的导出要考虑HDFS的存储容量和网络带宽等因素避免因数据量过大导致导出过程出现问题。同时可以根据实际需求选择合适的压缩格式来减少数据存储空间和传输时间例如在导出时可以使用orc或parquet等压缩格式的表并在导出语句中指定相应的压缩选项如果支持的话。
十九、Hive SQL 的行转列和列转行适用于 MySQL
一示例表及数据
假设有以下t1表和t2表
t1表原始数据行式存储 表结构 姓名科目成绩 数据 | 张三 | 语文 | 98 | | 张三 | 数学 | 92 | | 张三 | 英语 | 96 | | 李四 | 语文 | 88 | | 李四 | 数学 | 78 | | 李四 | 英语 | 89 | t2表目标格式列式存储 表结构 姓名语文数学英语 数据 | 张三 | 98 | 92 | 96 | | 李四 | 88 | 78 | 89 |
二行转列操作
思路根据姓名分组使用case when判断如果是语文返回成绩否则返回null最终对该列进行sum聚合其他数学、英语列的输出道理一样。因为在分组后对于每个姓名通过case when根据科目选择对应的成绩然后sum函数会将这些成绩进行汇总由于同一姓名和科目只有一个成绩所以这里的sum实际上就是选择该成绩对于其他科目对应的列不符合条件的会返回null但在sum计算时会忽略null值最终得到每个姓名对应的各科成绩列。SQL 语句示例适用于 Hive 或 MySQL 等支持类似语法的数据库
SELECTname,SUM(CASE WHEN subject 语文 THEN score ELSE NULL END) AS 语文,SUM(CASE WHEN subject 数学 THEN score ELSE NULL END) AS 数学,SUM(CASE WHEN subject 英语 THEN score ELSE NULL END) AS 英语
FROMt1
GROUP BYname;三列转行操作
思路查询t2表姓名和语文、查询t2表姓名和数学、查询t2表姓名和英语最终通过UNION ALL联合输出。也就是将t2表中的列式数据按照科目拆分成行对于每个姓名和对应的科目及成绩生成一条新的记录。SQL 语句示例适用于 Hive 或 MySQL 等支持类似语法的数据库
SELECT name, 语文 AS subject, 语文 AS score FROM t2
UNION ALL
SELECT name, 数学 AS subject, 数学 AS score FROM t2
UNION ALL
SELECT name, 英语 AS subject, 英语 AS score FROM t2;二十、如何实现 Hive 的动态分区
一需求场景
假设要查询的数据有郑州、武汉、深圳等城市需要将这批用户数据写入不同的城市分区下。例如有一个用户表包含用户信息和所在城市字段要根据城市将用户数据分别存储到对应的分区中以便后续可以根据城市进行快速查询和分析。
二实现步骤
设置 Hive 的动态分区为非严格模式 在Hive中默认的动态分区模式可能是严格模式为了能够顺利进行动态分区插入需要将其设置为非严格模式。可以通过在Hive命令行或配置文件中设置以下参数来实现 set hive.exec.dynamic.partition.modenonstrict;在严格模式下Hive对动态分区插入有一些限制例如要求分区列必须是最后一列等设置为非严格模式后可以更灵活地进行动态分区插入操作但也需要注意数据的准确性和安全性避免误操作导致数据混乱。 在insert语句中操作 insert后边partition里面不指定分区列的值在select最后输出的字段中输出分区列的值。例如假设有一个表user_data包含字段id、name、city等要将数据按照城市分区插入到分区表中可以使用以下语句 INSERT INTO TABLE partition_table PARTITION (city)
SELECT id, name, city FROM user_data;在这个语句中partition_table是目标分区表city是分区列。在SELECT语句中选择了id、name和city字段Hive会根据city字段的值自动将数据插入到对应的城市分区中。如果user_data表中有来自郑州、武汉、深圳等城市的数据那么在执行这个INSERT语句后partition_table表中会相应地创建郑州、武汉、深圳等分区并将对应城市的数据存储到相应分区中。
二十一、Hive 表的字段类型
基本数据类型 string用于存储字符串值例如姓名、地址等文本信息。double存储双精度浮点数适用于需要高精度小数表示的数据如科学计算中的数值、财务数据中的金额等。decimal用于精确的小数表示相比于double它可以更精确地控制小数位数和精度适合处理货币、百分比等需要精确数值的场景。date存储日期值格式通常为YYYY-MM-DD用于表示日期信息如订单日期、生日等。int存储整数范围一般为-2147483648到2147483647适用于整数类型的数据如数量、年龄等。bigint存储大整数范围更大适用于需要存储较大整数值的数据如身份证号码、订单编号等。 复杂数据类型 array数组类型用于存储一组相同数据类型的元素。例如可以用于存储一个用户的多个兴趣爱好arraystring表示存储字符串类型的兴趣爱好数组。map映射类型存储键值对其中键和值可以是不同的数据类型。比如可以用于存储用户的属性信息mapstring, int表示键为字符串如属性名称值为整数如属性值的映射。struct结构体类型用于存储包含多个不同类型字段的复合结构。例如可以定义一个struct来表示一个学生的信息包括姓名字符串、年龄整数、成绩数组或其他复杂类型等字段。
这些字段类型在Hive中用于定义表的结构以适应不同的数据存储和查询需求。在设计表结构时需要根据数据的特点和分析需求选择合适的字段类型以提高数据存储效率和查询性能。例如如果一个字段只需要存储简单的文本信息string类型可能是合适的选择如果需要存储一组相关的数据可以考虑使用array或struct类型来组织数据对于需要进行快速键值查找的数据可以使用map类型。同时不同的存储格式如ORC、Parquet等对这些字段类型的支持和处理方式也可能有所不同在实际应用中需要综合考虑。
二十二、Hive 的相关概念及特点总结
一Hive 概述
定义 Hive是一个构建在Hadoop之上的数据仓库基础架构它提供了类似SQL的查询语言HiveQL用于查询和分析存储在Hadoop分布式文件系统HDFS中的大规模数据集。 主要功能 将结构化的数据文件映射为一张数据库表提供了一种类似于传统数据库的表结构概念使得用户可以方便地对大规模数据进行组织和管理。提供高级查询和分析功能让熟悉SQL的用户可以方便地处理大数据。用户可以使用HiveQL编写查询语句进行数据筛选、聚合、连接等操作而无需深入了解底层的MapReduce编程细节。例如用户可以通过简单的SQL语句查询出满足特定条件的数据或者对数据进行分组统计等操作。
二Hive 与传统关系型数据库的区别
数据存储方面 Hive数据存储在HDFS中可存储海量数据能够处理PB级甚至更大规模的数据。这是因为HDFS是为大规模分布式数据存储设计的具有良好的扩展性和容错性。而传统数据库将数据存储在本地磁盘存储数据量相对较小一般适用于处理GB或TB级别的数据。 执行引擎方面 Hive的执行引擎是MapReduce、Tez、Spark等分布式计算框架。它将SQL查询转换为这些框架的任务来执行通过分布式计算来处理大规模数据。传统数据库使用自己的查询处理引擎通常是基于磁盘的索引和查询优化技术更适合处理小规模数据的快速事务处理。 执行速度方面 Hive处理速度相对较慢尤其是对于实时性要求较高的查询。因为它涉及到将SQL转换为分布式任务的开销以及在大规模数据上的分布式计算时间。传统数据库执行速度较快更适用于实时事务处理如在线交易系统等能够快速响应单个事务的查询和更新操作。 数据更新方面 Hive不支持频繁的数据更新操作它主要侧重于数据的批量处理和分析。对数据的修改通常需要通过重新加载或覆盖整个数据集来实现。传统数据库支持频繁的数据插入、更新和删除操作能够满足实时数据变更的需求例如在业务系统中不断更新用户信息、订单状态等。 可扩展性方面 Hive支持水平扩展可以通过增加节点来扩展存储和计算能力以应对不断增长的数据量和计算需求。传统数据库通常支持垂直扩展即通过升级硬件设备如增加内存、CPU核心等来提高性能但对水平扩展的支持相对较弱在大规模数据处理场景下可能会遇到性能瓶颈。
三Hive 的架构及组件作用
用户接口User Interface CLI命令行界面提供了一种直接在终端输入Hive命令进行操作的方式适合熟悉命令行操作的用户进行快速的数据查询和管理。例如用户可以通过CLI执行SELECT、INSERT等SQL语句以及进行表的创建、删除等操作。JDBC/ODBC使得其他程序可以通过标准的JDBC或ODBC接口连接到Hive方便与各种应用程序集成。例如在Java应用程序中可以使用JDBC驱动连接到Hive执行SQL查询并获取结果集用于数据处理和分析。这为在企业级应用中集成Hive提供了便利使得不同的系统可以共享和处理Hive中的数据。WebUI浏览器访问提供了一个可视化的界面用户可以通过浏览器进行一些基本的操作和查询监控等。通过WebUI用户可以更直观地查看Hive的相关信息如表结构、查询执行进度等对于不熟悉命令行操作的用户来说更加友好。同时管理员也可以通过WebUI进行一些系统配置和管理操作。 元数据存储Metastore 负责管理和存储Hive表的元数据包括表名、表所属的数据库、表的拥有者、列/分区字段、表的类型是否是外部表、表的数据所在目录等信息。它就像是Hive数据的“目录”记录了数据的结构和位置等关键信息。使用关系型数据库如MySQL来存储元数据提供了一组API和服务用于查询、更新和管理Hive表的元数据。不同的用户和进程可以通过这些API共享和访问相同的元数据从而协调和共享表的结构和属性。例如当一个用户创建了一个新的Hive表时元数据存储会记录该表的相关信息其他用户在查询该表时可以通过元数据存储获取到表的结构和位置等信息以便正确地进行数据操作。 驱动器Driver
解析器将 SQL 字符串转换成抽象语法树 AST并进行语法分析。它会检查 SQL 语句的语法是否正确例如关键字的使用、表名和列名的合法性等。如果 SQL 语句语法错误解析器会抛出相应的错误信息以便用户进行修正。解析器的作用是将用户输入的 SQL 语句转换为 Hive 内部可以理解和处理的形式为后续的查询优化和执行做好准备。编译器将抽象语法树 AST 编译成逻辑执行计划和物理执行计划。逻辑执行计划是一个高层次的描述它表示了查询的逻辑步骤和操作顺序。物理执行计划则是具体的执行步骤包括如何在分布式环境中执行查询如使用哪些 MapReduce 任务、如何进行数据的分区和排序等。编译器的作用是将逻辑执行计划转换为可执行的物理执行计划以便在 Hadoop 集群上实际执行查询。执行器负责执行物理执行计划协调和管理 Hive 查询的执行过程。执行器会与 Hadoop 集群进行交互启动相应的 MapReduce 任务或其他执行引擎监控任务的执行进度处理任务的失败和重试等。执行器的作用是确保查询能够正确地在分布式环境中执行并返回结果给用户。
四Hive 的分区和桶
分区Partition概念、作用及管理 概念是将表的数据按照某个列通常是时间、地区等具有较高区分度的列划分为多个子目录或文件。例如一个销售数据表可以按照销售日期进行分区每天的数据存储在一个单独的分区中。作用 提高查询性能和过滤效率通过只扫描特定分区的数据可以减少数据的读取量。例如如果要查询某一天的销售数据只需要扫描对应日期分区的数据而不需要扫描整个表。更灵活地管理和组织数据可以根据业务需求按照不同的维度进行分区方便数据的管理和维护。例如按照地区分区可以方便地对不同地区的数据进行独立的分析和处理。 管理操作 创建表时定义分区列可以使用PARTITIONED BY子句在创建表时定义分区列。例如CREATE TABLE sales_table (id INT, amount DECIMAL) PARTITIONED BY (date DATE);创建了一个销售表按照日期进行分区。添加分区使用ALTER TABLE命令来添加分区如ALTER TABLE sales_table ADD PARTITION (date2023-10-10);向销售表中添加一个日期为2023-10-10的分区。删除分区通过ALTER TABLE命令的DROP PARTITION子句删除分区例如ALTER TABLE sales_table DROP PARTITION (date2023-10-10);删除对应日期的分区。 桶Bucketing概念、作用及创建 概念是一种数据分桶技术它将表的数据根据某个列的哈希值分成固定数量的桶。例如对于一个用户表可以按照用户ID的哈希值进行分桶将数据分布到不同的桶中。作用 提高查询性能通过将相关数据存储在同一个桶中可以减少数据的扫描量。在进行查询和连接操作时只需要扫描相关的桶而不是整个表。例如在进行连接操作时如果两个表按照相同的列进行分桶并且桶的数量成倍数关系可以提高连接效率因为可以快速定位到需要连接的桶。方便进行数据的抽样和聚合操作由于数据按照桶进行组织可以更方便地对数据进行抽样例如只抽取部分桶的数据进行分析。同时在进行聚合操作时也可以针对每个桶进行局部聚合然后再进行全局聚合提高聚合效率。 创建操作可以使用CLUSTERED BY子句在创建表时定义分桶列并使用SORTED BY子句来指定排序列。例如CREATE TABLE user_table (id INT, name STRING) CLUSTERED BY (id) INTO 4 BUCKETS SORTED BY (name);创建了一个用户表按照id列进行分桶共分为4个桶并且在每个桶内按照name列进行排序。
五Hive 支持的连接方式及特点
内连接Inner Join 特点返回两个表中匹配的行即只返回两个表中共有的行。它基于连接条件进行匹配只有在两个表中都满足连接条件的行才会被包含在结果集中。适用于需要获取两个表中关联数据的场景例如在一个订单表和客户表进行内连接时可以获取到有订单的客户的详细信息以及对应的订单信息。示例用法SELECT * FROM table1 INNER JOIN table2 ON table1.key table2.key;这里假设table1和table2有一个共同的列key作为连接条件查询会返回两个表中key值相等的行的所有列数据。 左外连接Left Outer Join 特点返回左表中所有的行以及与右表匹配的行。如果右表中没有匹配的行将返回NULL值。以左表为基础保证左表的所有行都在结果集中即使在右表中没有对应的匹配行。适用于需要获取左表全部数据以及与右表相关联数据的场景例如在一个员工表和部门表进行左外连接时即使某个员工没有所属部门在部门表中没有匹配记录该员工的信息也会在结果集中显示其部门相关的列值为NULL。示例用法SELECT * FROM table1 LEFT OUTER JOIN table2 ON table1.key table2.key;这里table1是左表查询会返回table1的所有行以及与table2中key值匹配的行如果table2中没有匹配的行对应的列将填充NULL。 右外连接Right Outer Join 特点返回右表中所有的行以及与左表匹配的行。如果左表中没有匹配的行将返回NULL值。与左外连接相反以右表为基础确保右表的所有行都出现在结果集中。适用于需要获取右表全部数据以及与左表相关联数据的场景例如在一个学生课程表和成绩表进行右外连接时即使某些课程没有学生成绩记录在成绩表中没有匹配记录该课程的信息也会在结果集中显示成绩相关的列值为NULL。示例用法SELECT * FROM table1 RIGHT OUTER JOIN table2 ON table1.key table2.key;这里table2是右表查询会返回table2的所有行以及与table1中key值匹配的行如果table1中没有匹配的行对应的列将填充NULL。 全外连接Full Outer Join 特点返回两个表中所有的行并将不匹配的行填充为NULL值。它包含了左外连接和右外连接的结果即无论左表还是右表中的行只要在其中一个表中有记录就会在结果集中出现。如果在另一个表中没有匹配的行对应的列将填充NULL。适用于需要获取两个表中所有数据包括没有匹配关系的数据的场景例如在一个用户表和用户权限表进行全外连接时可以得到所有用户的信息以及他们对应的权限信息如果某个用户没有权限记录或者某个权限没有对应的用户相关列值将为NULL。示例用法SELECT * FROM table1 FULL OUTER JOIN table2 ON table1.key table2.key;查询会返回table1和table2中所有的行对于没有匹配的行相应的列用NULL填充以保证结果集中包含两个表的所有数据。
六Hive 中查询性能优化方法
数据存储格式优化 选择合适的存储格式如ORC或Parquet它们具有较高的压缩率和查询性能。ORC文件对数据进行了更高效的编码和压缩支持复杂的数据类型和嵌套结构能够快速读取和处理大规模数据集中的特定列。Parquet文件也具有类似的列式存储优势与ORC相比在一些场景下可能具有更好的兼容性和性能表现。例如对于一个数据仓库中的大规模事实表使用ORC或Parquet格式可以大大减少数据存储占用的空间并且在查询时能够快速定位和读取需要的列数据提高查询效率。相比之下TEXTFILE等文本格式存储效率较低不适合大规模数据的高效存储和查询。 分区设计 根据查询的常用条件合理设计分区减少数据扫描范围。例如如果经常需要按照时间进行数据查询可以将表按照时间字段进行分区这样在查询特定时间范围内的数据时只需要扫描相应的分区而不是整个表。合理的分区设计可以极大地提高查询性能特别是对于数据量巨大的表。同时要注意分区的数量不宜过多以免增加元数据管理的负担和影响查询性能。 分桶操作 对数据进行分桶可以提高连接操作的性能。通过对指定列进行哈希计算并分桶可以将相关数据存储在同一个桶中在进行连接等操作时可以快速定位到需要处理的数据桶减少数据的扫描量。例如在进行两个大表的连接操作时如果两个表按照相同的列进行分桶并且桶的数量成整数倍数关系可以利用桶表的特性提高连接效率类似于使用索引来加速数据的匹配和连接过程。 合理设置并行度 根据集群资源和数据量调整Map和Reduce的任务数量。如果任务数量设置不合理可能导致资源浪费或任务执行效率低下。例如对于数据量较大的任务可以适当增加Map和Reduce的任务数量以充分利用集群的计算资源提高数据处理的并行度。但也要注意不要设置过多的任务以免造成任务启动和调度的开销过大。可以通过设置相关的参数如mapreduce.job.maps和mapreduce.job.reduces来调整任务数量同时需要根据集群的硬件配置和实际数据情况进行优化。 利用缓存 对于频繁使用的中间结果或小表可以使用缓存来提高查询速度。Hive提供了一些缓存机制例如可以将一些常用的查询结果或小表缓存到内存中下次查询时如果命中缓存就可以直接从内存中获取数据避免重复计算和读取磁盘数据从而提高查询性能。可以通过设置相关的参数或使用Hive的缓存功能接口来实现缓存的管理和使用。但要注意缓存的大小和有效期等设置以避免内存占用过高或缓存数据过期导致的错误结果。 优化 SQL 语句 避免使用不必要的子查询、复杂的函数等尽量简化SQL逻辑。复杂的SQL语句可能会导致查询优化器难以生成高效的执行计划从而影响查询性能。例如尽量使用简单的JOIN操作代替复杂的子查询连接避免使用过于复杂的函数嵌套和计算合理使用索引如果有的话等。同时要注意SQL语句的书写规范和可读性以便于后续的维护和优化。对于一些大型的查询可以逐步优化和测试查看执行计划和性能指标找出性能瓶颈并进行优化。
七Hive 中数据倾斜的相关问题
数据倾斜的定义和影响 定义在分布式计算中某些任务处理的数据量远远大于其他任务导致这些任务的执行时间过长影响整个作业的执行效率。例如在一个group by操作中如果某个键的值在数据集中出现的频率非常高那么在进行分组和聚合时处理这个键的任务可能会需要处理大量的数据而其他键对应的任务处理的数据量相对较少就会出现数据倾斜现象。影响数据倾斜会导致整个作业的执行时间延长因为作业的完成时间取决于最慢的任务。它可能会使某些节点的资源利用率过高而其他节点处于空闲或低负载状态影响集群的整体性能和资源利用率。在严重的情况下可能会导致任务超时失败影响数据处理的及时性和准确性。 发现数据倾斜的方法 在yarn上可以查看task的执行情况如果一个阶段中有些task很快执行完了有些task迟迟无法结束或者运行时间明显较长则大概率出现了数据倾斜的现象。例如通过yarn的监控界面或相关的任务管理工具可以看到每个MapReduce任务的执行进度和时间消耗。如果发现某些任务的进度条长时间停滞不前而其他任务已经完成或接近完成就需要考虑是否存在数据倾斜问题。此外还可以查看任务的日志信息可能会有关于数据倾斜的提示或错误信息例如某个任务处理的数据量过大等。 解决数据倾斜的方法 单表GROUP BY操作导致的数据倾斜 使用加随机数的方式可以在group by的字段上加上随机数将数据随机分散到不同的reduce任务中进行处理然后再去除随机数进行最终的聚合。例如对于select count(distinct user_id) from t_user;可以修改为select count(distinct (user_id rand())) from t_user;这里的rand()函数可以根据实际情况选择合适的随机数生成方式然后在后续处理中再去掉随机数部分进行计数。双重聚合先进行局部聚合再进行全局聚合。例如先在每个map任务中对数据进行初步的分组和聚合然后将初步聚合的结果发送到reduce任务中进行最终的聚合。这样可以减少每个reduce任务处理的数据量缓解数据倾斜。配置参数set hive.groupby.skewindatatrue这会使Hive在执行group by操作时自动进行数据倾斜优化它会将数据随机分发到多个reduce任务中进行处理然后再进行合并和聚合。过滤出倾斜的key单独处理可以先找出导致数据倾斜的关键key然后将包含这些key的数据单独提取出来进行特殊处理例如使用单独的reduce任务或者采用其他优化策略进行处理处理完后再与其他正常数据的处理结果进行合并。 JOIN操作导致的数据倾斜 mapjoin对于大表和小表连接当小表足够小可以放入内存时使用mapjoin避免reducer。在map阶段直接将小表缓存到内存中并与大表进行连接操作这样可以避免在reduce阶段因数据分布不均匀导致的倾斜问题。例如select /* MAPJOIN(small_table) */ * from big_table join small_table on big_table.key small_table.key;在查询语句中通过/* MAPJOIN(small_table) */提示Hive使用mapjoin。大表打散、小表扩容对大表的连接键进行哈希分区将数据分散到多个reduce任务中同时对小表进行复制或扩展使其与大表的分区数相匹配然后进行连接。例如对大表按照连接键hash(key) % num_partitions进行分区小表复制num_partitions份分别与大表的各个分区进行连接。这样可以使数据在reduce阶段更均匀地分布减少倾斜。增加Reducer的个数可以通过调整相关参数如mapreduce.job.reduces增加reducer的数量从而将数据更分散地分配到多个reducer任务中进行处理减轻单个reducer处理大量数据的压力。但要注意不要设置过多的reducer以免导致任务启动和调度开销过大。自定义分区器根据数据的特点自定义分区器使得数据在reduce阶段能够更均匀地分布到各个reduce任务中。例如根据业务逻辑将数据按照特定的规则进行分区而不是简单地使用默认的哈希分区方式。这样可以更好地控制数据的分布避免数据倾斜。
以上内容对 Hive 的相关知识点进行了全面的梳理和详细的解释涵盖了函数、SQL 执行、表连接、排序、体系架构、表分类、数据导入导出、开窗函数、自定义函数、优化、数据倾斜、存储格式、序列化、任务数量、连接方式特点、动态分区、字段类型等多个方面。
