厦门建网站多少钱,莆田建站培训,手机网站APP网络推广商城网站,海口网站开发公司电话文章目录 一、实战概述二、提出任务三、完成任务#xff08;一#xff09;准备数据文件1、在虚拟机上创建文本文件2、将文本文件上传到HDFS指定目录 #xff08;二#xff09;实现步骤1、启动Hive Metastore服务2、启动Hive客户端3、基于HDFS文件创建外部表4、查询单词表一准备数据文件1、在虚拟机上创建文本文件2、将文本文件上传到HDFS指定目录 二实现步骤1、启动Hive Metastore服务2、启动Hive客户端3、基于HDFS文件创建外部表4、查询单词表所有单词成一列5、基于查询结果创建视图6、基于视图进行分组统计7、基于嵌套查询一步搞定 一、实战概述 在本次实战中我们任务是在大数据环境下使用Hive进行词频统计。首先我们在master虚拟机上创建了一个名为test.txt的文本文件内容包含一些关键词的句子。接着我们将该文本文件上传到HDFS的/hivewc/input目录作为数据源。 随后我们启动了Hive Metastore服务和Hive客户端为数据处理做准备。在Hive客户端中我们创建了一个名为t_word的外部表该表的结构包含一个字符串类型的word字段并将其位置设置为HDFS中的/hivewc/input目录。这样Hive就可以直接读取和处理HDFS中的文本数据。 为了进行词频统计我们编写了一条Hive SQL语句。该语句首先使用explode和split函数将每个句子拆分为单个单词然后通过子查询对这些单词进行计数并按单词进行分组最终得到每个单词的出现次数。 通过执行这条SQL语句我们成功地完成了词频统计任务得到了预期的结果。这个过程展示了Hive在大数据处理中的强大能力尤其是对于文本数据的分析和处理。同时我们也注意到了在使用Hive时的一些细节如子查询需要取别名等这些经验将对今后的数据处理工作有所帮助。
二、提出任务
文本文件test.txt
hello hadoop hello hive
hello hbase hello spark
we will learn hadoop
we will learn hive
we love hadoop spark进行词频统计结果如下
hadoop 3
hbase 1
hello 4
hive 2
learn 2
love 1
spark 2
we 3
will 2三、完成任务
一准备数据文件
1、在虚拟机上创建文本文件
在master虚拟机上创建test.txt文件
2、将文本文件上传到HDFS指定目录
在HDFS上创建/hivewc/input目录 将test.txt文件上传到HDFS的/hivewc/input目录
二实现步骤
注意必须要先启动Hadoop服务
1、启动Hive Metastore服务
我们需要启动Hive Metastore服务这是Hive的元数据存储服务。执行命令hive --service metastore
2、启动Hive客户端
执行命令hive 一旦我们看到命令提示符hive就表示我们已经成功进入Hive客户端。
3、基于HDFS文件创建外部表 基于/hivewc/input下的文件创建外部表t_word执行命令CREATE EXTERNAL TABLE t_word(line string) LOCATION /hivewc/input; 在MySQL的hive数据库的TBLS表里我们可以查看外部表t_word对应的记录。
4、查询单词表所有单词成一列 查看单词表记录执行语句SELECT line FROM t_word; 按空格拆分行数据执行语句SELECT split(line, ) FROM t_word; 让单词成一列执行语句SELECT explode(split(line, )) AS word FROM t_word;
5、基于查询结果创建视图 基于查询结果创建了一个视图v_word执行语句CREATE VIEW v_word AS SELECT explode(split(line, )) AS word FROM t_word; 查询视图的全部记录执行语句SELECT word FROM v_word;
6、基于视图进行分组统计
基于视图分组统计操作执行语句SELECT word, COUNT(*) FROM v_word GROUP BY word;
7、基于嵌套查询一步搞定 为了更简便地实现相同的效果使用嵌套查询SELECT word, COUNT(*) FROM (SELECT explode(split(line, )) AS word FROM t_word) AS v_word GROUP BY word; 注意这里在嵌套查询中我们为子查询取了一个别名这个别名是v_word。 这条SQL语句是在处理一个名为t_word的表该表中有一个word字段该字段存储的是由空格分隔的单词字符串。 首先使用explode(split(line, )) AS word从t_word表中的每一行word字段创建一个新的临时表别名v_word。这里split(word, )函数将每个word字段的内容按照空格分割成多个单词并生成一个多行的结果集每行包含一个单词。 explode函数则将这个分割后的数组转换为多行记录即每一行对应原字符串中的一个单词。 然后通过GROUP BY word对新生成的临时表v_word中的word字段进行分组即将所有相同的单词归为一组。 最后使用COUNT(*)统计每个单词分组的数量结果将展示每个单词及其在原始数据集中出现的次数。 整个查询的目的在于统计t_word表中各个单词出现的频率。 通过这一系列的操作我们深入学习了Hive的外部表创建、数据加载、查询、视图创建以及统计分析的操作。希望大家能够在实际应用中灵活运用这些知识。
