推广展示类网站有哪些,上海网站建设润滋,绵阳 网站开发,长沙网站建站公司2023年全国职业院校技能大赛中职组大数据应用与服务赛项题库参考答案陆续更新中#xff0c;敬请期待… 武汉唯众智创科技有限公司 2024 年 2 月 联系人#xff1a;辜渝傧13037102709
题号#xff1a;试题01
模块三#xff1a;业务分析与可视化
#xff08;一#xff0…2023年全国职业院校技能大赛中职组大数据应用与服务赛项题库参考答案陆续更新中敬请期待… 武汉唯众智创科技有限公司 2024 年 2 月 联系人辜渝傧13037102709
题号试题01
模块三业务分析与可视化
一任务一数据可视化
1子任务一数据分析 1在 comm 数 据 库 下 创 建 一 个 名 为 dws_behavior_log的外部表如果表已存在则先删除分区字段为dt即根据日期进行分区另外要求指定表的存储路径为HDFS的/behavior/dws/dws_behavior_log目录存储文件类型为“orc”文件的压缩类型为“snappy”字段类型如下表所示 表6 字段类型表 答
DROP TABLE IF EXISTS dws_behavior_log;
create external table comm.dws_behavior_log(client_ip string,device_type string,type string,device string,url string,province string,city string) partitioned by (dt string) STORED AS orc location /behavior/dws/dws_behavior_log tblproperties (orc.compressSNAPPY);2启动Hive的动态分区功能并将Hive设置为非严格模式 答
set hive.exec.dynamic.partitiontrue;
set hive.exec.dynamic.partition.modenostrict;3使用insert overwrite … select …子句将dwd_behavior_log表中数据插入分区表dws_behavior_log中并实现根据dt进行动态分区 答insert overwrite table dws_behavior_log PARTITION (dt) select * from dwd_behavior_log; 4查看dws_behavior_log表的所有现有分区、前3行数据并统计统计表数据总行数 答
SHOW PARTITIONS dws_behavior_log;
SELECT * FROM dwd_behavior_log LIMIT 3;
SELECT count(*) FROM dws_behavior_log;5在comm数据库下创建一个名为dim_date的外部表如果表已存在则先删除另外要求指定表的存储路径为HDFS的/behavior/dim/dim_date目录字段分隔符为 “\t” 建 表 时 添 加 TBLPROPERTIES (‘skip.header.line.count’‘1’) 语句让Hive读取外表数据时跳过文件行首表头字段类型如下表所示 表7 字段类型表 答
DROP TABLE IF EXISTS comm.dim_date;
create external table comm.dim_date(date_id string,week_id string,week_day string,day string,month string,quarter string,year string,is_workday string,holiday string) row format delimited fields terminated by \t location /behavior/dim/dim_date TBLPROPERTIES (skip.header.line.count1);6在comm数据库下创建一个名为dim_area的外部表如果表已存在则先删除另外要求指定表的存储路径为HDFS的/behavior/dim/dim_area目录字段分隔符为 “\t”字段类型如下表所示 表8 字段类型表 答
drop table if exists comm.dim_area;
create external table comm.dim_area(city string,province string,area string) row format delimited fields terminated by \t location /behavior/dim/dim_area;7使用load data子句将本地/root/eduhq/data目录下的“dim_date_2023.txt”和“dim_area.txt”文件分别加载到外部表dim_date和dim_area中 答
load data local inpath /root/eduhq/data/dim_date_2023.txt into table comm.dim_date;
load data local inpath /root/eduhq/data/dim_area.txt into table comm.dim_area;8分别查看外部表dim_date和dim_area的前3行数据 答
select * from comm.dim_date limit 3;
select * from comm.dim_area limit 3;9分别统计外部表dim_date和dim_area数据总行数 答
select count(*) from comm.dim_date;
select count(*) from comm.dim_area;10统计不同省份用户访问量将统计结果导出到本地文件系统的/root/eduhq/result/ads_user_pro目录下并指定列的分隔符为逗号特别注意因为省份是随机获取的所以结果会有所差异
insert overwrite local directory /root/eduhq/result/ads_user_pro ROW FORMAT DELIMITED FIELDS TERMINATED BY , select province,count(*) from comm.dim_area group by province;11统计不同时间段的网页浏览量将统计结果导出到本地文件系统的/root/eduhq/result/ads_user_hour 目录下并指定列的分隔符为逗号 答insert overwrite local directory /root/eduhq/result/ads_user_hour ROW FORMAT DELIMITED FIELDS TERMINATED BY , select *,DATE_FORMAT(time, yyyy-MM-dd HH) AS hour from comm.xxx group by hour; 12不同网站访客的设备类型统计将统计结果导出到本地文件系统的/root/eduhq/result/ads_visit_mode目录下并指定列的分隔符为逗号 答insert overwrite local directory /root/eduhq/result/ads_visit_mode ROW FORMAT DELIMITED FIELDS TERMINATED BY , select url,device_type from comm.xxx group by device_type; 13不同网站的上网模式统计将统计结果导出到本地文件系统的/root/eduhq/result/ads_online_type 目录下并指定列的分隔符为逗号 答insert overwrite local directory /root/eduhq/result/ads_online_type ROW FORMAT DELIMITED FIELDS TERMINATED BY , select url,type from comm.xxx group by type; 2子任务二数据可视化 1使用Pyecharts库绘制中国地图以直观展示不同省份用户访问量分布情况 ⚫文件名ads_user_pro.py ⚫文件存放地址/root/eduhq/python/ ⚫数据目录/root/eduhq/result/ads_user_pro目录 ⚫背景地址/root/eduhq/images/img_1.png ⚫图表名称不同省份用户访问量分布图.html ⚫图表存放地址/root/eduhq/html/ 2使用Pyecharts库绘制一个带时间轴的柱形图以直观展示不同经济大区用户的访问量统计情况 ⚫文件名ads_user_region.py ⚫文件存放地址/root/eduhq/python/ ⚫数据目录 /root/eduhq/result/ads_user_region目录 ⚫背景地址/root/eduhq/images/img_2.png ⚫图表名称不同经济大区用户访问量统计柱形图 .html ⚫图表存放地址/root/eduhq/html/ 3使用Pyecharts绘制网页浏览量统计折线图直观展示不同时间段内的访问量变化趋势 ⚫文件名ads_user_hour.py ⚫文件存放地址/root/eduhq/python/ ⚫数据目录/root/eduhq/result/ads_user_hour目录 ⚫背景地址/root/eduhq/images/img_3.png ⚫图表名称不同时间段网页浏览量统计曲线图.html ⚫图表存放地址/root/eduhq/html/ 4使用Pyecharts绘制网页浏览量统计折线图直 观展示节假日和工作日不同时间段内的访问量变化趋势 ⚫文件名ads_hol_work_user.py ⚫文件存放地址/root/eduhq/python/ ⚫数据目录 /root/eduhq/result/ads_hol_work_user目录 ⚫背景地址/root/eduhq/images/img_3.png ⚫图表名称节假日和工作日各时间段网页浏览量统计曲线图.html ⚫图表存放地址/root/eduhq/html/ 5使用Pyecharts绘制堆积柱形图直观地展示访客在不同设备类型上的访问次数情况 ⚫文件名ads_visit_mode.py ⚫文件存放地址/root/eduhq/python/ ⚫数据目录/root/eduhq/result/ads_visit_mode
目录 ⚫背景地址/root/eduhq/images/img_2.png ⚫图表名称网站访客设备类型统计堆积柱形图 .html ⚫图表存放地址/root/eduhq/html/ 6使用Pyecharts绘制堆积柱形图直观地展示访客在不同上网模式下的访问次数情况 ⚫文件名ads_online_type.py ⚫文件存放地址/root/eduhq/python/ ⚫数据目录/root/eduhq/result/ ads_online_type目录 ⚫背景地址/root/eduhq/images/img_2.png ⚫图表名称网站访客上网模式统计堆积柱形图 .html ⚫图表存放地址/root/eduhq/html/ 7使用Pyecharts绘制词云图直观地展示不同域名用户访问情况 ⚫文件名ads_user_domain.py ⚫文件存放地址/root/eduhq/python/ ⚫数据目录/root/eduhq/result/ads_user_domain 目录 ⚫背景地址/root/eduhq/images/img_2.png ⚫图表名称不同域名用户访问统计词云.html ⚫图表存放地址/root/eduhq/html/
二任务二业务分析
1统计每天不同经济大区用户访问量将统计结果导出到本地文件系统的/root/eduhq/result/ads_user_region目录下并指定列的分隔符为逗号 答insert overwrite local directory /root/eduhq/result/ads_user_region ROW FORMAT DELIMITED FIELDS TERMINATED BY , select day,area from table_name group by area; 2统计节假日和工作日的浏览量差异将统计结果导出到本地文件系统的/root/eduhq/result/ads_hol_work_user目录下并指定列的分隔符为逗号 答
insert overwrite local directory /root/eduhq/result/ads_hol_work_user ROW FORMAT DELIMITED FIELDS TERMINATED BY ,
SELECT CASE WHEN is_workday 1 THEN 工作日 ELSE 节假日 END AS day_type, SUM(url) AS total_views
FROM page_views
GROUP BY day_type;3统计不同域名的用户访问量将统计结果导出到本地文件系统的 /root/eduhq/result/ads_user_domain目录下并指定列的分隔符为逗号 答
CREATE TABLE user_visits ( user_id STRING, visit_date STRING, domain STRING, visit_count INT
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY \t;
insert overwrite local directory /root/eduhq/result/ads_user_domain ROW FORMAT DELIMITED FIELDS TERMINATED BY , SELECT user_id, DATE_FORMAT(REGEXP_REPLACE(visit_date, /, -), yyyy-MM-dd) AS visit_date, domain, visit_count FROM user_visits;更多内容请联系 武汉唯众智创科技有限公司 欲了解更多信息欢迎登录www.whwzzc.com,咨询电话13037102709 *本资料产品图片及技术数据仅供参考如有更新恕不另行通知具体内容解释权归唯众所有。
