查看网站注册信息,自贡网络推广,牡丹江信息网0453招聘信息网,网站 网络架构集群使用ambarihdp方式进行部署,集群的相关版本号如下所示:
ambari版本
Version 2.7.4.0
HDP版本
HDP-3.1.4.0
hive版本
3.1.0
spark版本
2.3.0
集群前提条件:
1.Hdp、Spark、Hive都已部署好
2.Hive数据层建好#xff0c;在Hdfs生成相应各层目录#xff0c;后面配… 集群使用ambarihdp方式进行部署,集群的相关版本号如下所示:
ambari版本
Version 2.7.4.0
HDP版本
HDP-3.1.4.0
hive版本
3.1.0
spark版本
2.3.0
集群前提条件:
1.Hdp、Spark、Hive都已部署好
2.Hive数据层建好在Hdfs生成相应各层目录后面配置Spark访问Hive的目录要保证这个目录存在。
spark集成hive
1.修改spark配置 Advanced spark2-defaults
spark.sql.warehouse.dir将默认值/apps/spark/warehouse 改为hive数据存储hdfs位置
/warehouse/tablespace/managed/hive
2.修改spark配置 Advanced spark2-hive-site-overrid
metastore.catalog.default 值 spark 改为 hive
3. 修改hive配置 到hive组件修改配置
hive.strict.managed.tables 的 true 改为 false
