创建手机网站,爱站站长工具,wordpress get值,做ppt图片用的网站有哪些文章目录 前言一、Hive部署#xff08;手动部署#xff09;下载Hive1. 上传安装包2. 解压Hive安装包2.1 解压2.2 重命名2.3 解决guava冲突 3. 配置Hive3.1 配置Hive环境变量3.2 修改 hive-site.xml 配置文件3.3 配置MySQL驱动包3.3.1 下在MySQL驱动包3.3.2 上传MySQL驱动包3.… 文章目录 前言一、Hive部署手动部署下载Hive1. 上传安装包2. 解压Hive安装包2.1 解压2.2 重命名2.3 解决guava冲突 3. 配置Hive3.1 配置Hive环境变量3.2 修改 hive-site.xml 配置文件3.3 配置MySQL驱动包3.3.1 下在MySQL驱动包3.3.2 上传MySQL驱动包3.3.3 配置MySQL驱动包 4. 初始化MySQL上的存储hive元数据的数据库5. 进入Hive客户端6. 设置远程连接6.1 启动MetaStore服务6.2 启动HiveServer2服务6.3 进入Hive客户端 二、在hadoop2部署一个hive作为客户端1. 在hadoop2部署hive2. 配置2.1 配置Hive环境变量2.2 修改 hive-site.xml 配置文件 3. 进入Hive客户端 前言
随着大数据技术的快速发展Hive作为一种数据仓库工具在处理大规模数据集时展现了其独特的优势。它基于Hadoop分布式文件系统HDFS之上提供了一种类似SQL的查询语言——HiveQL使得熟悉关系型数据库的开发者能够轻松地进行数据查询和分析。此外Hive还支持数据汇总、即席查询以及数据分析等任务成为企业级数据处理解决方案中的重要组成部分。
本教程旨在为读者提供一份详尽且易于理解的Hive部署教程。通过按照本文档步骤操作您可以成功地在单机或多机环境中搭建起Hive环境并实现与Hadoop集群的良好集成。我们将从下载Hive安装包开始逐步介绍如何上传、解压、配置Hive环境变量及核心配置文件直至完成Hive服务的启动和客户端访问。不仅如此我们还将进一步探讨如何设置远程连接以便用户可以从其他主机上连接到Hive执行查询任务。 一、Hive部署手动部署
下载Hive
点击在官网下载Hive3.1.3安装包https://archive.apache.org/dist/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz
点击在华为镜像站下载Hvie3.1.3安装包https://repo.huaweicloud.com/apache/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz
1. 上传安装包
通过拖移的方式将下载的Hive安装包apache-hive-3.1.3-bin.tar.gz上传至虚拟机hadoop3的/export/software目录。 2. 解压Hive安装包
2.1 解压
在虚拟机hadoop3上传完成后将Hive安装包通过解压方式安装至/export/servers目录。
tar -zxvf /export/software/apache-hive-3.1.3-bin.tar.gz -C /export/servers/解压完成如下图所示。 2.2 重命名
在虚拟机hadoop3执行如下命令将apache-hive-3.1.3-bin重命名为hive-3.1.3。
mv /export/servers/apache-hive-3.1.3-bin /export/servers/hive-3.1.32.3 解决guava冲突
如下图所示hadoop中的guava与hive中的guava版本不一致会产生冲突需要把hive的guava更换为hadoop的guava高版本。 在虚拟机hadoop3执行如下命令解决guava冲突问题。
rm -f /export/servers/hive-3.1.3/lib/guava-19.0.jar
cp /export/servers/hadoop-3.3.0/share/hadoop/common/lib/guava-27.0-jre.jar /export/servers/hive-3.1.3/lib3. 配置Hive
3.1 配置Hive环境变量
在虚拟机hadoop3执行如下命令设置Hive环境变量并加载系统环境变量配置文件。
echo /etc/profile
echo export HIVE_HOME/export/servers/hive-3.1.3 /etc/profile
echo export PATH$PATH:$HIVE_HOME/bin /etc/profile
source /etc/profile3.2 修改 hive-site.xml 配置文件
在虚拟机hadoop3使用cat命令把配置内容重定向并写入到 /export/servers/hive-3.1.3/conf/hive-site.xml 文件。
cat /export/servers/hive-3.1.3/conf/hive-site.xml EOF
?xml version1.0 encodingUTF-8 standaloneno?
?xml-stylesheet typetext/xsl hrefconfiguration.xsl?
configuration!-- 配置JDOJava Data Objects选项指定Hive元数据存储的数据库连接URL。这里使用的是MySQL数据库并且如果数据库不存在则自动创建。 --propertynamejavax.jdo.option.ConnectionURL/namevaluejdbc:mysql://hadoop1:3306/hive?createDatabaseIfNotExisttrue/value/property!-- 指定用于连接数据库的JDBC驱动类名 --propertynamejavax.jdo.option.ConnectionDriverName/namevaluecom.mysql.cj.jdbc.Driver/value/property!-- 数据库连接用户名 --propertynamejavax.jdo.option.ConnectionUserName/namevalueroot/value/property!-- 数据库连接密码 --propertynamejavax.jdo.option.ConnectionPassword/namevalue123456/value/property!-- 指定Hive元数据仓库目录的位置 --propertynamehive.metastore.warehouse.dir/namevalue/user/hive_local/warehouse/value/property
/configuration
EOF3.3 配置MySQL驱动包
3.3.1 下在MySQL驱动包
点击下载MySQL驱动jar包https://repo1.maven.org/maven2/mysql/mysql-connector-java/8.0.30/mysql-connector-java-8.0.30.jar
3.3.2 上传MySQL驱动包
通过拖移的方式将下载的MySQL驱动包上传至虚拟机hadoop3的/export/software目录。 3.3.3 配置MySQL驱动包
在虚拟机hadoop3执行如下命令复制MySQL驱动包到/export/servers/hive-3.1.3/lib目录下。
cp /export/software/mysql-connector-java-8.0.30.jar /export/servers/hive-3.1.3/lib/4. 初始化MySQL上的存储hive元数据的数据库
在虚拟机hadoop3执行如下命令初始化MySQL上的存储hive元数据的数据库。
schematool -initSchema -dbType mysql初始化完成如下图所示。 5. 进入Hive客户端
在虚拟机hadoop3执行如下命令在本地进入Hive客户端。
hive退出Hive客户端。可以使用exit;命令或者按快捷键Ctrlc退出。
exit;6. 设置远程连接
Hive 提供了两种服务以支持用户的远程连接 MetaStore 服务MetaStore 服务负责管理 Hive 的元数据并通过与关系型数据库的连接来存储和检索这些元数据。 HiveServer2 服务HiveServer2 服务基于 Thrift 协议实现提供了通过 JDBC 和 ODBC 连接到 Hive 的功能。它依赖于 MetaStore 服务来获取元数据信息。用户在通过 HiveServer2 服务远程连接到 Hive 之前需要确保 MetaStore 服务已经启动并运行。
6.1 启动MetaStore服务
在虚拟机hadoop3执行如下命令启动MetaStore服务。此时的MetaStore服务是前台启动退出将会停止MetaStore服务。
hive --service metastore可以按快捷键Ctrlc停止MetaStore服务。 由于前台启动会占用页面执行其他命令时需要复制一个新标签我们可以在停止MetaStore服务后使用如下命令把MetaStore服务放到后台启动并指定日志输出位置。
mkdir -p /export/servers/hive-3.1.3/logs
nohup hive --service metastore /export/servers/hive-3.1.3/logs/metastore.log 21 可以使用如下命令查看启动后的MetaStore服务进程此时如果要停止MetaStore服务需要使用kill命令杀死对应进程。
ps -ef | grep hive6.2 启动HiveServer2服务
复制一个hadoop3标签在虚拟机hadoop3执行如下命令启动HiveServer2服务。此时的HiveServer2服务是前台启动退出将会停止HiveServer2服务。启动HiveServer2服务后用户可以通过HiveServer2服务远程连接Hive。
hive --service hiveserver2可以按快捷键Ctrlc停止HiveServer2服务。 由于前台启动会占用页面执行其他命令时需要复制一个新标签我们可以在停止HiveServer2服务后使用如下命令把HiveServer2服务放到后台启动并指定日志输出位置。
nohup hive --service hiveserver2 /export/servers/hive-3.1.3/logs/hiveserver2.log 21 可以使用如下命令查看启动后的HiveServer2服务进程此时如果要停止HiveServer2服务需要使用kill命令杀死对应进程。
ps -ef | grep hive6.3 进入Hive客户端
复制一个hadoop3标签在虚拟机hadoop3执行如下命令远程进入Hive客户端。
beeline -u jdbc:hive2://hadoop3:10000 -n root --hiveconf hive.metastore.uristhrift://hadoop3:9083参数 -u指定HiveServer2服务的JDBC URL。 jdbc:hive2://hadoop3:10000 中 hadoop3 是运行HiveServer2服务的服务器主机名。10000 是HiveServer2服务默认使用的端口号。 参数 -n指定连接HiveServer2服务时使用的用户名。 root 是用户名该用户必须具有操作HDFS的适当权限。 二、在hadoop2部署一个hive作为客户端
1. 在hadoop2部署hive
在虚拟机hadoop3执行如下命令复制hadoop3安装好的hive到虚拟机hadoop2。
scp -r roothadoop3:/export/servers/hive-3.1.3 roothadoop2:/export/servers/2. 配置
2.1 配置Hive环境变量
在虚拟机hadoop2执行如下命令设置Hive环境变量并加载系统环境变量配置文件。
echo /etc/profile
echo export HIVE_HOME/export/servers/hive-3.1.3 /etc/profile
echo export PATH$PATH:$HIVE_HOME/bin /etc/profile
source /etc/profile2.2 修改 hive-site.xml 配置文件
在虚拟机hadoop2使用cat命令把配置内容重定向并写入到 /export/servers/hive-3.1.3/conf/hive-site.xml 文件。
cat /export/servers/hive-3.1.3/conf/hive-site.xml EOF
?xml version1.0 encodingUTF-8 standaloneno?
?xml-stylesheet typetext/xsl hrefconfiguration.xsl?
configuration!-- 指定Hive Metastore服务的地址 --propertynamehive.metastore.uris/namevaluethrift://hadoop3:9083/value/property
/configuration
EOF3. 进入Hive客户端
在虚拟机hadoop2执行如下命令远程进入部署在hadoop3的Hive。
beeline -u jdbc:hive2://hadoop3:10000 -n root
