小说网站做封面要钱吗,输入网站域名,学做早餐网站,律师事务所网站案例任务描述
任务内容为安装并配置在Hadoop集群中使用Hive。
任务指导
Hive是一个基于Hadoop的数据仓库框架#xff0c;在实际使用时需要将元数据存储在数据库中
具体安装步骤如下#xff1a;
1. 安装MySQL数据库#xff08;已安装#xff09;
2. 解压缩Hive的压缩包
3…任务描述
任务内容为安装并配置在Hadoop集群中使用Hive。
任务指导
Hive是一个基于Hadoop的数据仓库框架在实际使用时需要将元数据存储在数据库中
具体安装步骤如下
1. 安装MySQL数据库已安装
2. 解压缩Hive的压缩包
3. 配置Hive的环境变量
4. 拷贝MySQL的驱动包到Hive的lib目录下
5. 修改Hive的配置文件Hive的配置文件存放在Hive安装目录下的conf中
6. 初始化Hive的元数据
7. Hive只需要安装在需要执行Hive操作的节点上master1。
任务实现
1. 安装MySQL数据库 已在master1安装可以直接使用 用户名root 密码Qst123456 2. 安装Hive。在master1服务器解压并配置。 下载“apache-hive-2.3.4-bin.tar.gz”已经放到/opt/software目录下 输入【cd /opt/software】命令转到/opt/software目录下 输入【tar -xzvf apache-hive-2.3.4-bin.tar.gz -C /opt/app/】命令解压。 3. 配置Hive环境变量修改系统配置文件/etc/profile。
输入【vi /etc/profile】命令编辑/etc/profile文件。
/etc/profile文件修改为如下内容
export HIVE_HOME/opt/app/apache-hive-2.3.4-bin
export PATH$PATH:$HIVE_HOME/bin
刷新环境变量让配置生效
[rootmaster1 ~]# source /etc/profile
4. 将MySQL驱动包导入Hive的lib目录中
将/opt/software目录中的MySQL驱动包拷贝到$HIVE_HOME/lib目录中中
[rootmaster1 ~]# cp /opt/software/mysql-connector-java-5.1.47-bin.jar $HIVE_HOME/lib 5. 配置hive-site.xml文件
进入Hive配置目录【$HIVE/conf】编辑【hive-site.xml】文件
[rootmaster1 ~]# cd $HIVE_HOME/conf
[rootmaster1 conf]# vim hive-site.xml
hive-site.xml文件配置内容如下
?xml version1.0 encodingutf-8?
?xml-stylesheet typetext/xsl hrefconfiguration.xsl?configuration
property
namejavax.jdo.option.ConnectionURL/name
valuejdbc:mysql://master1:3306/hive?createDatabaseIfNotExisttrueamp;useUnicodetrueamp;characterEncodingUTF-8amp;useSSLfalse/value
/property
property
namejavax.jdo.option.ConnectionDriverName/name
valuecom.mysql.jdbc.Driver/value
/property
property
namejavax.jdo.option.ConnectionUserName/name
valueroot/value
/property
property
namejavax.jdo.option.ConnectionPassword/name
valueQst123456/value
/property
property
namedatanucleus.readOnlyDatastore/name
valuefalse/value
/property
property
namedatanucleus.fixedDatastore/name
valuefalse/value
/property
property
namedatanucleus.autoCreateSchema/name
valuetrue/value
/property
property
namedatanucleus.schema.autoCreateAll/name
valuetrue/value
/property
property
namedatanucleus.autoCreateTables/name
valuetrue/value
/property
property
namedatanucleus.autoCreateColumns/name
valuetrue/value
/property
property
namehive.metastore.local/name
valuetrue/value
/property
/configuration 配置hive-env.sh文件通过hive-env.sh.template模版文件创建hive-env.sh文件并进行配置
[rootmaster1 conf]# cp hive-env.sh.template hive-env.sh
[rootmaster1 conf]# vi hive-env.sh
在文件末尾添加如下配置
HADOOP_HOME/opt/app/hadoop-2.10.1
export HIVE_CONF_DIR/opt/app/apache-hive-2.3.4-bin/conf
export HIVE_AUX_JARS_PATH/opt/app/apache-hive-2.3.4-bin/conf/lib 6. 初始化Hive的元数据
执行如下命令初始化Hive的元数据初始化前应确保MySQL数据已经启动MySQL的启动命令【systemctl start mysqld.service】
[rootmaster1 ~]# schematool -dbType mysql -initSchema 7. 进入Hive命令行
[rootmaster1 ~]# hive
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/opt/app/apache-hive-2.3.4-bin/lib/log4j-slf4j-impl-2.6.2.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/app/hadoop-2.8.5/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]Logging initialized using configuration in jar:file:/opt/app/apache-hive-2.3.4-bin/lib/hive-common-2.3.4.jar!/hive-log4j2.properties Async: true
Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. spark, tez) or using Hive 1.X releases.
hive
