实验四  Hive的安装部署

一、实验目的

1. 掌握Hive的安装流程。

2. 掌握Hive的各种配置。

3. 掌握Hive的HQL语言。

4. 掌握Hive的DDL操作。

5. 掌握Hive的DML操作。

二、实验内容

2.1 Hive安装地址

1．Hive官网地址

http://hive.apache.org/

2．文档查看地址

https://cwiki.apache.org/confluence/display/Hive/GettingStarted

3．下载地址

http://archive.apache.org/dist/hive/

4．github地址

https://github.com/apache/hive

2.2 Hive安装部署

1．Hive安装及配置

（1）把apache-hive-1.2.1-bin.tar.gz上传到linux的/opt/software目录下

（2）解压apache-hive-1.2.1-bin.tar.gz到/opt/software/目录下面

[root@hadoop100 software]$ tar -zxvf /opt/software/apache-hive-1.2.1-bin.tar.gz

（3）修改apache-hive-1.2.1-bin.tar.gz的名称为hive

[root@hadoop100 software]$ mv /opt/software/apache-hive-1.2.1-bin/ hive

（4）修改/opt/software/hive/conf目录下的hive-env.sh.template名称为hive-env.sh

[root@hadoop100 conf]$ cd /opt/software/hive/conf

[root@hadoop100 conf]$ mv hive-env.sh.template hive-env.sh

 （5）配置hive-env.sh文件

 （a）配置HADOOP_HOME路径

export HADOOP_HOME=/opt/software/hadoop-2.6.5

 （b）配置HIVE_CONF_DIR路径

export HIVE_CONF_DIR=/opt/software/hive/conf

（6）删除hadoop目录下jline老版本jar包，并将hive中新版本复制过去

[root@hadoop100 conf] $

rm -rf /opt/software/hadoop-2.6.5/share/hadoop/yarn/lib/jline-0.9.94.jar

（7）删除hadoop目录下jline老版本jar包，并将hive中新版本复制过去

[root@hadoop100 conf] $ mv /opt/software/hive/lib/jline-2.12.jar /opt/software/hadoop-2.6.5/share/hadoop/yarn/lib

2．Hive基本操作

（1）启动hive

[root@hadoop100 hive]$ cd /opt/software/hive

[root@hadoop100 hive]$ bin/hive

（2）查看数据库

hive> show databases;

（3）打开默认数据库

hive> use default;

（4）显示default数据库中的表

hive> show tables;

（5）创建一张表

hive> create table student(id int, name string);

（6）显示数据库中有几张表

hive> show tables;

（7）查看表的结构

hive> desc student;

（8）向表中插入数据

hive> insert into student values(1000,"ss");

（9）查询表中数据

hive> select * from student;

（10）退出hive

hive> quit;

说明：（查看hive在hdfs中的结构）

数据库：在hdfs中表现为${hive.metastore.warehouse.dir}目录下一个文件夹

表：在hdfs中表现所属db目录下一个文件夹，文件夹中存放该表中的具体数据

2.3 将本地文件导入Hive案例

需求

将本地/opt/software/datas/stu.txt这个目录下的数据导入到hive的stu(id int, name string)表中。

1．数据准备

在/opt/software/datas这个目录下准备数据

（1）在/opt/software/目录下创建datas

[root@hadoop100 software]$ cd /opt/software/

[root@hadoop100 software]$ mkdir datas

（2）在/opt/module/datas/目录下创建student.txt文件并添加数据

[root@hadoop100 software]$ cd datas

[root@hadoop100 datas]$ vi stu.txt

1001 zhangshan

1002 lisi

1003 wangwu

注意以tab键间隔。

2．Hive实际操作

（1）启动hive

[root@hadoop100 hive]$ cd /opt/software/hive

[root@hadoop100 hive]$ bin/hive

（2）显示数据库

hive> show databases;

（3）使用default数据库

hive> use default;

（4）显示default数据库中的表

hive> show tables;

（5）删除已创建的student表

hive> drop table student;

（6）创建student表, 并声明文件分隔符’\t’

hive> create table stu(id int, name string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';

（7）加载/opt/software/datas/student.txt 文件到student数据库表中。

hive> load data local inpath '/opt/software/datas/stu.txt' into table stu;

（8）Hive查询结果

hive> select * from stu;

OK

1001 zhangshan

1002 lisi

1003 wangwu

实验练习：

请将最后的查询结果截图展示。

 

 

实验总结：

 

 

Time taken: 0.266 seconds, Fetched: 3 row(s)


 

以下为选做部分！

再打开一个客户端窗口启动hive，会产生java.sql.SQLException异常。

Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException:

 Unable to instantiate

 org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

        at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:522)

        at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:677)

        at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:621)

        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)

        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)

        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)

        at java.lang.reflect.Method.invoke(Method.java:606)

        at org.apache.hadoop.util.RunJar.run(RunJar.java:221)

        at org.apache.hadoop.util.RunJar.main(RunJar.java:136)

Caused by: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

        at org.apache.hadoop.hive.metastore.MetaStoreUtils.newInstance(MetaStoreUtils.java:1523)

        at org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.<init>(RetryingMetaStoreClient.java:86)

        at org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.getProxy(RetryingMetaStoreClient.java:132)

        at org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.getProxy(RetryingMetaStoreClient.java:104)

        at org.apache.hadoop.hive.ql.metadata.Hive.createMetaStoreClient(Hive.java:3005)

        at org.apache.hadoop.hive.ql.metadata.Hive.getMSC(Hive.java:3024)

        at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:503)

... 8 more

原因是，Metastore默认存储在自带的derby数据库中，推荐使用MySQL存储Metastore;

2.4 MySql安装

2.4.1 安装包准备

1．查看mysql是否安装，如果安装了，卸载mariadb

 （1）查看

[root@hadoop100 software]# rpm -qa | grep mariadb

mariadb-libs-5.5.65-1.el7.x86_64

 （2）卸载

[root@hadoop100 software]# rpm -e --nodeps mariadb-libs-5.5.65-1.el7.x86_64

2．下载unzip包并解压mysql-libs.zip文件到当前目录

[root@hadoop100 software]# yum -y install net-tools

[root@hadoop100 software]# yum -y install perl

[root@hadoop100 software]# yum -y install autoconf

[root@hadoop100 software]# yum -y install unzip

[root@hadoop100 software]# yum -y install libaio

[root@hadoop100 software]# unzip mysql-libs.zip     

如无法下载，修改文件     vi /etc/resolv.conf

加入  nameserver 8.8.8.8

nameserver 8.8.4.4  

3．进入到mysql-libs文件夹下

[root@hadoop100 mysql-libs]# ll

总用量 76048

-rw-r--r--. 1 root root 18509960 3月  26 2015 MySQL-client-5.6.24-1.el6.x86_64.rpm

-rw-r--r--. 1 root root  3575135 12月  1 2013 mysql-connector-java-5.1.27.tar.gz

-rw-r--r--. 1 root root 55782196 3月  26 2015 MySQL-server-5.6.24-1.el6.x86_64.rpm

2.4.2 安装MySql服务器

1．安装mysql服务端

[root@hadoop100 mysql-libs]# rpm -ivh MySQL-server-5.6.24-1.el6.x86_64.rpm

2．查看mysql状态

[root@hadoop100 mysql-libs]# service mysql status

3．启动mysql

[root@hadoop100 mysql-libs]# service mysql start

2.4.3 安装MySql客户端

1．安装mysql客户端

[root@hadoop100 mysql-libs]# rpm -ivh MySQL-client-5.6.24-1.el6.x86_64.rpm

2．查看产生的随机密码

[root@hadoop100 mysql-libs]# cat /root/.mysql_secret

OEXaQuS8IWkG19Xs(复制自己的随机初始密码)

3．链接mysql

[root@hadoop100 mysql-libs]# mysql -uroot -pOEXaQuS8IWkG19Xs

4．修改密码

mysql>SET PASSWORD=PASSWORD('111111');

5．退出mysql

mysql>exit

2.4.4 MySql中user表中主机配置

配置只要是root用户+密码，在任何主机上都能登录MySQL数据库。

1．进入mysql

[root@hadoop100 mysql-libs]# mysql -uroot -p111111

2．显示数据库

mysql>show databases;

3．使用mysql数据库

mysql>use mysql;

4．展示mysql数据库中的所有表

mysql>show tables;

5．展示user表的结构

mysql>desc user;

6．查询user表

mysql>select User, Host, Password from user;

7．修改user表，把Host表内容修改为%

mysql>update user set host='%' where host='localhost';

8．删除root用户的其他host

delete from user where Host='hadoop100';

delete from user where Host='127.0.0.1';

delete from user where Host='::1';

9．刷新

mysql>flush privileges;

10．退出

mysql>quit;

2.5 Hive元数据配置到MySql

2.5.1 驱动拷贝

1．在/opt/software/mysql-libs目录下解压mysql-connector-java-5.1.27.tar.gz驱动包

[root@hadoop100 mysql-libs]# tar -zxvf mysql-connector-java-5.1.27.tar.gz

2.拷贝/opt/software/mysql-libs/mysql-connector-java-5.1.27目录下的mysql-connector-java-5.1.27-bin.jar到/opt/software/hive/lib/

[root@hadoop100 mysql-connector-java-5.1.27]# cp mysql-connector-java-5.1.27-bin.jar /opt/software/hive/lib/

2.5.2 配置Metastore到MySql

1．在/opt/software/hive/conf目录下创建一个hive-site.xml

[root@hadoop100 conf]$ vi hive-site.xml

2．根据官方文档配置参数，拷贝数据到hive-site.xml文件中

https://cwiki.apache.org/confluence/display/Hive/AdminManual+MetastoreAdmin

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

 <property>

   <name>javax.jdo.option.ConnectionURL</name>

 <value>jdbc:mysql://hadoop100:3306/metastore?createDatabaseIfNotExist=true</value>

   <description>JDBC connect string for a JDBC metastore</description>

 </property>

 

 <property>

   <name>javax.jdo.option.ConnectionDriverName</name>

   <value>com.mysql.jdbc.Driver</value>

   <description>Driver class name for a JDBC metastore</description>

 </property>

 

 <property>

   <name>javax.jdo.option.ConnectionUserName</name>

   <value>root</value>

   <description>username to use against metastore database</description>

 </property>

 

 <property>

   <name>javax.jdo.option.ConnectionPassword</name>

   <value>111111</value>

   <description>password to use against metastore database</description>

 </property>

</configuration>

3．配置完毕后，如果启动hive异常，可以重新启动虚拟机。（重启后，别忘了启动hadoop集群）

2.5.3 多窗口启动Hive测试

1．先启动MySQL

[root@hadoop100 mysql-libs]$ mysql -uroot -p111111

查看有几个数据库

mysql> show databases;

+--------------------+

| Database           |

+--------------------+

| information_schema |

| mysql             |

| performance_schema |

| test               |

+--------------------+

2．再次打开多个窗口，分别启动hive

[root@hadoop100 hive]$ bin/hive

3．启动hive后，回到MySQL窗口查看数据库，显示增加了metastore数据库

 mysql> show databases;

+--------------------+

| Database           |

+--------------------+

| information_schema |

| metastore          |

| mysql             |

| performance_schema |

| test               |

+--------------------+