A股上市公司传智教育(股票代码 003032)旗下技术交流社区北京昌平校区

© 不二晨 金牌黑马   /  2018-8-16 10:00  /  1381 人查看  /  2 人回复  /   0 人收藏 转载请遵从CC协议 禁止商业使用本文

CentOS下hive(数据仓库工具)安装

  • 采取服务端与客户端分离模式

在master上安装服务端

在node1上安装客户端

一、服务端安装

1.输入 mkdir /usr/local/hive ,建立一个hive的目录

2.将hive的tar包上传到建好的目录

3.进入hive目录,输入 tar -zxvf apache-hive-0.13.0-bin.tar.gz 解压hive的tar包

4.将mysql驱动的jar包放到hive的lib目录下

5.输入 vi /etc/profile 配置环境变量

6.添加如下内容,根据自己的解压路径填写,保存并退出

HADOOP_HOME=/usr/local/hadoop/hadoop-2.7.3/

HIVE_HOME=/usr/local/hive/apache-hive-0.13.0-bin/


PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HIVE_HOME/bin

7.输入 . /etc/profile 使配置文件生效

8.输入 mysql -u root -p 进入mysql

9.输入命令 GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'admin' WITH GRANT OPTION; 授权远程登陆

10.输入命令 FLUSH PRIVILEGES; 使如上修改立即生效

11.输入 exit 退出mysql

12.进入hive的conf目录,能看到4个配置文件

13.分别复制并重命名3个文件,例如cp hive-env.sh.template hive-env.sh,去掉.template后缀即可,将3个文件变为hive实际需要的配置文件,如下所示

14.输入touch hive-site.xml 新建一个配置文件

15.输入 vi hive-env.sh 修改配置文件

16.在文件末尾添加如下内容,配置HADOOP_HOME和HIVE的配置文件目录,保存并退出

HADOOP_HOME=/usr/local/hadoop/hadoop-2.7.3/

HIVE_CONF_DIR=/usr/local/hive/apache-hive-0.13.0-bin/conf/

HIVE_AUX_JARS_PATH=/usr/local/hive/apache-hive-0.13.0-bin/lib/

export HADOOP_HOME HIVE_CONF_DIR HIVE_AUX_JARS_PATH

17.输入 vi hive-site.xml 修改配置文件

18.在文件中加入一下内容,标红部分需要修改,因为你和我的IP不同,这里的mysql密码,要和前边授权的远程登陆密码一致,保存并退出

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://172.26.177.93:3306/metastore_hive_db?createDatabaseIfNotExist=true&amp;characterEncoding=UTF-8</value>
<description>mysql驱动名</description>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>mysql驱动名</description>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
<description>用户名</description>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>admin</value>
<description>密码</description>
</property>
<property>
<name>hive.metastore.warehouse.dir</name>
<value>hdfs://172.26.177.93:9000/hive/warehouse</value>
<description>数据路径(相对hdfs)</description>
</property>
</configuration>

二、node1建立hive客户端

1.将master上的整个hive目录移至node1上
scp -r /usr/local/hive/ root@node1:/usr/local/
2.在node1上输入cd /usr/local/hive/apache-hive-0.13.0-bin/conf/

,进入hive的conf目录,修改hive-site配置文件vi hive-site.xml

内容如下:

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>hive.metastore.warehouse.dir</name>
<value>hdfs://172.26.177.93:9000/hive/warehouse</value>
<description>数据路径(相对hdfs)</description>
</property>
<property>
      <name>hive.metastore.local</name>
      <value>false</value>
</property>
<property>
      <name>hive.metastore.uris</name>
      <value>thrift://172.26.177.92:9083</value>
</property>
</configuration>

2.修改/etc/profile,与master配置一致,同上第5-6步

19.进入hadoop的sbin目录,输入 ./start-all.sh 启动hadoop

20.hadoop的hdfs不支持一次性建立多级目录,先输入 hadoop fs -mkdir /hive 建目录,这里建目录是与第18步中修改的数据路径相对应

21.再输入 hadoop fs -mkdir /hive/warehouse 建目录

22.输入 hive --service metastore 开启hive数据仓库,若卡住不动如下,其实已经开启了数据仓库,直接打开另一个shell窗口操作即可(例如右键CRT的IP,点击克隆会话)

23.任意位置输入 hive cli 进入hive客户端

24.输入 create table if not exists hadoop(id int,name string); 建一张表,输入 show tables; 查看有 hadoop这张表

25.输入 describe  FORMATTED hadoop; 查看hadoop表的相关信息

26.输入 exit; 退出hive客户端

【转载】https://blog.csdn.net/qq_21153619/article/details/81698797


2 个回复

倒序浏览
奈斯
回复 使用道具 举报
您需要登录后才可以回帖 登录 | 加入黑马