java Hive运行架构及配置部署

Hive 运行架构

由Facebook开源,最初用于解决海量结构化的日志数据统计问题:ETL工具;

构建于Hadoop的HDFS和MapReduce智商,用于管理和查询结构化/非结构化数据的数据仓库;

设计目的是让SQL技能良好,但Java技能较弱的分析师可以查询海量数据:

使用HQL作为查询接口;

使用HDFS作为存储底层;

使用MapReduce作为执行层;

2008年facebook把Hive项目贡献给Apache;

1、Hive的缺点

Hive的HQL表达能力有限:有些复杂运算用HQL不易表达;

Hive效率低:Hive自动生成MR作业,通常不够智能;HQL调优困难,粒度较粗;可控性差;

2、Hive系统架构

1) 元数据存储(Metastore):Hive的数据由两部分组成:数据文件和元数据;

元数据存储,Derby只能用于一个Hive连接,一般存储在MySQL。

2)驱动(Driver):编译器、优化器、执行器;

用户通过下面的接口提交Hive给Driver,由Driver进行HQL语句解析,此时从Metastore中获取表的信息,先生成逻辑计划,再生成物 理计划,再由Executor生成Job交给Hadoop运行,然后由Driver将结果返回给用户。

编译器(Hive的核心):1,语义解析器(ParseDriver),将查询字符串转换成解析树表达式;2,语法解析器 (SemanticAnalyzer),将解析树转换成基于语句块的内部查询表达式;3,逻辑计划生成器(Logical Plan Generator),将内部查询表达式转换为逻辑计划,这些计划由逻辑操作树组成,操作符是Hive的最小处理单元,每个操作符处理代表一道HDFS操 作或者是MR作业;4,查询计划生成器(QueryPlan Generator),将逻辑计划转化成物理计划(MR Job)。

优化器:优化器是一个演化组件,当前它的规则是:列修剪,谓词下压。

执行器:编译器将操作树切分成一个Job链(DAG),执行器会顺序执行其中所有的Job;如果Task链不存在依赖关系,可以采用并发执行的方式进行Job的执行。

3)接口:CLI(Common LineInterface)、HWI(Hive WebInterface)、ThriftServer;

CLI:为命令行工具,默认服务。bin/hive或bin/hive–service cli;

HWI:为Web接口,可以用过浏览器访问Hive,默认端口9999,启动方式为bin/hive –service hwi;

ThriftServer:通过Thrift对外提供服务,默认端口是10000,启动方式为bin/hive –service hiveserver;

 

4)其他服务(bin/hive –service -help):metastore(bin/hive –service metastore)、hiveserver2(bin/hive –service hiveserver2),HiveServer2是HieServer改进版本,它提供给新的ThriftAPI来处理JDBC或者ODBC客户端,进 行Kerberos身份验证,多个客户端并发,HS2还提供了新的CLI:BeeLine,是Hive 0.11引入的新的交互式CLI,基于SQLLine,可以作为Hive JDBC Client 端访问HievServer2,启动一个beeline就是维护了一个session.

5)Hadoop:用HDFS进行存储,用MapReduce进行计算;

表中的一个Partition对应表下的一个子目录,每一个Bucket对应一个文件;Hive的默认数据仓库目录是/user/hive /warehouse,在hive-site.xml中由hive.metastore.warehouse.dir项定义;

3、Hive的运行过程

由客户端提供查询语句,提交给Hive,Hive再交给Driver处理(1,Compiler先编译,编译时要从Metastore中获取元数据信息, 生成逻辑计划;2,生成物理计划;3,由Driver进行优化;4,Executor执行时对物理计划再进行分解成Job,并将这些Job提交给MR的 JobTracker运行,提交Job的同时,还需要提取元数据信息关联具体的数据,这些元数据信息送到NN),JT拆分成各个Task进行计算,并将结 果返回或写入HDFS。

4、Hive的数据模型

Database

Table

Partition

Bucket

File(文件格式:TextFile,RCFile,),

数据类型,Numeric(Tinyint,Smallint,Bigint,Float,Double,Decimal(Hive 0.13.0可以自定义精度进行扩展)),Date/Time(TIMESTAMP,DATE(0.12.0支 持)),String(STRING,VARCHAR(0.12),CHAR(0.13)),Misc(BOLLEAN,BINARY),Complex(ARRAY、 MAP、STRUCT、UNIONTYPE)

 

 

 

 

 Hive 0.13的配置与部署

使用版本:Hive 0.13.1

1、Metastore(MySQL作为元数据存储,安装于Master1节点,前提是MySQL的访问权限需要设置好。)

1)解压

tar zxf apache-hive-0.13.1-bin.tar.gz

mv apache-hive-0.13.1-bin /usr/hive013

vim /etc/profile加入

export HIVE_HOME=/usr/hive013

PATH=$HIVE_HOME/bin:$PATH

source /etc/profile

2)配置hive-env.sh文件(启动时用到的环境文件)

HADOOP_HOME=/usr/hadoop-2.2.0

3)复制hive-default.xml -> hive-site.xml文件(配置文件)

<property>

<name>javax.jdo.option.ConnectionURL</name>

<!–<value>jdbc:derby:;databaseName=metastore_db;create=true</value>–>

<value>jdbc:mysql://master1:3306/metastore?=createDatabaseIfNotExist=true</value>

<description>JDBC connect string for a JDBCmetastore</description>

</property>

 

<property>

<name>javax.jdo.option.ConnectionDriverName</name>

<!–<value>org.apache.derby.jdbc.EmbeddedDriver</value>–>

<value>com.mysql.jdbc.Driver</value>

<description>Driver class name for a JDBCmetastore</description>

</property>

 

<property>

<name>javax.jdo.option.ConnectionUserName</name>

<value>hive</value>

<description>username to use against metastoredatabase</description>

</property>

<property>

<name>javax.jdo.option.ConnectionPassword</name>

<value>hive</value>

<description>password to use against metastoredatabase</description>

</property>

4)拷贝jdbc文件到hive的lib中

下载jdbc的jar文件http://pan.baidu.com/s/1zYi5o

cp mysql-connector-java-5.1.26-bin.jar$HIVE_HOME/lib/

2、HiveClient,在Slave1上安装Hive客户端,同样设置好HIVE_HOME的环境变量

1)将Hive013从Master1拷贝到Slave1

scp -r /usr/hive013  [email protected]:/usr/

2)配置Metastore的连接信息

<property>

<name>hive.metastore.uris</name>

<value>thrift://master1:9083</value>

<description>Thrift URI for the remote metastore.Used by metastore client to connect to remote metastore.</description>

</property>

3)启动metastore服务

前台服务:hive–service metastore  CTRL+C关闭

后台服务:nohup hive–service metastore > metastore.log 2>&1 &    jobs查看后台任务    kill %id关闭后台任务

4)测试链接Metastore

由于设置好HIVE_HOME环境变量,直接在Shell中输入hive即可打开HiveCLI

5)拷贝至OPC节点,可以达到多个客户端访问metastore

Tagged: ,

Comments are closed.