基于Hadoop的数据仓库Hive-Chapter5_Distributed_Data_Warehouse_Hive-华中科技大学.ppt

Impala与Hive的比较 Hive与Impala的相同点总结如下： Hive与Impala使用相同的存储数据池，都支持把数据存储于HDFS和HBase中 Hive与Impala使用相同的元数据 Hive与Impala中对SQL的解释处理比较相似，都是通过词法分析生成执行计划 图 Impala与Hive的对比 Impala与Hive的比较 总结: Impala的目的不在于替换现有的MapReduce工具 把Hive与Impala配合使用效果最佳 可以先使用Hive进行数据转换处理，之后再使用Impala在Hive处理后的结果数据集上进行快速的数据分析 Hive编程实践 Hive的安装与配置 Hive的数据类型 Hive基本操作 Hive应用实例：WordCount Hive编程的优势 Hive的安装与配置 1. Hive安装 下载安装包apache-hive-1.2.1-bin.tar.gz 下载地址：/dyn/closer.cgi/hive/ 解压安装包apache-hive-1.2.1-bin.tar.gz至路径 /usr/local 配置系统环境,将hive下的bin目录添加到系统的path中 2. Hive配置 Hive有三种运行模式，单机模式、伪分布式模式、分布式模式。均是通过修改hive-site.xml文件实现，如果 hive-site.xml文件不存在，我们可以参考$HIVE_HOME/conf目录下的hive-default.xml.template文件新建。 安装Hive之前需要安装jdk1.6以上版本以及启动Hadoop Hive的数据类型 表 Hive的基本数据类型 类型 描述 示例 TINYINT 1个字节（8位）有符号整数 1 SMALLINT 2个字节（16位）有符号整数 1 INT 4个字节（32位）有符号整数 1 BIGINT 8个字节（64位）有符号整数 1 FLOAT 4个字节（32位）单精度浮点数 1.0 DOUBLE 8个字节（64位）双精度浮点数 1.0 BOOLEAN 布尔类型，true/false true STRING 字符串，可以指定字符集 “xmu” TIMESTAMP 整数、浮点数或者字符串 1327882394（Unix新纪元秒） BINARY 字节数组 [0,1,0,1,0,1,0,1] Hive的数据类型 表 Hive的集合数据类型 类型 描述 示例 ARRAY 一组有序字段，字段的类型必须相同 Array(1,2) MAP 一组无序的键/值对，键的类型必须是原子的，值可以是任何数据类型，同一个映射的键和值的类型必须相同 Map(‘a’,1,’b’,2) STRUCT 一组命名的字段，字段类型可以不同 Struct(‘a’,1,1,0) Hive基本操作 1. create: 创建数据库、表、视图 创建数据库 创建数据库hive hive> create database hive; 创建数据库hive。因为hive已经存在，所以会抛出异常，加上if not exists关键字，则不会抛出异常 hive> create database if not exists hive; 14.6.3 Hive基本操作 创建表 在hive数据库中，创建表usr，含三个属性id，name，age hive> use hive; hive>create table if not exists usr(id bigint, name string, age int); 在hive数据库中，创建表usr，含三个属性id，name，age，存储路径为“/usr/local/hive/warehouse/hive/usr” hive>create table if not exists hive.usr(id bigint, name string, age int) location ‘/usr/local/hive/warehouse/hive/usr’; Hive基本操作 创建视图 创建视图little_usr，只包含usr表中id，age属性 hive>create view little_usr as select id, age from usr; Hive基本操作 2. show：查看数据库、表、视图 查看数据库 查看Hive中包含的所有数据库 hive> show databases; 查看Hive中以h开头的所有数据库 hive>show databases like ‘h.*’; 查看表和视图 查看数据库hive中所有表和视图 hive> use hive; hive> show tab