分区表实际上就是对应一个HDFS文件系统上的独立的文件夹，该文件夹下是该分区所有的数据文件。Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据集。在查询时通过WHERE子句中的表达式选择查询所需要的指定的分区，这样的查询效率会提高很多

1.单级分区表基本操作

1)创建分区表语法 create table test( deptno int, dname string, loc string ) partitioned by (month string) row format delimited fields terminated by ‘\t’;

2)加载数据到分区表中

load data local inpath ‘/opt/package/hive/txt/dept.txt’ into table test partition(month=‘20180907’); load data local inpath ‘/opt/package/hive/txt/dept.txt’ into table test partition(month=‘20180908’); load data local inpath ‘/opt/package/hive/txt/dept.txt’ into table test partition(month=‘20180909’);

3)查询分区表中数据

单分区查询 select /*from test where month=‘201709’;

多分区联合查询

select /* from test where month=‘20180907’ union all select /* from test where month=‘20180908’ union all select /* from test where month=‘20180909’;

注意:

Hive 1.2.0之前的版本仅支持union all，其中重复的行不会被删除 Hive 1.2.0和更高版本中，union的默认行为是从结果中删除重复的行

4)增加分区

增加单个分区 alter table test add partition(month=‘201809011’)；

增加多个分区

alter table test add partition(month=‘201809011’) partition(month=‘201809012’) partition(month=‘201809013’)；

5)删除分区

删除单个分区 alter table test drop partition(month=‘20180913’);

删除多个分区

alter table test drop partition(month=‘20180911’) partition(month=‘20180912’) partition(month=‘20180913’)；

6)查看分区表有多少分区

show partitions test;

7)查看分区表结构

desc formatted test;

除了能查看出是管理表之外，还能查看分区的信息

2.多级分区表

二级分区表

创建二级分区表 create table test( deptno int, dname string, loc string ) partitioned by (month string,day string) row format delimited fields terminated by ‘\t’;

加载数据到二级分区表中

load data local inpath ‘/opt/package/hive/txt/dept.txt’ into table test partition(month=‘201809’,day=‘01’);

查询二级分区表数据

select /*from test where month=‘201709’ and day=‘01’;

最后修改于 2018-09-07