共计 5726 个字符，预计需要花费 15 分钟才能阅读完成。
这篇文章给大家分享的是有关 Hive 中分区、桶的示例分析的内容。丸趣 TV 小编觉得挺实用的，因此分享给大家做个参考，一起跟随丸趣 TV 小编过来看看吧。
1、Hive 分区表
在 Hive Select 查询中一般会扫描整个表内容，会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据，因此建表时引入了 partition 概念。分区表指的是在创建表时指定的 partition 的分区空间。
Hive 可以对数据按照某列或者某些列进行分区管理，所谓分区我们可以拿下面的例子进行解释。
当前互联网应用每天都要存储大量的日志文件，几 G、几十 G 甚至更大都是有可能。存储日志，其中必然有个属性是日志产生的日期。在产生分区时，就可以按照日志产生的日期列进行划分。把每一天的日志当作一个分区。
将数据组织成分区，主要可以提高数据的查询速度。至于用户存储的每一条记录到底放到哪个分区，由用户决定。即用户在加载数据的时候必须显示的指定该部分数据放到哪个分区。
1.1 实现细节
1、一个表可以拥有一个或者多个分区，每个分区以文件夹的形式单独存在表文件夹的目录下。
2、表和列名不区分大小写。
3、分区是以字段的形式在表结构中存在，通过 describe table 命令可以查看到字段存在，但是该字段不存放实际的数据内容，仅仅是分区的表示（伪列）。
1.2 语法
1. 创建一个分区表，以 ds 为分区列：
create table invites (id int, name string) partitioned by (ds string) row format delimited fields terminated by t stored as textfile;
2. 将数据添加到时间为 2013-08-16 这个分区中：
load data local inpath /home/hadoop/Desktop/data.txt overwrite into table invites partition (ds= 2013-08-16
3. 将数据添加到时间为 2013-08-20 这个分区中：
load data local inpath /home/hadoop/Desktop/data.txt overwrite into table invites partition (ds= 2013-08-20
4. 从一个分区中查询数据：
select * from invites where ds = 2013-08-12
5. 往一个分区表的某一个分区中添加数据：
insert overwrite table invites partition (ds= 2013-08-12) select id,max(name) from test group by id;
可以查看分区的具体情况，使用命令：
hadoop fs -ls /home/hadoop.hive/warehouse/invites
或者：
show partitions tablename;
2、Hive 桶
对于每一个表（table）或者分区，Hive 可以进一步组织成桶，也就是说桶是更为细粒度的数据范围划分。Hive 也是 针对某一列进行桶的组织。Hive 采用对列值哈希，然后除以桶的个数求余的方式决定该条记录存放在哪个桶当中。
把表（或者分区）组织成桶（Bucket）有两个理由：
（1）获得更高的查询处理效率。桶为表加上了额外的结构，Hive 在处理有些查询时能利用这个结构。具体而言，连接两个在（包含连接列的）相同列上划分了桶的表，可以使用 Map 端连接（Map-side join）高效的实现。比如 JOIN 操作。对于 JOIN 操作两个表有一个相同的列，如果对这两个表都进行了桶操作。那么将保存相同列值的桶进行 JOIN 操作就可以，可以大大较少 JOIN 的数据量。
（2）使取样（sampling）更高效。在处理大规模数据集时，在开发和修改查询的阶段，如果能在数据集的一小部分数据上试运行查询，会带来很多方便。
1. 创建带桶的 table：
create table bucketed_user(id int,name string) clustered by (id) sorted by(name) into 4 buckets row format delimited fields terminated by \t stored as textfile;
首先，我们来看如何告诉 Hive—个表应该被划分成桶。我们使用 CLUSTERED BY 子句来指定划分桶所用的列和要划分的桶的个数：
CREATE TABLE bucketed_user (id INT) name STRING)
CLUSTERED BY (id) INTO 4 BUCKETS;
在这里，我们使用用户 ID 来确定如何划分桶(Hive 使用对值进行哈希并将结果除 以桶的个数取余数。这样，任何一桶里都会有一个随机的用户集合（PS：其实也能说是随机，不是吗？）。
对于 map 端连接的情况，两个表以相同方式划分桶。处理左边表内某个桶的 mapper 知道右边表内相匹配的行在对应的桶内。因此，mapper 只需要获取那个桶 (这只是右边表内存储数据的一小部分)即可进行连接。这一优化方法并不一定要求 两个表必须桶的个数相同，两个表的桶个数是倍数关系也可以。用 HiveQL 对两个划分了桶的表进行连接，可参见“map 连接”部分（P400）。
桶中的数据可以根据一个或多个列另外进行排序。由于这样对每个桶的连接变成了高效的归并排序(merge-sort), 因此可以进一步提升 map 端连接的效率。以下语法声明一个表使其使用排序桶：
CREATE TABLE bucketed_users (id INT, name STRING)
CLUSTERED BY (id) SORTED BY (id ASC) INTO 4 BUCKETS;
我们如何保证表中的数据都划分成桶了呢？把在 Hive 外生成的数据加载到划分成 桶的表中，当然是可以的。其实让 Hive 来划分桶更容易。这一操作通常针对已有的表。
Hive 并不检查数据文件中的桶是否和表定义中的桶一致(无论是对于桶 的数量或用于划分桶的列）。如果两者不匹配，在査询时可能会碰到错 误或未定义的结果。因此，建议让 Hive 来进行划分桶的操作。
有一个没有划分桶的用户表：
hive SELECT * FROM users;
0 Nat
2 Doe
B Kay
4 Ann
2. 强制多个 reduce 进行输出：
要向分桶表中填充成员，需要将 hive.enforce.bucketing 属性设置为 true。①这 样，Hive 就知道用表定义中声明的数量来创建桶。然后使用 INSERT 命令即可。需要注意的是：clustered by 和 sorted by 不会影响数据的导入，这意味着，用户必须自己负责数据如何如何导入，包括数据的分桶和排序。
set hive.enforce.bucketing = true 可以自动控制上一轮 reduce 的数量从而适配 bucket 的个数，当然，用户也可以自主设置 mapred.reduce.tasks 去适配 bucket 个数，推荐使用 set hive.enforce.bucketing = true
3. 往表中插入数据：
INSERT OVERWRITE TABLE bucketed_users SELECT * FROM users;
物理上，每个桶就是表 (或分区）目录里的一个文件。它的文件名并不重要，但是桶 n 是按照字典序排列的第 n 个文件。事实上，桶对应于 MapReduce 的输出文件分区：一个作业产生的桶(输出文件) 和 reduce 任务个数相同。我们可以通过查看刚才 创建的 bucketd_users 表的布局来了解这一情况。运行如下命令：
4. 查看表的结构：
hive dfs -ls /user/hive/warehouse/bucketed_users;
将显示有 4 个新建的文件。文件名如下 (文件名包含时间戳，由 Hive 产生，因此 每次运行都会改变)：
attempt_201005221636_0016_r_000000_0
attempt_201005221636_0016_r-000001_0
attempt_201005221636_0016_r_000002_0
attempt_201005221636_0016_r_000003_0
第一个桶里包括用户 IDO 和 4，因为一个 INT 的哈希值就是这个整数本身，在这里 除以桶数(4) 以后的余数：②
5. 读取数据，看每一个文件的数据：
hive dfs -cat /user/hive/warehouse/bucketed_users/*0_0;
0 Nat
4 Ann
用 TABLESAMPLE 子句对表进行取样，我们可以获得相同的结果。这个子句会将 查询限定在表的一部分桶内，而不是使用整个表：
6. 对桶中的数据进行采样：
hive SELECT * FROM bucketed_users
TABLESAMPLE(BUCKET 1 OUT OF 4 ON id);
0 Nat
4 Ann
桶的个数从 1 开始计数。因此，前面的查询从 4 个桶的第一个中获取所有的用户。对于一个大规模的、均匀分布的数据集，这会返回表中约四分之一的数据行。我们 也可以用其他比例对若干个桶进行取样(因为取样并不是一个精确的操作，因此这个 比例不一定要是桶数的整数倍)。例如，下面的查询返回一半的桶：
7. 查询一半返回的桶数：
hive SELECT * FROM bucketed_users
TABLESAMPLE(BUCKET 1 OUT OF 2 ON id)；
0 Nat
4 Ann
2 Joe
因为查询只需要读取和 TABLESAMPLE 子句匹配的桶，所以取样分桶表是非常高效 的操作。如果使用 rand()函数对没有划分成桶的表进行取样，即使只需要读取很 小一部分样本，也要扫描整个输入数据集：
hive〉 SELECT * FROM users
TABLESAMPLE(BUCKET 1 OUT OF 4 ON rand());
2 Doe
①从 Hive 0.6.0 开始，对以前的版本，必须把 mapred.reduce .tasks 设为表中要填 充的桶的个数。如果桶是排序的，还需要把 hive.enforce.sorting 设为 true。
②显式原始文件时，因为分隔字符是一个不能打印的控制字符，因此字段都挤在一起。
3、举个完整的小栗子：（1）建 student student1 表：
create table student(id INT, age INT, name STRING)
partitioned by(stat_date STRING)
clustered by(id) sorted by(age) into 2 buckets
row format delimited fields terminated by ,
create table student1(id INT, age INT, name STRING)
partitioned by(stat_date STRING)
clustered by(id) sorted by(age) into 2 buckets
row format delimited fields terminated by ,（2）设置环境变量：
set hive.enforce.bucketing = true;
（3）插入数据：
cat bucket.txt
1,20,zxm
2,21,ljz
3,19,cds
4,18,mac
5,22,android
6,23,symbian
7,25,wp
LOAD DATA local INPATH /home/lijun/bucket.txt OVERWRITE INTO TABLE student partition(stat_date= 20120802
from student
insert overwrite table student1 partition(stat_date= 20120802)
select id,age,name where stat_date= 20120802（4）查看文件目录：
hadoop fs -ls /hive/warehouse/test.db/student1/stat_date=20120802
Found 2 items
-rw-r–r– 2 lijun supergroup 31 2013-11-24 19:16 /hive/warehouse/test.db/student1/stat_date=20120802/000000_0
-rw-r–r– 2 lijun supergroup 39 2013-11-24 19:16 /hive/warehouse/test.db/student1/stat_date=20120802/000001_0
（5）查看 sampling 数据：
hive select * from student1 tablesample(bucket 1 out of 2 on id);
Total MapReduce jobs = 1
Launching Job 1 out of 1
…….
OK
4 18 mac 20120802
2 21 ljz 20120802
6 23 symbian 20120802
Time taken: 20.608 seconds
注：tablesample 是抽样语句，语法：TABLESAMPLE(BUCKET x OUT OF y)
y 必须是 table 总 bucket 数的倍数或者因子。hive 根据 y 的大小，决定抽样的比例。例如，table 总共分了 64 份，当 y =32 时，抽取(64/32=)2 个 bucket 的数据，当 y =128 时，抽取(64/128=)1/ 2 个 bucket 的数据。x 表示从哪个 bucket 开始抽取。例如，table 总 bucket 数为 32，tablesample(bucket 3 out of 16)，表示总共抽取（32/16=）2 个 bucket 的数据，分别为第 3 个 bucket 和第（3+16=）19 个 bucket 的数据。
感谢各位的阅读！关于“Hive 中分区、桶的示例分析”这篇文章就分享到这里了，希望以上内容可以对大家有一定的帮助，让大家可以学到更多知识，如果觉得文章不错，可以把它分享出去让更多的人看到吧！
