Hive 强制指定分区键

最近在做Hive的查询平台，需要考虑的比较多，其中一点就是对于分区表要限制用户的查询量，主要是要用户必须指定分区键.一开始的想法步子比较大就是做HQL解析，不过由于项目周期压力暂缓，这时发现了一个参数：hive.partition.pruning（https://issues.apache.org/jira/browse/HADOOP-4345）不过不能高兴的太早，CDH4.2.0的Hive并没有merge进来，不过还好有另外一个参数:hive.mapred.mode

当mode=strict时做什么项目官方文档别没看到详细的说明，看代码吧后结论如下：

最后使用这个参数，并对异常捕获进行用户提示.

1.不准对分区表不加分区键查询

if (tab.isPartitioned()) {

if ("strict".equalsIgnoreCase(HiveConf.getVar(conf,

HiveConf.ConfVars.HIVEMAPREDMODE))){

if (!hasColumnExpr(prunerExpr)){

thrownewSemanticException(ErrorMsg.NO_PARTITION_PREDICATE

.getMsg("for Alias \"" + alias + "\" Table \""

+ tab.getTableName() + "\""));

}

    }

2.不准笛卡尔积

if (reduceKeys.size() ==0) {

numReds = 1;

if (conf.getVar(HiveConf.ConfVars.HIVEMAPREDMODE).equalsIgnoreCase(

"strict")){

thrownewSemanticException(ErrorMsg.NO_CARTESIAN_PRODUCT.getMsg());

}

  }

3.不准order by 不加limit

if (sortExprs == null) {

sortExprs =qb.getParseInfo().getOrderByForClause(dest);

if (sortExprs != null) {

assert numReducers == 1;

Integerlimit = qb.getParseInfo().getDestLimit(dest);

if (conf.getVar(HiveConf.ConfVars.HIVEMAPREDMODE).equalsIgnoreCase(

"strict")

&& limit == null) {

thrownew SemanticException(generateErrorMessage(sortExprs,

ErrorMsg.NO_LIMIT_WITH_ORDERBY.getMsg()));

}

}

  }

本文转自MIKE老毕 51CTO博客，原文链接：http://blog.51cto.com/boylook/1302067，如需转载请自行联系原作者