持续创作，加速成长！这是我参与「掘金日新计划 · 10 月更文挑战」的第4天，点击查看活动详情

hive集群加了个参数后，union all的任务都执行不了影响业务

背景

今年1月内蒙的数据中台和大数据平台上线，运行至今很稳定，昨天半夜3点半被叫起来，说大部分任务卡住了，运行不了，追查问题，发现union all的任务都执行不了，问了现场早上改了什么吗？发现局方要求改了一个参数导致的，任务执行不了挺严重的，早上任务出不来，主任要背责任的。

问题

中台报错：

在hive执行报错：Invalid function 'TOK_SETCOLREF'

解决

1.发现都是union all的任务出错 例如：

SELECT 
       USER_NO,
       MIN(FIRST_CALL_DATE),
       MAX(LAST_CALL_DATE)
  FROM (SELECT USER_NO,
               MIN(CALL_DATE) FIRST_CALL_DATE,
               MAX(CALL_DATE) LAST_CALL_DATE
          FROM EDWV.DWV_D_EV_BIL_MB_VOICE
         WHERE ACCT_MONTH = '202209'
           AND DAY_ID = '26'
         GROUP BY USER_NO
        UNION ALL
        SELECT USER_NO, FIST_CALL_DATE, LAST_CALL_DATE
          FROM MID.MID_DWV_D_EV_BIL_FIRST_CALL) T1
 GROUP BY USER_NO

2.回想早上改什么，发现改动了一个参数

3.暂时将参数改回去，回滚配置，重启服务 4.任务恢复正常

参数hive.semantic.analyzer.hook

生命周期：在对查询语句进行语义分析时被调用

使用方式：修改hive-site.xml为如下配置，多个实现类使用逗号分割

<property>

    <name>hive.semantic.analyzer.hook</name>

    <value>org.apache.hadoop.hive.ql.parse.AbstractSemanticAnalyzerHook<value/>

</property>

Hive中没有超级管理员，任何用户都可以进行Grant/Revoke操作，为了完善“超级管理员”，必须添加hive.semantic.analyzer.hook配置，并实现自己的权限控制类。 怀疑他自定义的类，没有在我们的用户导致union all操作不能执行 这个参数官网已经找不到。