hive

8 篇 · 0人关注 · ns7381
  • ns7381
    9月前
    SQL
    sql语法解析
    编译原理概念BNF范式    自然语言存在不同程度的二义性。这种模糊、不确定的方式无法精确定义一门程序设计语言。必须设计一种准确无误地描述程序设计语言的语法结构，这种严谨、简洁、易读的形式规则描述的语
    • 114
    • 评论
  • ns7381
    9月前
    Apache Hive
    hive-6 常见问题处理
    1. 内存溢出 该语句会进行全表全分区扫描，如果该表的分区数很多，数据量很大，可能就会出现客户端内存不足的报错。 注：客户端报内存溢出的判断依据，通过查看客户端输出来的日志中，还没有打印出作业的application id 信息（信息样式如下)就报内存溢出的异常了，在Resou…
    • 447
    • 评论
  • ns7381
    9月前
    Apache Hive
    hive-5. Task相关的一些计算公式
    hive.exec.orc.split.strategy 默认 HYBRID, 参数控制在读取ORC表时生成split的策略。 HYBRID策略为：当文件的平均大小大于hadoop最大split值（默认256 * 1024 * 1024）时使用ETL策略，否则使用BI策略。 对…
    • 209
    • 评论
  • ns7381
    9月前
    Apache Hive
    hive-4.源码metastore
    1. 加载配置，解析命令行参数，使用apache-commons-cli包做命令行参数解析 2. 执行startMetaStore，去启动thrift server
    • 267
    • 评论
  • ns7381
    9月前
    Apache Hive
    hive-4.源码-client
    1. prepare 2. init 3. executeDriver SET/RESET/DFS/CRYPTO/ADD/LIST/LLAP_CLUSTER/LLAP_CACHE/RELOAD/DELETE/COMPILE:非sql命令处理, 执行相应的processor的ru…
    • 500
    • 评论
  • ns7381
    9月前
    Apache Hive
    hive-3. 权限
    设计目的并不是为了防止恶意用户访问（操作）未经授权的数据,帮助用户避免一些意料之外的操作行为,另外授权机制并不完善，在很多指令方面都没有进行授权确认，比如授权指令Grant。 这种权限机制可以实现用户协同办公时，经过授权可以具有和owner等同级别的权限，例如DDL操作（cre…
    • 421
    • 评论
  • ns7381
    9月前
    Apache Hive
    hive-2. 使用
    Please make sure it is the hive’s principal, not the user’s. And when you kinit, it should be kinit user’s keytab, not the hive’s keytab. 对…
    • 50
    • 评论
  • ns7381
    9月前
    Apache Hive
    hive-1. 安装
    7. 执行hive测试 在tez目录下修改pom.xml,首先将hadoop version改为当前运行的Hadoop版本. (可选):因为tez-ui依赖node.js以及bower, bower install时间过久而且报错,可以在pom.xml中搜索tez-ui模块并且…
    • 300
    • 评论