冷月无声

debug并不是个简单的事情，有些问题产生了，不要着慌，了解哪些是可以确定的，哪些并不确定。解决问题总有基本点，不要错过了

Hive的自定义函数的Java实现类需要集成org.apache.hadoop.hive.ql.exec.UDF 1. 实现自定义函数类 2. 部署jar 将jar导入Hive的classpath

Hive JDBC的连接参数是jdbc:hive2://host:10001/（默认数据库是default），驱动是org.apache.hive.jdbc.HiveDriver

在Hive 0.1.3之前，Hive的事务能力是在分区级别上的，但0.1.3之后，Hive提供了在行级别上的ACID能力。 参考 【1】Hive官方文档

Hive QL主要分为DDL、DML、UDF 1. 操作数据库 创建数据库 描述数据库 改变默认数据库 删除数据库 2. 创建表 先判断再创建表，默认创建的是内部表 创建外部表，在删除时仅删除元数据

Hive是分布式的、可容错的数据仓库 Hive可以将结构化的数据文件映射为数据表，执行引擎可以是MR、Spark、Tez Hive通过SQL查询分析数据，该SQL称为Hive SQL。

xxl-job是分布式任务调度平台 ，通过web界面对任务进行CRUD操作；支持任务修改、启动、停止；调度中心HA采用中心式设计

ls命令是常用的shell命令，但是其很多精微的用法，我们其实并不熟悉。在实际工作中，总会慢慢的有所接触，这里做下简单记录

Livy是一个面向spark的REST服务，支持可编程的、可容错的、多租户的spark job的提交。