mayishijie

1. hive启动失败，说未找到TABLE.VERSION

1. flume定义 2. flume优点 3. flume的2个独立事务 1. source => channel 2. channel => sink 4. flume组成架构 1. flume的基本架构图 2. 详细架构图解 5. flume架构中组件 1. Agent …

1. 数据导入 1. 向表中装载数据（load） 1. 语法 2. 说明 2. 通过查询语句向表中插入数据（insert） 3. 通过查询语句创建表的同时插入数据（as select ） 4. 创建表示通过location关键字指定加载数据路径 5. Import数据到指定的H…

1. Fatch抓取 2. 本地模式 3. 表优化 2. 大表join大表 3. MapJoin(小表join大表) 4. group by 5. count(distinct)去重 6. 笛卡尔积 7. 行列过滤 8. 动态分区调整 9. 分区，分桶 4. 合理设置map和r…

1. 分区表 1. 分区表概念理解 2. 分区表创建 3. 加载数据到分区表中 4. 分区数据查询 5. 新增分区(add partition) 6. 删除分区(drop partition) 7. 查看分区数(show partitions tableName) 8. 查看分…

0. hive函数大全说明 1. 系统内置函数 1. 查询系统内置函数 2. 查看内置函数的使用方法 2. 常用的内置函数 1. NVL：空字段赋值 2. case when：条件判断 3. 行转列（group by等函数组合） 1. CONCAT:字符串连接函数 2. con…

0. hive函数大全说明 1. 系统内置函数 1. 查询系统内置函数 2. 查看内置函数的使用方法 2. 常用的内置函数 1. NVL：空字段赋值 2. case when：条件判断 3. 行转列（group by等函数组合） 1. CONCAT:字符串连接函数 2. con…

1. hdfs写流程 2. hdfs读流程 3. 机架感知 4. NN和2NN工作机制 为避免数据丢失，提高可靠性，还需要存放在磁盘中，因此产生在磁盘中备份元数据的FsImage。 当在内存中的元数据更新时，如果同时更新FsImage，就会导致效率过低，但如果不更新，就会发生一…

1. HA概述 2. HDFS-HA工作机制 3. HDFS-HA工作要点 1. 元数据管理方式需要改变 2. 需要一个状态管理功能模块 3. 必须要保证2个NameNode之间能够ssh无密码登录 4. 隔离，即同一时刻仅仅有一个NameNode对外提供服务 4. HDFS-…