mayishijie

1. flink整体架构以及重要特点下面这张图是flink的流批统一以及事件驱动的重要概念图1. flink的特点1 事件驱动型事件驱动型概念图2. 流的世界观3. 分层a...

1. hadoop与spark常用的端口号总结历史服务端口号web端口号内部通信服务端口号spark查看当前spark-shell运行任务情况端口号：Hadoop YARN...

删除C:/ProgramData目录下的MySQL文件夹。 手动。 ​ 其实就是定义了操作所有关系型数据库的规则。每一种数据库操作的方式存在不一样的地方，称为“方言”。 S...

1. 可以在程序运行过程中操作这些对象 2. 可以解偶，提高程序的扩展性 多用于配置文件，将类名定义在配置文件中。读取文件，加载类 对象.getClass()：getCla...

1. hive启动失败，说未找到TABLE.VERSION...

1. flume定义 2. flume优点 3. flume的2个独立事务 1. source => channel 2. channel => sink 4. flume...

1. 数据导入 1. 向表中装载数据（load） 1. 语法 2. 说明 2. 通过查询语句向表中插入数据（insert） 3. 通过查询语句创建表的同时插入数据（as s...

1. Fatch抓取 2. 本地模式 3. 表优化 2. 大表join大表 3. MapJoin(小表join大表) 4. group by 5. count(distin...

1. 分区表 1. 分区表概念理解 2. 分区表创建 3. 加载数据到分区表中 4. 分区数据查询 5. 新增分区(add partition) 6. 删除分区(drop ...

0. hive函数大全说明 1. 系统内置函数 1. 查询系统内置函数 2. 查看内置函数的使用方法 2. 常用的内置函数 1. NVL：空字段赋值 2. case whe...

0. hive函数大全说明 1. 系统内置函数 1. 查询系统内置函数 2. 查看内置函数的使用方法 2. 常用的内置函数 1. NVL：空字段赋值 2. case whe...

1. hdfs写流程 2. hdfs读流程 3. 机架感知 4. NN和2NN工作机制 为避免数据丢失，提高可靠性，还需要存放在磁盘中，因此产生在磁盘中备份元数据的FsIm...

1. HA概述 2. HDFS-HA工作机制 3. HDFS-HA工作要点 1. 元数据管理方式需要改变 2. 需要一个状态管理功能模块 3. 必须要保证2个NameNod...

1. Yarn基本架构 1. RM(ResourceManager)-Yarn调度中心的总大脑 2. NM(NodeManager)-Yarn分支上的大脑 3. Appli...

![image.png](https://p6-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/cc1bdff7a53342fdb36a364...

1. OutputFormat接口实现类 1. TextputFormat:文本输出（默认格式） 2. SequenceFileOutputFormat 3. 自定义out...

1. MapTask工作机制 1. mapTask流程图 2. 详解 2. ReduceTask工作机制 1. reduceTask工作流程图 2. 详解过程 3. red...

1. 自定义分区步骤 2. 在job驱动中，设置自定义partitioner 2. 分区总结 3. WritableComparable排序 4. combiner 5. ...

1. shuffle源码 2. shuffle流程图 3. shuffle过程...