程sq

一、MapReduce计算模型 maprecude主要三个阶段组成：Map，shuffle，Reduce. 如图所示： Map是映射，负责数据的过滤分法，将原始数据转为键值...

日志数据是一种半结构化的数据，它是由特定的代码生成的。其实可以理解为“print”语句。在我们进行print的时候，我们一般会包含常量和变量。日志的模板解析就是这个过程的倒...

Flume采集 针对做hdfs日志的异常检测，首先获取日志或者怎么拿到自己想要的数据关键。 由于我们只针对hdfs日志的数据块进行异常检测，也就是我们只针对在block数据...

DAGScheduler 以 Shuffle 为边界，将计算图DAG切分为多个Stages.显然shuffle起着关键的作用。 什么是shuffle Shuffle 的本意...

分布式计算的精髓，在于如何把抽象的计算图，转化为实实在在的分布式计算任务，然后以并行计算的方式交付执行。 那么“对于给定的用户代码和相应的计算流图，Driver 是怎么把计...

在理解OOM问题得先理解spark 的内存。 Spark 内存区域划分 spark的Executor的Container内存有两大部分组成：堆外内存和Executor内存。...

删除字符串中的所有相邻重复项刷题纪录...................................

HDFS读写流程.............................................

SQL3 每类视频近一个月的转发量/率..................................

汽水瓶..................................................

Hbase架构组成及读写原理..................................................

Hbase的数据倾斜...........................................

Hbase的rowkey设计原则和列簇设计原则..............................

1. 前序遍历 2. 中序遍历 3. 后序遍历..............................

JDK：Java开发工具包，JDK是整个Java开发的核心，包含Java运行环境JRE、Java工具和Java基础类库。 JRE：Java运行时环境，包含JVM标准实现及J...

Java中为什么重写equals方法必须重写hashcode方法？....................

虚拟机的启动 Java虚拟机的启动是通过引导类加载器（bootstrap class loader）创建一个初始类（initial class）完成的，这个类是由虚拟机的具...

字节码文件 源代码经过编译器编译之后便会生成一个字节码文件，字节码是一种二进制的类文件，它的内容是JVM指令，而不像C、C++经由编译器直接生成机器码。...

Hbase过滤器.............................................

Hbase基本语法..............................................