小初杂货铺

拖慢整个 Job 执行时间（其他已经完成的节点都在等这个还在做的节点）。 搞定 OOM 的根本原因等：一般都因为数据倾斜（某 Task 任务的数据量过大，GC 压力大，和 Kafka 不同在于 Kafka 的内存不经过 JVM，其基于 Linux 的 Page）。 Shuffl…

项目架构是数据实时数据写入到kafka中，sparkstreaming通过direct消费kafka并将offset保存至zookeeper中批处理时间间隔是1S，然后数据保存到HBase使用Spar

分别对主流的流计算框架：Storm，Storm Trident，Spark Streaming，Google Cloud Dataflow，Flink做了对比。基于微批量的Spark Streaming和Storm Trident延迟比较高，从这点就不适合我们的场景。Sto…

稳定：如果a原本在b前面，而a=b，排序之后a仍然在b的前面。 不稳定：如果a原本在b的前面，而a=b，排序之后 a 可能会出现在 b 的后面。 时间复杂度：对排序数据的总的操作次数。反映当n变化时，操作次数呈现什么规律的增长。 空间复杂度：是指算法在计算机内执行时所需存储空间…

打包之后的大文件 需要以 .tar 结尾. 通过 命令 对文件进行常规的编辑操作, 例如 定位 翻页 复制 粘贴 删除 ... ... . 在使用vi命令时, 注意 关闭中文输入法 在程序世界中, **()、[]、{}**使用率很高, 而且 都是成对出现的. vi中的文本缓冲区…