二十六画生的博客

Leetcode 22. Generate Parentheses - 生成指定数量的有效圆括号，比如输入2，输出()()、(())...

今天开发web的时候，需要用到servlet-api，于是在pom.xml中添加依赖 通过插件启动tomcat的时候，报错，里面有一段是这样的： 产生的原因是：tomcat...

1 提前过滤异常值 2 增大shuffle并行度 3 两阶段聚合（局部聚合+全局聚合）【仅仅适用于聚合类的shuffle操作，适用范围相对较窄】 4 异常值 join .....

关系型数据库本身比较容易成为系统瓶颈，单机存储容量、连接数、处理能力都有限。当单表的数据量达到 1000W 或 100G 以后，由于查询维度较多，即使添加从库、优化索引，做...

1、对于资源竞争较少的情况：性能cas>synchronized，使用synchronized同步锁进行线程阻塞和唤醒切换以及用户态内核态间的切换操作额外浪费消耗cpu资源...

概念 Flink supports different notions of time in streaming programs. flink支持不同的 time 流媒体...

distinct算子原理： 含有reduceByKey则会有shuffle 贴上spark源码： 示例代码： end...

一、抛出问题 关于如何计算并发线程数，一般分两派，来自两本书，且都是好书，到底哪个是对的？问题追踪后，整理如下： 第一派：《Java Concurrency in Prac...

Flink On Yarn 架构 主要启动流程 1. 启动进程 首先我们通过下面的命令行启动flink on yarn的集群 bin/yarn-session.sh -n ...

主要思路：相同key值的消息写入同一个partition（partition内的消息是有序的），一个partition的消息只会被一个消费者消费。 如果一个消费者是多个线程...

SR and AR 简单来说，分区中的所有副本统称为 AR (Assigned Replicas)。所有与leader副本保持一定程度同步的副本（包括leader副本在内）...

面试官在考查你Kafka知识的时候很可能会故弄玄虚的问你一下：Kafka中的选举时怎么回事？除非问你具体的哪种选举，否则问这种问题的面试官多半也是对Kafka一知半解，这个...

行式存储： 优点：数据被保存在一起了，insert和update更加容易 缺点：选择（selection）时即时只涉及某几列，所有数据也都会被读取 列式存储： 优点：查询时...

常用的存储格式 1.Textfile Hive数据表的默认格式，数据不做压缩，磁盘开销大，数据解析开销大。存储方式：行存储。 可以使用Gzip压缩算法，但压缩后的文件不支持...

Redis 在 2.8.9 版本添加了 HyperLogLog 结构。 Redis HyperLogLog 是用来做基数统计的算法，HyperLogLog 的优点是，在输入...

一、常用transformation介绍 操作 介绍 map 将RDD中的每个元素传入自定义函数，获取一个新的元素，然后用新的元素组成新的RDD filter 对RDD中每...

块大小取决于dfs.blocksize，2.x默认为128M，1.x默认为64M（128M指的是块的最大大小！每个块最多存储128M的数据，如果当前块存储的数据不满128M...

Redis为什么这么快 1、基于内存，绝大部分请求是纯粹的内存操作，非常快速。数据存在内存中，类似于HashMap，HashMap的优势就是查找和操作的时间复杂度都是O(1...

副本数是1 ，意思是就一个分区，同时也是主分区 副本数是2，意思是有2个分区，1个是主分区，1个是从分区 副本数已把主分区数包含在内。 设置replication.fact...

前提条件 任何消息组件不丢数据都是在特定场景下一定条件的，kafka要保证消息不丢，有两个核心条件。 第一，必须是已提交的消息，即committed message。kaf...