霍云

git最好的学习地点是官方出的pro-git，还是中文的。 svn是集中式的，有一个中央服务器，这上面记录了各个版本。客户端只有最新的版本。如果想回到过去的某个版本，那么需要和中央服务器进行通信。这时候中央服务器会有单点故障，是个问题。 git是分布式的，每个机器上都有一份完整…

断路器。 生产上配置的比较简单，数据没有分冷热，例如60天过后直接删除索引。在kibana上可以通过界面配置 极客时间ES中的视频对应章节75-76 es默认network.host绑定是的本地回环localhost，这时候他默认你是用来测试的。不会启动bootstrap ch…

我们的kibana需要被nginx代理一下。涉及到如下配置项 个别页面上出现的乱码，例如"娣诲姞"， 这种词在 zh-CN.json中可以找到，把他改对即可。

面试的时候，面试官让我写一个阻塞队列。其实他的意思就是让我写一个生产者消费者。且不谈Lock等JUC的东西。他实际考察的是sync、notify、notifyall这些东西。 我用了两把锁，一个生产者锁，一个消费者锁。我当时在牛客上写了算是伪代码。 他跟我说notify会造成死…

cpu会对代码进行优化，导致真正执行起来的顺序和我们想的可能不一样。经典的一道面试题就是单例模式为什么要用DBL，并且要不要加volatile volatile保证了线程之间的可见性，也能防止指令重排。创建对象的具体过程可以通过javap -c看看字节码 面试场合也会谈起这个东…

我们都知道cpu的速度和内存不匹配，为了解决这个问题有了缓存。在不同厂商cpu中缓存的大小也不一样。以intel为例，缓存行为64k，也就是8个long 两个变量在同一个缓存行中，但是这是两个不相关的变量。有两个线程分别对齐进行读写，这样就导致缓存频繁的失效，导致效率低下。 先…

实时计算中，source端和sink端很有可能都是kafka，涉及到如何在整个过程中能够不丢数据也就是at-least-once，在这个基础上如何再做到exactly-once。在工作中，比如告警数据，这种是不能丢的，丢了的话高等级告警报不出来，你得背多大一口锅？😹 先从ka…

Map的输出并不是简单的直接写到磁盘，先写到缓冲区，当缓冲区要spill磁盘的时候对缓冲区内容进行排序。 每个MapTask（计算一个split）都有一个环形缓冲区（默认100MB，这是一个调优点，不过应该再也不写MR了），当缓冲区达到阈值（80%，这也是个可调优的地方），有一…

此文章旨在记录学习源码的过程，欢迎私信交流。 spark streaming任务的产生是由JobGenerator定时产生的。 当没有使用窗口函数的时候，我们的任务就是3秒产生一个。 代码中的window用法意思是每6秒计算过去9秒的数据。这时候启动程序，看看ui 看到job(…