HBase是三维有序存储的，通过rowkey（行键），column key（column family和qualifier）和TimeStamp（时间戳）这个三个维度可以对HBase中的数据进行快速定位。 rowkey是一个二进制码流，可以是任意字符串，最大长度 64kb ，实…

设计 kafka 初衷，作为统一平台处理大公司的实时数据。所以 必须具有如下特性： kafka 高度依赖 文件系统 存储和缓存消息。通过对磁盘的顺序读写，并借助 OS 层面的 页缓存（page cache），保证优于缓存在内存中或其他结构中。 利用磁盘的顺序读写，操作一个文件，…

有这样一个问题：给 40 亿个不重复的 unsigned int 的整数，没排序。再给一个数，快速判断这个数是否存在 40 亿个整数中？内存限制 2G。

文章对JVM内存区域分布、JVM内存溢出分析、JVM垃圾回收算法/垃圾收集器、JVM性能调优工具及技巧、类加载等部分做了详细描述。 还有个免费的chat，欢迎在这里和大牛们一起学习讨论：https://gitbook.cn/gitchat/activity/5b6c5b33e

因为在面互联网大厂的时候，一定会问并发，问并发的时候一定会问到线程池，问到线程池一定会问构造线程池的一些参数的含义。 然后，有一些面试官会就线程池的具体场景，问一些可能会遇到的问题。 所以，在这里就可能有上述那样一个面试中的问题，算是Java面试里相对来说高阶一点的。 我相信大…

只要一个StreamingContext启动之后，就不能再往其中添加任何计算逻辑了。 一个StreamingContext停止之后，是肯定不能重启的。调用stop()之后，不能再调用start() 一个JVM同时只能有一个StreamingContext启动(和SparkCon…

(最近笔试遇到笔试题：select，poll，epoll都是IO多路复用的机制)。 I/O多路复用就通过一种机制，可以监视多个描述符，一旦某个描述符就绪（一般是读就绪或者写就绪），能够通知程序进行相应的读写操作。但select，poll，epoll本质上都是同步I/O，因为他们…

大数据技术和应用系统目前已经在各个行业中发挥着巨大的作用，各种各样的开源技术也给大数据从业人员带来了很大的便利。Bitmap 作为一种大数据需求下产生的计算体系，有着计算速度快、信息密度高、支持海量数据等众多优势。 美图拥有海量用户数据，每天都有大量数据计算任务。而 Bitma…

我们先来看个简单的问题。 有人可能会用一个 int 数组，然后把 20 亿个数给存进去，然后再循环遍历一下就可以了。 大概需要 8GB 的内存空间，显然有些计算机的内存一次是加载不了这么这么多的数据的。 按照上面的做法，时间复杂度是 O(n)，内存是 8GB，实际上我们是可以把…