今天要给 100 亿个数字排序，100 亿个 int 型数字放在文件里面大概有 37.2GB，非常大，内存一次装不下了。那么肯定是要拆分成小的文件一个一个来处理，最终在合并成一个排好序的大文件。

堆是二叉树。不是对象内存的堆。不同的概念。 本质是一个数据结构，二叉树。有一些特点的二叉树。 基于数组实现。 正因为父节点比子节点大，基于这个，根节点始终是最大的节点。 父节点，比子节点要大。但是又不是有序二叉树。 就是只有队头才是最大的，权重最高，在最上面。每次弹出数据，就是…

1. 如何从大量的 URL 中找出相同的 URL？ 给定 a、b 两个文件，各存放 50 亿个 URL，每个 URL 各占 64B，内存限制是 4G。请找出 a、b 两个文件共同的 URL。 每个 URL 占 64B，那么 50 亿个 URL占用的空间大小约为 320GB。 由…

点击上方 "云祁QI"关注, “星标”一起成长 十道海量数据处理面试题 1、海量日志数据，提取出某日访问百度次数最多的那个IP。 此题，在我之前的一篇文章算法里头有所提到，当时给出的方案是：IP的数目

去年（18年）年底想出来看看机会，最后很幸运地拿到了 PingCAP，今日头条的 offer 以及蚂蚁金服的口头 offer。想着可以总结一下经验，分享一下自己这一段"骑驴找马"过的心路历程。当然，一家之言，难免粗浅，如有不妥，敬请指正。 全文有点长，假如只对一家公司感兴趣的话…

一、前言 我们都知道 Kafka 是基于磁盘进行存储的，但 Kafka 官方又称其具有高性能、高吞吐、低延时的特点，其吞吐量动辄几十上百万。小伙伴们是不是有点困惑了，一般认为在磁盘上读写数据是会降低性

是一种基于消息传递的，具有高容错的一致性算法。 主要解决分布式系统中，如何就某个决策达成一致性的问题。主要的工程实现，ZAB，Google Chubby、微信的 PhxPaxos。 paxos算法的作者认为，在信道不可信的前提下，通过消息传递的方式达成一致性，是不可能的。因此，…

周日午后，刚刚放下手里的电话，正在给刚刚的面试者写评价。刚刚写到『对Linux的基本IO模型理解不深』这句的时候，女朋友突然出现。 在Java中，主要有三种IO模型，分别是阻塞IO（BIO）、非阻塞IO（NIO）和 异步IO（AIO）。 Java中提供的IO有关的API，在文件…

MQ就是消息队列。是软件和软件进行通信的中间件产品 异步处理 - 相比于传统的串行、并行方式，提高了系统吞吐量。 应用解耦 - 系统间通过消息通信，不用关心其他系统的处理。 流量削锋 - 可以通过消息队列长度控制请求量；可以缓解短时间内的高并发请求。 日志处理 - 解决大量日志…