呼延十

计算集合中第k大(小)的元素. 就是topK相关系列的问题，但是选择算法只需要找到第k个就好. 定义的接口除了选择还有交换. Lucene对于选择算法有两个实现，快速选择算法及基数选择算法.本文将详细分析快速选择算法的源码. 该类的路径是: org.apache.lucene.…

首先学习一下 lucene 的索引文件结构。本文介绍 Field 相关信息的存储文件格式。 当你在写入 field 信息时，如果像下面这样，指定了 Stored. 也就是希望 lucene 能够保存你的原始 Field 信息，那么就会生成三个文件 .fdt .fdm .fdx.…

本文介绍一下.fdt 文件的存储格式。 fdt 文件，以正排的方式，存储了 field 的原始真实数据。也就是说，你添加到所有中的所有 field 内容。都会存储在此文件中。 其中Header 和 Footer, 与其中文件并无差别。详细字段解释可以看 Lucene 系列（二）…

来学习一下DirectMonotonicWriter类的代码. 源码版本: 8.7.0 它不是一个通用的解决方案, 只适用于单调递增数组, 他通过计算元素之的增量, 让所有元素迅速变小. 之后使用DirectWriter来进行压缩存储,以获得更好的压缩率. 因此它很适合存储文件…

本文学习下 Lucene 在存储大量整数时使用到的编码方法。 DirectWriter 用 bit 编码方式进行数组压缩的功能，它在整个数组的所有元素都不大的情况下能带来不错的压缩效果。 DirectWriter 是 Lucene 为整型数组重编码成字节数组的工具，它的底层包含…

lucene 代码量还是比较多的，在没有看的很明白的情况下，先写一写新学到的工具类的一些操作吧~也是收获很多。 在 lucene 写入索引文件时，为了节省空间，经常会对数据进行一些压缩，这篇文章介绍一种对 int, long 类型有用的压缩方式。即变长存储。 对变长数据的写入实…

接触搜索/推荐相关工作，也有两年了。工作里对lucene的接触不少，却也不精。最近工作里没有那么忙，因此想通过学习源码的方式，来对lucene进行一个系统的学习。 此外，听闻lucene源码堪称面对对象设计届的典范，也想从中吸收一些代码设计/开发方面的知识。最近老是感觉自己写的…

最近在做一些意图识别方面的工作，所以尝试一下用 fasttext 做一个文本分类器，学习记录如下。 首先，我们使用 fasttext 的目的是什么？是文本分类，即对一个词语，给出它所属于的类别。 原理这部分要跳过了，因为网上的原理文章特别多，如果各位感兴趣的话可以移步 goog…

我有个学弟，在一家小型互联网公司做Java后端开发，最近他们公司新来了一个技术总监，这位技术总监对技术细节很看重，一来公司之后就推出了很多"政策"，比如定义了很多开发规范、日志规范、甚至是要求大家统一使用某一款IDE。 但是这些都不是我这个学弟和我吐槽的点，他真正和我吐槽的是，…