Lucene

2814 关注，88 文章

2月前

「这是我参与11月更文挑战的第3天，活动详情查看：2021最后一次更文挑战」什么是全文检索数据分类我们生活中的数据总体分为两种：结构化数据和非结构化数据。结构化数据：指具有固定格式或有限长度的

70
2
评论

6月前

深度解析 Lucene 轻量级全文索引实现原理

Lucene的相关使用心得，内容涵盖索引的生成、管理及搜索功能等内容。本文介绍了在轻量级的数据搜索中，深度解析Lucene如何实现全文索引。

901
4
评论

6月前

Lucene源码解析——DocValue存储方式

什么是DocValue? 讲完第一章的行式存储StoredField，接下来讲列式存储的DocValue。什么叫列式存储？它和行式存储的区别是什么？一图以示之，如果我们要存储这个具有3个field，

268
1
评论

Lucene源码解析——DocValue存储方式

6月前

Lucene源码解析——StoredField存储方式

StoredField就是我们所说的正排数据，它是一种行式存储，类似于mysql中的行数据，StoredField承担存储最原始的数据的角色重要性不言而喻

281
1
评论

Lucene源码解析——StoredField存储方式

7月前

十分钟了解lucene，简单使用和优化注意事项

1 lucene简介 1.1 什么是lucene Lucene是一个全文搜索框架，而不是应用产品。因此它并不像www.baidu.com 或者google Desktop那么拿来就能用，它只是提供了一

199
点赞
评论

7月前

基于Lucene实现万亿级多维检索与实时分析

5月29日，录信数软技术总监郑其华在QCon全球软件开发者大会分享了“基于Lucene实现万亿级多维检索与实时分析”的主题演讲。

182
点赞
评论

基于Lucene实现万亿级多维检索与实时分析

9月前

详解快速选择算法(Lucene实现源码分析)

计算集合中第k大(小)的元素. 就是topK相关系列的问题，但是选择算法只需要找到第k个就好. 定义的接口除了选择还有交换. Lucene对于选择算法有两个实现，快速选择算法及基数选择算法.本文将详细分析快速选择算法的源码. 该类的路径是: org.apache.lucene.…

210
2
2

10月前

lucene系列(五)索引格式之fdｍ文件

首先学习一下 lucene 的索引文件结构。本文介绍 Field 相关信息的存储文件格式。当你在写入 field 信息时，如果像下面这样，指定了 Stored. 也就是希望 lucene 能够保存你的原始 Field 信息，那么就会生成三个文件 .fdt .fdm .fdx.…

204
1
评论

10月前

lucene系列(六)索引格式之fdt文件

本文介绍一下.fdt 文件的存储格式。 fdt 文件，以正排的方式，存储了 field 的原始真实数据。也就是说，你添加到所有中的所有 field 内容。都会存储在此文件中。其中Header 和 Footer, 与其中文件并无差别。详细字段解释可以看 Lucene 系列（二）…

409
1
评论

11月前

为什么ElasticSearch比MySQL更适合全文索引

熟悉 MySQL 的同学一定都知道，MySQL 对于复杂条件查询的支持并不好。MySQL 最多使用一个条件涉及的索引来过滤，然后剩余的条件只能在遍历行过程中进行内存过滤，对这个过程不了解的同学可以先行阅读一下《MySQL复杂where条件分析》。上述这种处理复杂条件查询的方式…

1567
6
2

为什么ElasticSearch比MySQL更适合全文索引

11月前

lucene系列(四)DirectMonotonicWriter源码分析

来学习一下DirectMonotonicWriter类的代码. 源码版本: 8.7.0 它不是一个通用的解决方案, 只适用于单调递增数组, 他通过计算元素之的增量, 让所有元素迅速变小. 之后使用DirectWriter来进行压缩存储,以获得更好的压缩率. 因此它很适合存储文件…

732
1
评论

11月前

lucene系列(三)DirectWriter源码分析

本文学习下 Lucene 在存储大量整数时使用到的编码方法。 DirectWriter 用 bit 编码方式进行数组压缩的功能，它在整个数组的所有元素都不大的情况下能带来不错的压缩效果。 DirectWriter 是 Lucene 为整型数组重编码成字节数组的工具，它的底层包含…

868
2
评论

11月前

lucene系列(二)int的变长存储与zigzag编码

lucene 代码量还是比较多的，在没有看的很明白的情况下，先写一写新学到的工具类的一些操作吧~也是收获很多。在 lucene 写入索引文件时，为了节省空间，经常会对数据进行一些压缩，这篇文章介绍一种对 int, long 类型有用的压缩方式。即变长存储。对变长数据的写入实…

662
3
2

11月前

lucene系列(一)什么是Lucene

接触搜索/推荐相关工作，也有两年了。工作里对lucene的接触不少，却也不精。最近工作里没有那么忙，因此想通过学习源码的方式，来对lucene进行一个系统的学习。此外，听闻lucene源码堪称面对对象设计届的典范，也想从中吸收一些代码设计/开发方面的知识。最近老是感觉自己写的…

2414
3
评论

1年前

Lucene的Smart CN实现分词、停用词、扩展词

Lucene 中提供了 SmartCN 为中文提供分词功能，实际应用中还会涉及到停用词、扩展词（特殊词、专业词）等，因此本文将聚焦在 SmartCN 而暂时不考虑其他中文分词类库。 analyzers-smartcn 是一个用于简体中文索引词的 Analyzer。但是需要注意的…

929
2
2

3年前

ELK 使用小技巧（第 3 期）

在 6.0 之前，Filebeat 可以设置多个输出（必须是不同类型的输出）；从 6.0 开始已经禁止多输出了，只能拥有一个输出，如果想实现多输出，可以借助 logstash 等中间组件进行输出分发。 ES 是 Java 应用，底层存储引擎是基于 Lucene 的，heapsi…

1999
16
评论

3年前

海量数据搜索---搜索引擎

在我们平常的生活工作中，百度、谷歌这些搜索网站已经成为了我们受教解惑的学校，俗话说的好，有问题找度娘。那么百度是如何在海里数据中找到自己需要的数据呢，为什么他搜索的速度如此之快，我们都知道是因为百度的搜索引擎，那么搜索引擎到底是个什么东西呢？可能有的程序员会想到es，但是并不能…

3149
10
评论

3年前

ElasticSearch中的映射

这里讲的ElasticSearch中的映射（schema mapping），是定义存储和索引的文档类型和字段的过程。这里记住映射是一个动态过程。索引中的每一个文档都有一个类型，每种类型都有他自己的映射。映射起到定义文档字段的数据类型的功能，这一功能其实是通过配置来定义字段类型和…

1693
6
评论

ElasticSearch中的映射

3年前

干货 | Elasticsearch Nested类型深入详解

在Elasticsearch实战场景中，我们或多或少会遇到嵌套文档的组合形式，反映在ES中称为父子文档。父子文档的实现，至少包含以下两种方式： 1）父子文档父子文档在5.X版本中通过parent-child父子type实现，即：1个索引对应多个type； 6.X+版本已经不…

1441
5
评论

3年前

实战 Lucene，第 1 部分朋周登 2006 年 4 月 20 日发布 http://www.ibm.com/developerworks/cn/library/?series_title_by=**auto** 敬请期待该系列的后续内容。敬请期待该系列的后续内容。 …

473
3
1