获得徽章 7
赞了这篇文章
赞了这篇文章
赞了这篇沸点
刚才看了下Elasticsearch的原理,感觉分布式系统的思想都大差不差。下面是我对ES的理解:
1. ES基于Lucene,Lucene底层的存储结构通过Segment表达,Segment里面有分词以及出现的次数和所在的文件,通过这样的结构就能实现搜索功能。那么,在ES中的每个分片就是一个Lucene。
2. 在Lucene中,Segment是在内存中,所以,数据的可靠就需要ES去保障。另外,从这一点也可以得知ES是吃内存的,这也是为什么可以做到实时搜索。
- 单机情况下,为了不影响写入效率,通常的解决方案就是日志先行写入磁盘,就像MySQL中的WAL,在ES中叫TransLog。基于日志形式在进行数据更新时,可以通过合并的方式保障同一条数据不重复,很多分布式系统中都有这样的思想,例如HBase中的LSM。
- 在分布式系统中,数据可靠性的保障都是通过副本的形式,就例如redis、Hadoop、Kafka等等。保障副本的一致就离不开paxos、raft这些一致性协议。
3.当然,在分布式系统中的查询,都是先路由到对应的分片,然后再将各分片的数据聚合,例如Hadoop中的shuffle,在ES中同样会有聚合的阶段。
1. ES基于Lucene,Lucene底层的存储结构通过Segment表达,Segment里面有分词以及出现的次数和所在的文件,通过这样的结构就能实现搜索功能。那么,在ES中的每个分片就是一个Lucene。
2. 在Lucene中,Segment是在内存中,所以,数据的可靠就需要ES去保障。另外,从这一点也可以得知ES是吃内存的,这也是为什么可以做到实时搜索。
- 单机情况下,为了不影响写入效率,通常的解决方案就是日志先行写入磁盘,就像MySQL中的WAL,在ES中叫TransLog。基于日志形式在进行数据更新时,可以通过合并的方式保障同一条数据不重复,很多分布式系统中都有这样的思想,例如HBase中的LSM。
- 在分布式系统中,数据可靠性的保障都是通过副本的形式,就例如redis、Hadoop、Kafka等等。保障副本的一致就离不开paxos、raft这些一致性协议。
3.当然,在分布式系统中的查询,都是先路由到对应的分片,然后再将各分片的数据聚合,例如Hadoop中的shuffle,在ES中同样会有聚合的阶段。
展开
评论
5
赞了这篇沸点
赞了这篇沸点
2025.04.21日记
愿望的种子一旦种下,就会生根发芽。
今天下午上课的时候在抖音刷到了刀郎演唱会都是一群中年人,我就想到,我爸爸妈妈,尤其是妈妈,很喜欢刀郎。从小我就知道《2002年的第一场雪》这首歌,几年前刀郎复出,写了新歌,他们也都会唱。
而我现在已经不是一分不赚的穷学生啦,我每个月可以领600块的“低保”呢。一学期3个月就是1800,差不多可以买两张880元票价的演唱会门票🎫 让他们也开心开心,享受享受。我现在余额还有1800多呢,还有五六月的生活费可以攒攒钱。
然后暑假我还是会继续去打暑假工的,如果赚到更多钱,就可以买演唱会内场那种1280的啦。我也没看过演唱会,只是听说内场离得更近,可以坐在前面,也许还有互动机会。
加油,希望我暑假可以圆梦呀!抢到哪个城市的票都行。 #挑战每日一条沸点#
愿望的种子一旦种下,就会生根发芽。
今天下午上课的时候在抖音刷到了刀郎演唱会都是一群中年人,我就想到,我爸爸妈妈,尤其是妈妈,很喜欢刀郎。从小我就知道《2002年的第一场雪》这首歌,几年前刀郎复出,写了新歌,他们也都会唱。
而我现在已经不是一分不赚的穷学生啦,我每个月可以领600块的“低保”呢。一学期3个月就是1800,差不多可以买两张880元票价的演唱会门票🎫 让他们也开心开心,享受享受。我现在余额还有1800多呢,还有五六月的生活费可以攒攒钱。
然后暑假我还是会继续去打暑假工的,如果赚到更多钱,就可以买演唱会内场那种1280的啦。我也没看过演唱会,只是听说内场离得更近,可以坐在前面,也许还有互动机会。
加油,希望我暑假可以圆梦呀!抢到哪个城市的票都行。 #挑战每日一条沸点#
展开
29
15
赞了这篇沸点
jym,想请教一下最近感情上的问题,和wx上的一个女孩子最近聊的蛮暧昧的,我有过一段恋爱经历但是她没有呢,一开始就是这样暧昧的聊着,突然上周他和我坦白了发了很多字,总结下来就是她不想装糊涂了,她对我有好感,然后我也就顺水推舟的表达了我其实也蛮喜欢她的,我想着要不直接表白啥的,她说她感觉表白应该正式一点应该是那种面对面说的,我想了一下也是,所以就想着等下次(第一次见面)见面表白吧,我想着要不这个五一呢,我就和她说了我的想法,五一最后俩天或者一天可以见个面,然后她拒绝了说:要在家多陪陪妈妈(这个是真的,她干啥一般都会和妈妈说),想在家多呆俩天,还说五一见面有点太快了,我也是比较喜欢顺其自然的关系,正好碰到了五一所以就提出了我上面说的想法。
在她没有袒露自己心里面想法的之前,一般都是句句有回应的那种,例如你发信息 她隔了很久没回你,她就会解释一下自己刚刚干啥去了,我也是一样的,我平时也很愿意去分享自己的生活,但是她袒露自己心里想法之后,就没有之前的那种句句有回应了,反而没有之前的那种热情了,但是也会和我分享她的生活(她大学),就是现在会让我有些内耗这段关系,因为这种前后的落差以及这段关系的尴尬,这段关系处于朋友之上 但是恋人还没到的那种感觉,我又怕问她为什么没之前那样 会给她压力,所以现在嘎嘎内耗,明明内心是很在意这种态度的转变的,我在想要不要持续这段关系,希望优秀的jym 能给弟弟一点建议!谢谢,我今年大四 目前在上海实习。
在她没有袒露自己心里面想法的之前,一般都是句句有回应的那种,例如你发信息 她隔了很久没回你,她就会解释一下自己刚刚干啥去了,我也是一样的,我平时也很愿意去分享自己的生活,但是她袒露自己心里想法之后,就没有之前的那种句句有回应了,反而没有之前的那种热情了,但是也会和我分享她的生活(她大学),就是现在会让我有些内耗这段关系,因为这种前后的落差以及这段关系的尴尬,这段关系处于朋友之上 但是恋人还没到的那种感觉,我又怕问她为什么没之前那样 会给她压力,所以现在嘎嘎内耗,明明内心是很在意这种态度的转变的,我在想要不要持续这段关系,希望优秀的jym 能给弟弟一点建议!谢谢,我今年大四 目前在上海实习。
展开
105
8
赞了这篇沸点
家人们,预算15个,咬咬牙能上18个
目前看的都是电车,博智x3,零跑C10,小鹏 mona03,小鹏P7+
还有把牙咬碎了,搞个小米yu7
家离公司60多公里,选个差不多的还是咬碎牙一步到胃
目前看的都是电车,博智x3,零跑C10,小鹏 mona03,小鹏P7+
还有把牙咬碎了,搞个小米yu7
家离公司60多公里,选个差不多的还是咬碎牙一步到胃
224
13
赞了这篇文章
赞了这篇沸点
赞了这篇文章
赞了这篇沸点
首先感谢各位热心掘友的关心!现在有一个好消息和一个坏消息,好消息是我的猫在昨晚凌晨一点多找到了,找到的时候浑身脏兮兮,白猫变灰猫了。坏消息是,我在抓它的时候,它有点应激把我咬伤了,出了点血,手臂还有一条很长的抓痕,现在准备去打疫苗了。具体找到的过程就是按照掘友们说的,楼道底下室有隐藏空间的地方反复找,发现了它的毛,但是没有它的踪影。我又去小区里找了之前的大橘,又给它吃了一把猫粮,希望它上上心。最后凌晨一点多我快心死的时候,突然看到我的猫蹲在花坛上,我走近一看确认是它,然后发现在花坛上面蹲着那只大橘,当时我内心就是一个:我敲?大橘这么给力?我就轻轻的叫它,它向我跑来我就给它抱住了,但是抱住没多久,它又想跑,我不敢放手怕又跑了就抓不到了,于是我就被抓伤了,后面带猫上楼,我给自己紧急消毒了,今天要去打疫苗了,还得请假,太折腾了啊!!!!!
贴上大橘的照片和找到它之后的样子,脏兮兮的可怜死了🥺
贴上大橘的照片和找到它之后的样子,脏兮兮的可怜死了🥺
展开
188
60
,接下来要辛苦我的老婆了![[快哭了]](http://lf-web-assets.juejin.cn/obj/juejin-web/xitu_juejin_web/img/jj_emoji_47.63391a1.png)
![[不失礼貌的微笑]](http://lf-web-assets.juejin.cn/obj/juejin-web/xitu_juejin_web/img/jj_emoji_16.9d17f6d.png)