王知无

2020年初是我第一次开始把工作中的内容系统性的整理成文章和面试手册，截至目前已经超过300万字，几乎等于一部长篇小说的篇幅。 为什么建一个这样的付费社区？在2022年之前...

《大数据成神之路》第四个版本更新完毕。我们的口号是：为希望从事大数据开发或者由后端转型为大数据开发的工程师们指出需要学习的知识点和路径。...

一、 什么是用户画像 用户画像是指根据用户的属性、用户偏好、生活习惯、用户行为等信息而抽象出来的标签化用户模型。通俗说就是给用户打标签，而标签是通过对用户信息分析而来的高度...

从字面上来看，数据仓库就是一个存放数据的仓库，它里面存放了各种各样的数据，而这些数据需要按照一些结构、规则来组织和存放。...

作者在实际工作中调研了Iceberg的一些优缺点和在各大厂的应用，总结在下面。希望能给大家带来一些启示。...

很久之前，曾经写过一篇 《Presto在大数据领域的实践和探索》 。文中详细讲解了Presto的原理和应用。 今天这篇文章是升级版本，把我个人读过的文章和书籍的笔记进行了系...

Hbase为了解决大数据环境中海量结构化数据的实时读写问题。为了弥补hadoop生态中没有实时存储的缺陷。...

这是小编的一个读者喜提offer后在群里做的分享，文中隐藏了读者的个人隐私信息，小编这里把他的面经分享出来供大家学习。群友们看到后都纷纷表示【我酸了，现在我就是个柠檬精系列...

这是小编的一个读者喜提offer后在群里做的分享，文中隐藏了读者的个人隐私信息，小编这里把他的面经分享出来供大家学习。群友们看到后都纷纷表示【我酸了，现在我就是个柠檬精系列...

小说《三体》第一部结尾，叶文洁透过红岸基地天空看到了最后一次日落。她亲手发出的讯息让人类太阳永远沉沦。多年以后，一颗小小的水滴瞬间摧毁庞大的人类星际舰队，人类的骄傲与自尊灰...

数据可靠性 Kafka 作为一个商业级消息中间件，消息可靠性的重要性可想而知。本文从 Producter 往 Broker 发送消息、Topic 分区副本以及 Leader...

一条消息只有被ISR中所有Follower都从Leader复制过去才会被认为已提交。这样就避免了部分数据被写进了Leader，还没来得及被任何Follower复制就宕机了，...

Spark3.0已经发布半年之久，这次大版本的升级主要是集中在性能优化和文档丰富上，其中46%的优化都集中在SparkSQL上，SQL优化里最引人注意的非AdaptiveQ...

Spark3.0已经发布半年之久，这次大版本的升级主要是集中在性能优化和文档丰富上，其中46%的优化都集中在SparkSQL上，SQL优化里最引人注意的非AdaptiveQ...

一面简单介绍一下自己以及自己做过的项目；JavaHashMap是不是线程安全的？为什么？请用Java写个单例模式知道几种GC算法？如何实现一个高效的单项列表逆向输出？数据湖...

数据一致性HDFS作为分布式文件系统在分布式环境下如何保证数据一致性。HDFS中，存储的文件将会被分成若干的大小一致的block分布式地存储在不同的机器上，需要NameNo...

Kafka的高可靠性的保障来源于其健壮的副本（replication）策略。通过调节其副本相关参数，可以使得Kafka在性能和可靠性之间运转的游刃有余。Kafka从0.8....

我们先抛出一个问题：LSM树是HBase里使用的非常有创意的一种数据结构。在有代表性的关系型数据库如MySQL、SQLServer、Oracle中，数据存储与索引的基本结构...

热身30题1.描述一下HDFS的写流程2.描述一下HDFS的读流程3.详细讲解一下HDFS的体系结构4.如果一个datanode出现宕机，恢复流程是什么样的？5.通常你是如...