卖画买山

一、同样是缓存，用map不行吗？ Redis可以存储几十个G的数据，Map行吗？ Redis的缓存可以进行本地持久化，Map行吗？ Redis可以作为分布式缓存，Map只能...

前言 最近遇到一个ClickHouse的线上问题： Code: 242, e.displayText() = DB::Exception: Table is in read...

新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。 2021大数据领域优质创作博客，带你从入门到精通，该博客每天更新，逐渐完善大数据各个知识体系的文章，帮助大家更高...

将key相对分散，并且数据量小的表放在join的左边，这样可以有效减少内存溢出错误发生的几率；再进一步，可以使用Group让小的维度表（1000条以下的记录条数）先进内存。...

修正拉链表回滚问题本质就是： 其实目的就是找到历史的快照。 历史的快照可以根据起始更新时间，那你就找endtime小于你出错的数据就行了，出错日期的数据就行了。 重新导入数...

这篇文章主要介绍了数据仓库中拉链表相关的内容，包括它的原理、设计、以及在我们大数据场景下的实现方式。...

大家好，我是云祁。 有人说世界上有三个伟大的发明：火，轮子，以及 Kafka。 发展到现在，Apache Kafka 无疑是很成功的，Confluent 公司曾表示世界五百...

Kafka作为分布式MQ，大量用于分布式系统中，如消息推送系统、业务平台系统（如结算平台），就拿结算来说，业务方作为上游把数据打到结算平台，如果一份数据被计算、处理了多次，...

都说“金九银十”，马上十月份即将结束，相信还有相当多的小伙伴没找到合适的工作。在笔试过程中，总会出现那么一两道“有趣”的SQL题，来检测应聘者的一个逻辑思维，这对于初入职场...

相信小伙伴们对于Flink一定不会感到陌生，作为连续三年蝉联第一，荣膺全球最活跃的 Apache 开源项目，Flink在中国的热度也一直是居高不下。近几年，在社区的推动下，...

大数据技术其实是分布式技术在数据处理领域的创新型应用，其本质就是利用更多的计算机组成一个集群，提供更多的计算资源，从而满足更大的计算压力要求。说的通俗易懂一些，就是大数据技...

OVER用于为行定义一个窗口，它对一组值进行操作，不需要使用GROUP BY子句对数据进行分组，能够在同一行中同时返回基础行的列和聚合列。ORDER BY 子句进行排序。窗...

1. spark中的Job 一个Spark应用包含一个驱动进程(driver process，在这个进程中写Spark的逻辑代码) 和多个执行器进程(executor pr...

Shuffle就是对数据进行重组，由于分布式计算的特性和要求，在实现细节上更加繁琐和复杂。 在MapReduce框架，Shuffle是连接Map和Reduce之间的桥梁，M...

前言 大家好我是月哥！今天和大家聊一聊程序员如何谈薪，不限于前端的同学我之前在网上看了很多的谈薪讨论，还是不会谈薪，最后还得是自己去实战，月哥实战了这么多公司，就觉得一个方...

本篇文章是 SQL 必知必会 的读书笔记，SQL必知必会的英文名叫做 Sams Teach Yourself in 10 Minutes。但是，我肯定是不能够在10分钟就能...