王知无

更新内容和时间表大数据基础篇Part0：Java基础篇Part1：Java高级篇Part2：Java之JVM篇Part3：NIO和Netty篇Part4：分布式理论篇框架篇...

感谢胖子大佬提供的企业面试题。本文因为时间关系只有部分答案，后续的答案小编会持续补全，请持续关注本系列。年后升职加薪就靠它了。胖子大佬就在交流群里，需要加群的公众号回复【加...

本文根据阿里云高级技术专家李金波在首届阿里巴巴在线峰会的《企业大数据平台仓库架构建设思路》的分享整理而成。随着互联网规模不断的扩大，数据也在爆炸式地增长，各种结构化、半结构...

本文根据阿里云高级技术专家李金波在首届阿里巴巴在线峰会的《企业大数据平台仓库架构建设思路》的分享整理而成。随着互联网规模不断的扩大，数据也在爆炸式地增长，各种结构化、半结构...

Shuffle的本意是洗牌、混洗的意思，把一组有规则的数据尽量打乱成无规则的数据。而在MapReduce中，Shuffle更像是洗牌的逆过程，指的是将map端的无规则输出按...

背景在大数据领域我们都知道，开发是最简单，任务的合理调优、问题排查才是最重要的。我们在之前的文章《Flink面试通关手册》中也讲解过，作者结合线上出现的一些问题，总结了一些...

小编在去年的时候，写过一篇轰动全网的文章《你需要的不是实时数仓|你需要的是一款强大的OLAP数据库》，这篇文章当时被各大门户网站和自媒体疯狂转载，保守阅读量也在50万+UV...

分布式系统中有个著名的原则CAP原则，C为Consistency(一致性)、A为Availability(可用性)、P为Partitiontolerance(分区容错性)。...

事件时间与水印所谓事件时间，就是FlinkDataStream中的数据元素自身带有的、在其实际发生时记录的时间戳，具有业务含义，并与系统时间独立。很显然，由于外部系统产生的...

前几天，Flink官方release了Flink1.10版本，这个版本有很多改动。比如：其中最重要的一个特性之一是：推出了生产可用的Hive集成。Flink1.9中推出了预...

这篇文章来自一个读者在面试过程中的一个问题，Hadoop在shuffle过程中使用了一个数据结构-环形缓冲区。环形队列是在实际编程极为有用的数据结构，它是一个首尾相连的FI...

最近这段时间一直在忙新集群迁移，上了最新的cdh6.3.0于是Flink提交遇到了许多的问题，还好有clouderaLicense有了原厂的帮助和社区的伙伴，问题解决起来快...

本文来源于云栖社区：https://yq.aliyun.com/articles/743514作者：xy_xin共同点定性上讲，三者均为DataLake的数据存储中间层，其...

Spark发展至今，应该说已经非常成熟了。是大数据计算领域不得不学习的框架。尤其是Spark在稳定性和社区发展的成熟度方面，吊打其他的大数据处理框架。Spark至今只经历过...

这题目和Leetcode中的一些搜索题目有点类似。想处理的问题是：统计一个单词相邻前后两位的数量，如有w1,w2,w3,w4,w5,w6,则：最终要输出为（word,nei...

本文总结了一些读书的时候和工作后看过的书，这些书是从我的书单中挑出来的。不完全统计我个人在京东、当当、亚马逊和Kindle上共买了几百本书，当然算起来其实没有花多少钱，有大...

双十一从2009诞生到现在，2013年绝对是一个分水岭。为什么这么说？因为2013有了全链路压测。每年的11月11日00：00：00，阿里巴巴集团最紧张激动的时刻到来了。多...