Flink基于流编程模型，内置了很多强大功能的算子，可以帮助我们快速开发应用程序。耗费一周整理Flink算子手册，希望能够帮助各位小伙伴~

这是我参与更文挑战的第4天，活动详情查看：更文挑战 介绍 RDD算子从对数据操作来讲大致分为两类: 转换(transformations)和行动(action) 转换算子: 将一个RDD转换为另一个R

RDD依赖关系 4.1 RDD 血缘关系 RDD只支持粗粒度转换 5.RDD持久化 6.RDD分区器 7.RDD文件读取与保存

宝我今天跟文了，跟的想你的文，常规性能调优二：RDD优化 RDD复用  在对RDD进行算子时，要避免相同的算子和计算逻辑之下对RDD进行重复的计算  对上图中的RDD计算架构进

在MapReduce的时候也许很多人会有这种疑问：写了MR后，map task和reduce task是如何在多节点上并行执行的，而且又是怎么决定哪个任务执行再哪个节点上的？其实这些问题都是和这个Yarn有关。因为Yarn这个框架其实不仅仅是支持MR，还可以运行各种各样的程序。…

大数据技术其实是分布式技术在数据处理领域的创新型应用，其本质就是利用更多的计算机组成一个集群，提供更多的计算资源，从而满足更大的计算压力要求。说的通俗易懂一些，就是大数据技术的诞生解决的就是数据 ..

Distributed FileSystem顾名思义是一个分布式文件系统，它会通过RPC的方式远程过程调用NameNode里的open方法，这个open方法有什么作用呢，就是获取要读的文件的file block locations，也就是文件的block的位置，在上一讲我们也已…

HDFS的小总结，包括存储策略，架构演进，元数据管理，双缓冲机制···等内容，之前也有两篇关于HDFS的内容，总得来说算是介绍地比较详细了

随着公司业务的高速发展，字节跳动目前 HDFS 服务的规模已经到达“双 10”的级别：单集群节点 10 万台级别、单集群数据量达到 10EB 级别。