乔二爷

HDFS 是一个适合部署在廉价机器上的，具有高度容错性的，高吞吐量的分布式文件系统。 运行在HDFS上的应用具有很大的数据集。HDFS上的一个典型文件大小一般都在G字节至T字节。因此，HDFS被设计成支持大文件存储，能在一个集群里扩展到数百个节点，能够存储海量的数据。 比如说，…

前面我们说了Yarn 是一个资源调度平台，负责为运算程序提供服务器计算资源，方便我们编写的 Spark、flink、MapReduce 这些应用在它上面运行。如果还不知道它是什么的，请移步《Apache Hadoop YARN 的架构与运行流程》。 那么我们有木有办法看到 Ya…

中间件是一类连接软件组件和应用的计算机软件，它包括一组服务。以便于运行在一台或多台机器上的多个软件通过网络进行交互。 该技术所提供的互操作性，推动了一致分布式体系架构的演进，该架构通常用于支持并简化那些复杂的分布式应用程序，它包括 web服务器、事务监控器和消息队列软件。 在计…

3月中旬在拉勾上收到一个蚂蚁金服的大哥要我的简历，当时很惊讶，居然有蚂蚁金服的找到我，然后想都没想就给了。 受宠若惊呀，我知道自己的水平跟阿里的差距有多远，以前一直没用勇气去投，连试试都不敢。这次居然主动找过来了，当时就再想，难道阿里这么缺人么？还是只是为了完成某些KPI，想法…

RDD(Resilient Distributed Dataset) 叫着 弹性分布式数据集 ，是Spark 中最基本的抽象，它代表一个不可变、可分区、里面元素可以并行计算的集合。 RDD 具有数据流模型特点：自动容错、位置感知性调度和可伸缩。 RDD 允许用户在执行多个查询时…