bigdata
5篇文章 · 0订阅
  • Spark 架构概述
    介绍 Spark 生态。 介绍 Spark 基本概念和常用术语。 介绍 Spark 的执行原理和架构设计。 介绍 Spark-Yarn 部署模式。 介绍 Saprk RDD 运行原理。 Spark Core：包含了 Spark 的基础 API，比如对于 RDD 的操作 API，…
    大数据
  • 带你入坑大数据（一） --- HDFS基础概念篇
    从零开始的高并发系列我们已经把 zookeeper 给更新完了，顺带一提之前的zookeeper并没有结合大数据来进行说明。重新开个坑一方面是一直都想找个理由来总结一下大数据方面的东西，另一方面则是抓住时代的走向吧，毕竟也是为了自己，所以废话不多说我们就开始吧。 单个文件比较大…
    HDFS
  • 带你入坑大数据（二） --- HDFS的读写流程和一些重要策略
    Distributed FileSystem顾名思义是一个分布式文件系统，它会通过RPC的方式远程过程调用NameNode里的open方法，这个open方法有什么作用呢，就是获取要读的文件的file block locations，也就是文件的block的位置，在上一讲我们也已…
    HDFS
  • 带你入坑大数据（四）--- 资源调度框架Yarn
    在MapReduce的时候也许很多人会有这种疑问：写了MR后，map task和reduce task是如何在多节点上并行执行的，而且又是怎么决定哪个任务执行再哪个节点上的？其实这些问题都是和这个Yarn有关。因为Yarn这个框架其实不仅仅是支持MR，还可以运行各种各样的程序。…
    大数据
  • 带你入坑大数据（三） --- MapReduce介绍
    简单回顾一下HDFS的写流程，MapReduce基础知识及机制了解，更详细的可以到我主页之后的MapReduce章节去查看
    HDFS