Hadoop
3篇文章 · 0订阅
  • Hadoop之MapReduce实战
    MapReduce是一种编程模型，"Map（映射）"和"Reduce（归约）"，是它们的主要思想，我们通过Map函数来分布式处理输入数据，然后通过Reduce汇总结果并输出。其实这个概念有点类似于我们Java8中的StreamApi，有兴趣的同学也可以去看看。 MapReduc…
    Hadoop
  • MapReduce性能优化
    针对HDFS而言，每一个小文件在namenode中都会占用150字节的内存空间，最终会导致集群中虽然存储了很多个文件，但是文件的体积并不大，这样就没有意义了。 针对MapReduce而言，每一个小文件都是一个Block，都会产生一个InputSplit，最终每一个小文件都会产生…
    Hadoop
  • Hadoop 系列（五）—— Hadoop 集群环境搭建
    这里搭建一个 3 节点的 Hadoop 集群，其中三台主机均部署 DataNode 和 NodeManager 服务，但只有 hadoop001 上部署 NameNode 和 ResourceManager 服务。 Hadoop 的运行依赖 JDK，需要预先安装。其安装步骤单独…
    Hadoop