、算子调优一：mapPartitions   普通的map算子对RDD中的每一个元素进行操作，而mapPartitions算子对RDD中每一个分区进行操作。如果是普通的map算子，假设一个partit

本文讲解了如何合理使用rebase命令使我们的提交历史干净、简洁！

刚毕业的时候用过极短时间的SVN，后面就一直在用Git来做代码的版本控制了，前前后后差不多4年的时间，期间做了一些在使用Git过程中的记录和心得，在这里分享给大家，大家或许可以从中吸收到一些有用的东西

前言 最近在网上有个真实发生的案例比较火，说的是一个新入职的员工，不会用 git 拉代码，第二天被开除。由此，可见 git 对我们工作的重要性，无论是前端后端，都是离不开 git 的，下面就让我们一探

编程是一种创造性的工作，是一门艺术。精通任何一门艺术，都需要很多的练习和领悟，所以这里提出的“智慧”，并不是号称一天瘦十斤的减肥药，它并不能代替你自己的勤奋。然而由于软件行业喜欢标新立异，喜欢把简单的

面试总会遇到一些关系高并发、分布式的问题，可是自己工作中不接触，自学又不深入，这可怎么办？？？？？？

在世界上计算有这么一种，以一条记录为单位。就是Map 在世界上计算有这么一种，以一组记录为单位。就是Reduce 最小的计算单位是只有Map，没有Reduce。 按一条一条的记录record(InputFormat)来处理，每次处理的时候不会跟其他条有关系，不关心其他条。 1进…

本篇文章由介绍MapReduce调度原理开始，引出Hadoop1.x版本中MapReduce运行架构的弊端，最后介绍Hadoop2.x以后MapReduce on Yarn模式的架构原

本人虽然不是计算机专业的学生，但是有一点编程基础，目前正在学习计算机知识，对大数据和人工智能还是比较感兴趣。 马云在卸任时讲到：“很多人还没搞清楚什么是PC互联网，移动互联网来了，我们还没搞清楚移动互联的时候，大数据时代又来了。”可见，正处于大数据时代的我们很有必要了解一下大数…