这是我参与「第三届青训营 -后端场」笔记创作活动的第2篇笔记。
在学习了云计算之后，对大数据计算产生了兴趣，进一步学习了Mapreduce和spark并做了一点学习。学习心得记录如下：
mapReduce：是一种编程模型，用于大规模数据集的并行运算。概念"Map（映射）"和"Reduce（归约）"即分而治之，是它们的主要思想。
Apache Spark：是专为大规模数据处理而设计的快速通用的计算引擎。是一种与Hadoop相似的开源集群计算环境，拥有Hadoop MapReduce所具有的优点。Spark是MapReduce的替代方案，而且兼容HDFS、Hive，可融入Hadoop的生态系统，以弥补MapReduce的不足。Spark特点：速度快、容易上手开发、超强的通用性、集成Hadoop、极高的活跃度。
mapreduce与spark的相同点：
Spark是借鉴了mapreduce并在其基础上发展起来的，继承了其分布式计算的优点。
mapreduce与spark的区别：
1、spark的速度比MapReduce快，Spark把运算的中间数据存放在内存，迭代计算效率更高；mapreduce的中间结果需要落地，需要保存到磁盘，比较影响性能；
2、spark容错性高，它通过弹性分布式数据集RDD来实现高效容错；mapreduce容错可能只能重新计算了，成本较高；
3、spark更加通用，spark提供了transformation和action这两大类的多个功能API，另外还有流式处理sparkstreaming模块、图计算GraphX等；mapreduce只提供了map和reduce两种操作，流计算以及其他模块的支持比较缺乏，计算框架(API)比较局限；
4、spark框架和生态更为复杂，很多时候spark作业都需要根据不同业务场景的需要进行调优已达到性能要求；mapreduce框架及其生态相对较为简单，对性能的要求也相对较弱，但是运行较为稳定，适合长期后台运行；
5、Spark API方面- Scala: Scalable Language, 是进行并行计算的最好的语言,与Java相比，极大的减少代码量。
