Knoldus博客音频 |
阅读时间： 2 分钟
你是否在寻找一个广泛的数据框架来帮助你管理数据和扩大你的业务？那么这可能是你今天读到的最重要的一篇文章。本文将探讨目前市场上最流行的两个处理框架，并帮助你决定哪一个是适合你的业务。
Apache Hadoop
Hadoop是一个强大的平台，它使用MapReduce框架将数据分解成块，然后将它们分配到整个集群中，在不同的计算机上处理它们，并将结果结合起来。
Hadoop以其高容错性而闻名，因为它在集群间复制数据，然后从健康的数据集中提取数据，以重建因硬件故障而丢失或损坏的数据。
阿帕奇火花
Spark是一个多功能的框架，它通过在不同的节点上分割工作负载来处理大量的数据，但它比Hadoop快得多，只因为它使用RAM来做它的工作。
Spark引擎被称为框架中的瑞士军刀，这是一个最大的原因。 Spark软件开发 ，以及用于批处理和实时流处理的MapReduce正在获得青睐。
哪个框架更好？
这两个框架经常被串联使用，并且在使用时相互补充，效果极佳。然而，有一些明确的参数，其中一个比另一个更好。
Spark是性能上的赢家
Spark在内存中的运行速度是100倍，在磁盘上的运行速度是10倍，因为它在每次执行MapReduce任务的一部分时都不关心输入-输出问题。Hadoop缺乏MapReduce步骤之间的循环连接，而Spark的DAG在度之间有更好的优化。
Spark更具有成本效益
两个框架都是开源的，可以免费使用。然而，Spark需要大的内存来运作，而Hadoop需要更多的磁盘内存来工作。
这使得Hadoop在短期内看起来更便宜。然而，针对计算时间的优化，Spark最终执行同样的任务比Hadoop快得多。这是很关键的，因为你在云上支付计算机的使用费。
Spark更容易维护和使用
众所周知，Hadoop MapReduce在编程方面更具挑战性，而且没有互动模式。Spark有一个交互式的方式，并带有更简单的构建模块，而且更容易通过其预先构建的Java、Scala和Python的API来编写用户定义的函数。
Spark可以处理实时数据处理
Hadoop MapReduce在批处理方面非常出色，但在实时处理方面，你会发现它的不足。
Spark的实现 确保了一个万能的平台，而不是像Hadoop那样把你的任务分割到不同的平台上。
还没有下定决心？
好吧，要找到适合你的处理需求的解决方案当然不容易。
在Knoldus，我们有10多年的经验，帮助财富500强企业找到适合其独特需求的完美数据解决方案。请联系我们：www.knoldus.com，并在@Knolspeak上关注我们的动向，了解最前沿的数字工程。
也发表在Medium上。
