上周四接到反馈，集群部分 spark 任务执行很慢，且经常出错，参数改来改去怎么都无法优化其性能和解决频繁随机报错的问题。看了下任务的历史运行情况，平均时间 3h 左右，而且极其不稳定，偶尔还会报错。

在今天的文章中，我们将着重探讨如何利用 SMACK（即 Spark、Mesos、Akka、Cassandra 以及 Kafka）堆栈构建可扩展数据处理平台。虽然这套堆栈仅由数个简单部分组成，但其能够实现大量不同系统设计。除了纯粹的批量或者流处理机制之外，我们亦可借此实现复杂的 Lambda 以及 Kappa 架构。 基于 Mesos 技术的数人云可以快速部署和运行 Spark、Akka、Cassandra 以及 Kafka，也欢迎大家在数人云上进行体验和实践，感受它们强大功能带来的便利。在本文开始阐述之前，让我们首先立足于已有生产项目经验从设计与示例入手进行说明。

本文以 Spark 实践经验和 Spark 原理为依据，总结了 Spark 性能调优的一些方法。这些总结基于 Spark-1.0.0 版本。对于最近推出的 Spark-1.1.0 版本，本文介绍了几个版本增强。

内容来源：2017年5月6日，大眼科技CTO张逸在“魅族技术开放日第八期——数据洞察”进行《大数据平台架构技术选型与场景运用》演讲分享。IT大咖说作为独家视频合作方，经主办方和讲者审阅授权发布。 阅读字数：1819 | 4分钟阅读 摘要本次分享将结合多个大数据项目与产品研发的经验…

众所周知，大数据生态很复杂，对于个人来说，要全部学会可能要花费好几年时间。而对于企业来说，要最大程度发挥其价值，构建一个成熟稳定、功能多样的大数据平台，期间花费的时间以及人力成本着实难以估量，更何况还需要考虑持续维护的问题。这就是七牛的Pandora大数据平台灵感的来源，我们构建一个大数据平台，作为产品提供给用户，快速帮助用户挖掘数据价值。

本文以时间为线索来介绍我们在实时计算平台建设过程中做过的工作，遇到的问题，希望能给需要实时计算的公司和同学提供参考。