spark调优 - 1的收藏集 - 掘金

spark调优

1

更多收藏集

2篇文章 · 0订阅

Spark 踩坑记：数据库（Hbase+Mysql）

最近一个实时消费者处理任务，在使用 spark streaming 进行实时的数据流处理时，我需要将计算好的数据更新到 hbase 和 mysql 中，所以本文对 spark 操作 hbase 和 mysql 的内容进行总结，并且对自己踩到的一些坑进行记录。

腾讯云开发者
8年前
1.5k
22
评论

Spark 解决数据倾斜的几种常用方法

数据倾斜是大数据计算中一个最棘手的问题，出现数据倾斜后，Spark 作业的性能会比期望值差很多。数据倾斜的调优，就是利用各种技术方案解决不同类型的数据倾斜问题，保证 Spark 作业的性能。一个 Spark 作业，会根据其内部的 Action 操作划分成多个 job，每个 j…

stonezhu
6年前
2.3k
3
评论