大数据
3篇文章 · 0订阅
  • Spark 常规性能调优 之 RDD优化、调节本地化等待时长
    宝我今天跟文了，跟的想你的文，常规性能调优二：RDD优化 RDD复用  在对RDD进行算子时，要避免相同的算子和计算逻辑之下对RDD进行重复的计算  对上图中的RDD计算架构进
    Spark 后端
    Spark 常规性能调优 之 RDD优化、调节本地化等待时长
  • 大数据SQL优化之数据倾斜解决案例全集
    大数据任务领域里最困难的问题莫过于数据倾斜，除了一些常规的参数优化外，还有一些非常困难以致于必须通过SQL改写才能避免倾斜的情况。本文介绍了如何解决关联结果膨胀，如何巧妙的避免全局排序以及如何解决写倾
    大数据
  • Flume+Kafka双剑合璧玩转大数据平台日志采集
    大数据平台每天会产生大量的日志，处理这些日志需要特定的日志系统。 具有高可扩展性。即：当数据量增加时，可以通过增加节点进行水平扩展。 数据采集模块：负责从各节点上实时采集数据，建议选用Flume-NG来实现。 数据接入模块：由于采集数据的速度和数据处理的速度不一定同步，因此添加…
    Kafka