稀土掘金 稀土掘金
    • 首页
    • AI Coding NEW
    • 沸点
    • 课程
    • 直播
    • 活动
    • AI刷题
    • APP
      插件
      • 搜索历史 清空
        • 写文章
        • 发沸点
        • 写笔记
        • 写代码
        • 草稿箱
        创作灵感 查看更多
    • vip
      会员
确定删除此收藏集吗
删除后此收藏集将被移除
取消
确定删除
确定删除此文章吗
删除后此文章将被从当前收藏集中移除
取消
确定删除
编辑收藏集
0 /100
大数据
订阅
avatar
用户2054648844680
更多收藏集

微信扫码分享

微信
新浪微博
QQ

3篇文章 · 0订阅
  • Spark 常规性能调优 之 RDD优化、调节本地化等待时长
    宝我今天跟文了,跟的想你的文,常规性能调优二:RDD优化 RDD复用  在对RDD进行算子时,要避免相同的算子和计算逻辑之下对RDD进行重复的计算  对上图中的RDD计算架构进
    • 摸鱼专家
    • 4年前
    • 6.9k
    • 129
    • 3
    Spark 后端
    Spark 常规性能调优 之 RDD优化、调节本地化等待时长
  • 大数据SQL优化之数据倾斜解决案例全集
    大数据任务领域里最困难的问题莫过于数据倾斜,除了一些常规的参数优化外,还有一些非常困难以致于必须通过SQL改写才能避免倾斜的情况。本文介绍了如何解决关联结果膨胀,如何巧妙的避免全局排序以及如何解决写倾
    • 安第斯智能云
    • 3年前
    • 511
    • 1
    • 评论
    大数据
  • Flume+Kafka双剑合璧玩转大数据平台日志采集
    大数据平台每天会产生大量的日志,处理这些日志需要特定的日志系统。 具有高可扩展性。即:当数据量增加时,可以通过增加节点进行水平扩展。 数据采集模块:负责从各节点上实时采集数据,建议选用Flume-NG来实现。 数据接入模块:由于采集数据的速度和数据处理的速度不一定同步,因此添加…
    • Java菜分享
    • 6年前
    • 1.4k
    • 3
    • 评论
    Kafka