稀土掘金 稀土掘金
    • 首页
    • AI Coding NEW
    • 沸点
    • 课程
    • 直播
    • 活动
    • AI刷题
    • APP
      插件
      • 搜索历史 清空
        • 写文章
        • 发沸点
        • 写笔记
        • 写代码
        • 草稿箱
        创作灵感 查看更多
    • vip
      会员
SearchTree的个人资料头像

SearchTree

创作等级LV.1
掘友等级
掘友1级:预备掘友
数据分析 | Tencent
打杂的打铁王
获得徽章 0
动态
文章
专栏
沸点
收藏集
关注
作品
赞
5
文章 5 沸点 0
赞
5
返回
|
搜索文章
最新 热门
  • kafka
    在之前公司都是使用开源的组件,后来来到现在公司都是采用自研的组件。之前用过0.10版本的kafka,但是一直没有时间系统学习kafka的原理和查看相关的源代码,在此做个记录,立个flag。 主要内容来源自 《图文详解kafka源码设计与实现》以及github上的kafka源码。…
    • 5年前
    • 201
    • 点赞
    • 2
    Kafka
  • spark任务stage的分解
    首先按照rdd之间的依赖方式形成DAG,然后提交给DAGScheduler,DAGScheduler根据rdd之间的依赖关系(遇到宽依赖)将任务划分成多个stage。 map-reduce 则是采用计算完成落盘,然后再计算再落到磁盘或者内存,最后输出到计算节点上,按照reduc…
    • 5年前
    • 933
    • 点赞
    • 评论
    Spark
  • 个人成就
    文章被阅读 1,134
    掘力值 31
    关注了
    13
    关注者
    0
    收藏集
    2
    关注标签
    4
    加入于
    2017-05-08