首页
AI Coding
NEW
沸点
课程
直播
活动
AI刷题
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
会员
登录
注册
SearchTree
掘友等级
数据分析
|
Tencent
打杂的打铁王
获得徽章 0
动态
文章
专栏
沸点
收藏集
关注
作品
赞
5
文章 5
沸点 0
赞
5
返回
|
搜索文章
最新
热门
kafka
在之前公司都是使用开源的组件,后来来到现在公司都是采用自研的组件。之前用过0.10版本的kafka,但是一直没有时间系统学习kafka的原理和查看相关的源代码,在此做个记录,立个flag。 主要内容来源自 《图文详解kafka源码设计与实现》以及github上的kafka源码。…
spark任务stage的分解
首先按照rdd之间的依赖方式形成DAG,然后提交给DAGScheduler,DAGScheduler根据rdd之间的依赖关系(遇到宽依赖)将任务划分成多个stage。 map-reduce 则是采用计算完成落盘,然后再计算再落到磁盘或者内存,最后输出到计算节点上,按照reduc…
个人成就
文章被阅读
1,134
掘力值
31
关注了
13
关注者
0
收藏集
2
关注标签
4
加入于
2017-05-08