首页
沸点
课程
数据标注
HOT
AI Coding
更多
直播
活动
APP
插件
直播
活动
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
登录
注册
yang同学32797
掘友等级
获得徽章 0
动态
文章
专栏
沸点
收藏集
关注
作品
赞
5
文章 5
沸点 0
赞
5
返回
|
搜索文章
最新
热门
exuecute vs. submit
ThreadPool execute vs. submit 之前一直写代码一直有个理念,涉及到线程池中task的try catch一定要catch Throwable,否则java 若发生了Error,则线程池中的执行该task的线程会直接异常退出,且在外部无任何log打出。 …
Spark 启动 & job Workflow
计算一个文件行数,直接启动一个jvm去读取文件,计算行数。 文件越来越来大,单机效果不理想,于是希望采取分布式的方式执行,让多台机子分别去统计一部分数据,之后汇总结果。分布式任务执行又涉及到资源的调度、failover、分布式信息的同步等等复杂问题,此时我们需要一个框架来帮我们…
Spark basic
Standalone – a simple cluster manager included with Spark that makes it easy to set up a cluster. Apache Mesos – a general cluster manager …
RDD Programming Guide
简单来说,每个Spark程序都包含一个driver(运行用户的main function)以及一个并行执行各种操作的cluster. 首先,Spark提供了RDD这个核心概念,RDD即指在集群中可以并行操作的数据集合,RDD可以由hadoop文件或driver中的集合实例经过一…
个人成就
文章被阅读
1,891
掘力值
55
关注了
1
关注者
0
收藏集
0
关注标签
6
加入于
2017-10-19