首页
AI Coding
NEW
沸点
课程
直播
活动
AI刷题
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
会员
登录
注册
确定删除此收藏集吗
删除后此收藏集将被移除
取消
确定删除
确定删除此文章吗
删除后此文章将被从当前收藏集中移除
取消
确定删除
编辑收藏集
名称:
描述:
0
/100
公开
当其他人关注此收藏集后不可再更改为隐私
隐私
仅自己可见此收藏集
取消
确定
大数据
订阅
用户2054648844680
更多收藏集
微信扫码分享
微信
新浪微博
QQ
3篇文章 · 0订阅
Spark 常规性能调优 之 RDD优化、调节本地化等待时长
宝我今天跟文了,跟的想你的文,常规性能调优二:RDD优化 RDD复用 在对RDD进行算子时,要避免相同的算子和计算逻辑之下对RDD进行重复的计算 对上图中的RDD计算架构进
大数据SQL优化之数据倾斜解决案例全集
大数据任务领域里最困难的问题莫过于数据倾斜,除了一些常规的参数优化外,还有一些非常困难以致于必须通过SQL改写才能避免倾斜的情况。本文介绍了如何解决关联结果膨胀,如何巧妙的避免全局排序以及如何解决写倾
Flume+Kafka双剑合璧玩转大数据平台日志采集
大数据平台每天会产生大量的日志,处理这些日志需要特定的日志系统。 具有高可扩展性。即:当数据量增加时,可以通过增加节点进行水平扩展。 数据采集模块:负责从各节点上实时采集数据,建议选用Flume-NG来实现。 数据接入模块:由于采集数据的速度和数据处理的速度不一定同步,因此添加…