首页
AI Coding
数据标注
NEW
沸点
课程
直播
活动
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
登录
注册
BIT_666
掘友等级
算法工程师
持续学习大数据与算法~
获得徽章 0
动态
文章
专栏
沸点
收藏集
关注
作品
赞
1
文章 1
沸点 0
赞
1
返回
|
搜索文章
最新
热门
Spark - 一文搞懂 parquet
parquet 文件常见于 Spark、Hive、Streamin、MapReduce 等大数据场景,通过列式存储和元数据存储的方式实现了高效的数据存储与检索
Executor - Shutdown、ShutdownNow、awaitTermination 详解与实战
一.引言 使用 executor 线程池时经常用到 shutdown / shutdownNow + awaitTermination 方法关闭线程池,下面看下几种方法的定义与常见用法。 二.AP
Jedis - SharedJedisPool 初始化与应用 & hash 算法详解
一.引言 使用 SharedJedisPool 时注意到内部涉及到 hash 函数,其中对应的 hash 接口需要复写两个 hash 函数分别是 hash (String var1) 和 hash
Executor - 一文搞懂 ThreadPoolExecutor 与 BlockingQueue
一.引言 ThreadPool 是 java 的一种多线程处理方式,和前面提到了 RedisPool 类似,即通过一个 pool 批量管理,ThreadPool 管理线程,RedisPool 管理
Spark - Executor 初始化 && 报警都进行1次
一.引言 程序启动 M 个 Executor,每个 Executor 共 N core,即每个 Executor 上的 task = N,现在有一个 object 需要在每一个 task 上初始化
Spark - LeftOuterJoin 结果条数与左表条数不一致
一.引言 使用 spark lefOuterJoin 寻找下发的 gap,用原始下发 rdd 左join 真实下发后发现最终的结果数与左表不一致,左表数据: 20350,最终数据: 25721。
个人成就
文章被点赞
18
文章被阅读
20,284
掘力值
582
关注了
0
关注者
9
收藏集
1
关注标签
2
加入于
2022-06-23