首页
AI Coding
NEW
沸点
课程
直播
活动
AI刷题
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
会员
登录
注册
BIT_666
掘友等级
算法工程师
持续学习大数据与算法~
获得徽章 0
动态
文章
专栏
沸点
收藏集
关注
作品
赞
1
文章 1
沸点 0
赞
1
返回
|
搜索文章
BIT_666
算法工程师
·
3年前
关注
Shell - 常用压缩文件处理 zip、gz、tar、rar
使用 linux 工作中经常遇到 zip,gz,tar 相关的压缩文件,下面整理下几种压缩文件的常用方法。...
0
评论
分享
BIT_666
算法工程师
·
3年前
关注
Scala/Java - shuffle 数组详解
本地使用 spark paralize 数组 rdd 时需要构造一个随机数组,分别使用 java.util 和 scala.util 实现,下面记录下不同的 shuffle...
0
评论
分享
BIT_666
算法工程师
·
3年前
关注
Spark - 一文搞懂 Partitioner
spark 处理 RDD 时提供了 foreachPartition 和 mapPartition 的方法对 partition 进行处理。...
0
评论
分享
BIT_666
算法工程师
·
3年前
关注
Spark - Task 与 Partition 一一对应与参数详解
一.引言 使用 spark 读取 parquet 文件,共有 M 个 parquet 文件,于是启动了 P Executor x Q Cores 进行如下 WordC...
0
评论
分享
BIT_666
算法工程师
·
3年前
关注
Scala - 数值型特征分桶
机器学习中最基础的一步就是数据的特征工程,这其中最常见的就是数值型特征的分桶,下面使用两种方法对数值型特征分桶并对比效率。...
0
评论
分享
BIT_666
算法工程师
·
3年前
举报
#新人报道#
掘金圈子打卡纪念,新的一年希望升职加薪
赞过
分享
评论
3
BIT_666
算法工程师
·
3年前
关注
Spark - 一文搞懂 parquet
parquet 文件常见于 Spark、Hive、Streamin、MapReduce 等大数据场景,通过列式存储和元数据存储的方式实现了高效的数据存储与检索...
9
评论
分享
BIT_666
算法工程师
·
3年前
关注
Executor - Shutdown、ShutdownNow、awaitTermination 详解与实战
一.引言 使用 executor 线程池时经常用到 shutdown / shutdownNow + awaitTermination 方法关闭线程池,下面看下几种方法...
0
评论
分享
BIT_666
算法工程师
·
3年前
关注
Jedis - SharedJedisPool 初始化与应用 & hash 算法详解
一.引言 使用 SharedJedisPool 时注意到内部涉及到 hash 函数,其中对应的 hash 接口需要复写两个 hash 函数分别是 hash (Strin...
0
评论
分享
BIT_666
算法工程师
·
3年前
关注
Executor - 一文搞懂 ThreadPoolExecutor 与 BlockingQueue
一.引言 ThreadPool 是 java 的一种多线程处理方式,和前面提到了 RedisPool 类似,即通过一个 pool 批量管理,ThreadPool 管理线...
8
评论
分享
BIT_666
算法工程师
·
3年前
关注
Spark - Executor 初始化 && 报警都进行1次
一.引言 程序启动 M 个 Executor,每个 Executor 共 N core,即每个 Executor 上的 task = N,现在有一个 object 需要...
0
评论
分享
BIT_666
算法工程师
·
3年前
关注
Spark - LeftOuterJoin 结果条数与左表条数不一致
一.引言 使用 spark lefOuterJoin 寻找下发的 gap,用原始下发 rdd 左join 真实下发后发现最终的结果数与左表不一致,左表数据: 2035...
1
评论
分享
个人成就
文章被点赞
18
文章被阅读
20,062
掘力值
582
关注了
0
关注者
9
收藏集
1
关注标签
2
加入于
2022-06-23