获得徽章 0
动态
文章
专栏
沸点
收藏集
关注
作品
赞
1
赞
1
返回
|
搜索文章
BIT_666的头像
BIT_666
算法工程师
·
3年前

Shell - 常用压缩文件处理 zip、gz、tar、rar

使用 linux 工作中经常遇到 zip，gz，tar 相关的压缩文件，下面整理下几种压缩文件的常用方法。...
评论
BIT_666的头像
BIT_666
算法工程师
·
3年前

Scala/Java - shuffle 数组详解

本地使用 spark paralize 数组 rdd 时需要构造一个随机数组，分别使用 java.util 和 scala.util 实现，下面记录下不同的 shuffle...
评论
BIT_666的头像
BIT_666
算法工程师
·
3年前

Spark - 一文搞懂 Partitioner

spark 处理 RDD 时提供了 foreachPartition 和 mapPartition 的方法对 partition 进行处理。...
评论
BIT_666的头像
BIT_666
算法工程师
·
3年前

Spark - Task 与 Partition 一一对应与参数详解

​  一.引言 使用 spark 读取 parquet 文件，共有 M 个 parquet 文件，于是启动了 P Executor x Q Cores 进行如下 WordC...
评论
BIT_666的头像
BIT_666
算法工程师
·
3年前

Scala - 数值型特征分桶

机器学习中最基础的一步就是数据的特征工程，这其中最常见的就是数值型特征的分桶，下面使用两种方法对数值型特征分桶并对比效率。...
评论
#新人报道# 掘金圈子打卡纪念，新的一年希望升职加薪[灵光一现]
avatar
avatar
avatar
赞过
评论
BIT_666的头像
BIT_666
算法工程师
·
3年前

Spark - 一文搞懂 parquet

parquet 文件常见于 Spark、Hive、Streamin、MapReduce 等大数据场景，通过列式存储和元数据存储的方式实现了高效的数据存储与检索...
评论
BIT_666的头像
BIT_666
算法工程师
·
3年前

Executor - Shutdown、ShutdownNow、awaitTermination 详解与实战

​ 一.引言 使用 executor 线程池时经常用到 shutdown / shutdownNow + awaitTermination 方法关闭线程池，下面看下几种方法...
评论
BIT_666的头像
BIT_666
算法工程师
·
3年前

Jedis - SharedJedisPool 初始化与应用 & hash 算法详解

​ 一.引言 使用 SharedJedisPool 时注意到内部涉及到 hash 函数，其中对应的 hash 接口需要复写两个 hash 函数分别是 hash (Strin...
评论
BIT_666的头像
BIT_666
算法工程师
·
3年前

Executor - 一文搞懂 ThreadPoolExecutor 与 BlockingQueue

​ 一.引言 ThreadPool 是 java 的一种多线程处理方式，和前面提到了 RedisPool 类似，即通过一个 pool 批量管理，ThreadPool 管理线...
评论
BIT_666的头像
BIT_666
算法工程师
·
3年前

Spark - Executor 初始化 && 报警都进行1次

​ 一.引言 程序启动 M 个 Executor，每个 Executor 共 N core，即每个 Executor 上的 task = N，现在有一个 object 需要...
评论
BIT_666的头像
BIT_666
算法工程师
·
3年前

Spark - LeftOuterJoin 结果条数与左表条数不一致

​  一.引言 使用 spark lefOuterJoin 寻找下发的 gap，用原始下发 rdd 左join 真实下发后发现最终的结果数与左表不一致，左表数据: 2035...
评论
个人成就
文章被点赞 18
文章被阅读 20,062
掘力值 582
收藏集
1
关注标签
2
加入于