JJMonster

spark 报错 "org.apache.spark.shuffle.FetchFailedException" + "Unknown message type:*"...

背景 遇到过几次，spark cluster 模式下，任务从 running 状态切换回 accept，最后报错目录已存在。 当然，在执行spark 任务之前，已经在脚本中...

hadoop fs -rm -r 之后发生了什么 hadoop 脚本调用 Java类：FsShell DFSClient.delete() 调用 NameNodeRpcSe...

背景漏斗数是常见的数据分析之一，常见问题：用 hive/spark 查询慢，结合分析工具不现实需要用复杂的sql， 或者新增字段kylin 如何解决用户做题记录表用户id做...

弊端：如果使用Global Dictionary的话全局字典会越来越大，构建也会越来越慢。 在构建时，一个 bigint 类型的字段，做 Count distinct 并选...