Coderlxl

3.修改 distcp 源码，在指定 -direct 参数情况下，不需要删除 .distcp.tmp. 文件（HADOOP-16872） 针对，优化策略中的第 3 点进行详...

Hive SQL 卡很久后，才提交到 Yarn。日志如下：可以看到卡住了4个多小时候，才开始 Compiling 2.jstack 查看 提交任务的 进程，发现 Hive ...

1.业务 job 反馈延迟，去 yarn web 页面查看 job 详情，找到慢 task 机器，查看主机监控，发现有些机器的出吞吐量被打高。 2.因为机器上混跑，job ...

2.登陆机器，定位流出到某个机器的流量最大。 5.找到相应业务，由于上线速度慢。先回收掉目录权限，让请求快速失败。再次观察指标，迅速下降 6.分析业务代码，发现是调用的 p...

由于传递 hive 分区数据到 cos，传递完数据后，需要修改 hive 表分区的 location。此时，有个问题需要考虑，hive 分区字段的类型，支持很多种，是不是一...

经过对比，发现 COS job 的 mapper 数非常少。 1.如果数据在 HDFS 上面，那么 node 就是文件所有 blks 在的 datanodes，因此，nod...

使用 flink sqlclient 查询 cos 数据，显示 s3 接口解析 response 报错，查询 hdfs 是正常的。 1.首先，远程 debug flink，...

使用 distcp -update 参数同步 hdfs 数据到 cos，发现重复执行的时候，发生的是 overwrite 行为，不是 skip 行为，这点和 hdfs 上的...

一. 代码流程 主要是调用 isReplicationInProgress 对 DN 上的「所有 blk」的副本进行状态（坏块/下线/冗余/LIVE ...）统计。 5.上...

FastCopy 是 Hadoop 的一个 patch，目的是加速 Federation 数据的迁移速度。采用了 hardLink 的方式实现，相比 distcp，几乎不需...