我爱肉肉

1 观察执行流程 2 资源调优 3 缓存调优 缓存结合kryo序列化 4 CPU利用 5 SQL语句优化 6 数据倾斜 数据倾斜第四点的博客实现 Map端优化 读取小文件的优化 Reduce端优化 J

分区 1 分区数 默认分区数是分配给运行环境的最大CPU核数 读取外部文件：Math.min(2, 分配给运行环境的最大CPU核数) 2 如何分区 1 数据读取以行的形式读取 2 每行数据读取以偏移量

1 最多连胜次数 题目：获取player_id最多连胜天数，如果中间有draw失败连胜重置计算 2 如上SQL依然有问题，因为没有考虑日期的连贯性，需要加入datediff来判断 2 直播间访问人数峰

性能调优的多样性 优化案例 避免过度优化 代码优化原则 Hive程序相关规范 Mapreduce计算引擎 这里基本略过 Mapreduce原理和参数配置 Map端的聚合与Hive配置 Hive配置与作