Hive高级优化Hive高级优化突突修2018-03-1316:40:05浏览2202评论0云栖社区分布式大数据jvm性

Hive高级优化

突突修 2018-03-13 16:40:05 浏览2202 评论0

摘要： 并发执行 job1: a join b aa job2: c join d cc job3: aa join cc 说明：job1和job2可以并行执行。 JVM重用它是对map/reduce 运行的任务，一个jvm可以运行多个map 任务。

job1: a join b aa job2: c join d cc job3: aa join cc 说明：job1和job2可以并行执行。

它是对map/reduce 运行的任务，一个jvm可以运行多个map 任务。小数据可以使用jvm重用。性能可以提升70%

默认reduce的任务是一个，可以根据自己的业务进行手动调整，不断测试把它调节到一个合适的值。

说明：MapReduce调优，默认启用的，最后把它关闭掉，这只为false。
场景：运行reduce时，有的慢，有的快，applicationMaster在另外一个机器上启动一个一模一样的reduce，那个先完成用那个。

说明：依照块的大小来

用云栖社区APP，舒服~

【云栖快讯】云栖社区技术交流群汇总，阿里巴巴技术专家及云栖社区专家等你加入互动，老铁，了解一下？详情请点击评论 (0) 点赞 (0) 收藏 (0)