Hive高级优化
突突修 2018-03-13 16:40:05 浏览2445 评论0- 云栖社区
- 分布式
- 大数据
- jvm
- 性能
- reduce
- 测试
- Hive
- Mapreduce
摘要： 并发执行 job1: a join b aa job2: c join d cc job3: aa join cc 说明：job1和job2可以并行执行。 JVM重用 它是对map/reduce 运行的任务，一个jvm可以运行多个map 任务。
并发执行
job1: a join b aa job2: c join d cc job3: aa join cc 说明：job1和job2可以并行执行。
JVM重用
它是对map/reduce 运行的任务，一个jvm可以运行多个map 任务。小数据可以使用jvm重用。性能可以提升70%
Reduce的数据
默认reduce的任务是一个，可以根据自己的业务进行手动调整，不断测试把它调节到一个合适的值。
推测执行
说明：MapReduce调优，默认启用的，最后把它关闭掉，这只为false。
场景：运行reduce时，有的慢，有的快，applicationMaster在另外一个机器上启动一个一模一样的reduce，那个先完成用那个。
Map数据
【云栖快讯】诚邀你用自己的技术能力来用心回答每一个问题，通过回答传承技术知识、经验、心得，问答专家期待你加入！ 详情请点击说明：依照块的大小来
- 分享到:
