1.由切片数量决定的。2.MR将用户编写的业务逻辑代码和自带的默认组件结合起来组成一个完整的分布式应用程序放到hadoop集群上运行。3.combiner的意义就是对每一个maptask的输出进行局部汇总，以减小网络传输量  partition的默认实现是hashpartitio...

Hadoop常用端口号 hadoop2.x Hadoop3.x 访问HDFS端口 50070 9870 访问MR执行情况端口 8088 8088 ，Hadoop配置文件以及简单的Hadoop集群搭建

大数据技术其实是分布式技术在数据处理领域的创新型应用，其本质就是利用更多的计算机组成一个集群，提供更多的计算资源，从而满足更大的计算压力要求。说的通俗易懂一些，就是大数据技术的诞生解决的就是数据 ..

摘要：是否对面试官在 Hadoop 面试中可能会问的所有问题感到不知所措？现在是时候通过一系列涵盖 Hadoop 框架不同方面的 Hadoop 面试问题了。

最近有好多小伙伴们问我让我整理下Hadoop面试题今天他来了，好好复习迎接新的一年的挑战。 1）Zookeeper：是一个开源的分布式应用程序协调服务,基于zookeeper可以实现同步服务，配置维护，命名服务。 2）Flume：一个高可用的，高可靠的，分布式的海量日志采集、聚…

这是我参与更文挑战的第27天，活动详情查看：更文挑战 1 Shuffle优化 Map阶段 增大环形缓冲区大小。由100m扩大到200m 增大环形缓冲区溢写的比例。由80%扩大到90% 减少对溢写文件的

1、HAnamenode 是如何工作的? ZKFailoverController主要职责 1）健康监测：周期性的向它监控的NN发送健康探测命令，从而来确定某个NameNode是否处于健康状态，如果机

1、集群的最主要瓶颈 磁盘IO 2、Hadoop运行模式 单机版、伪分布式模式、完全分布式模式 3、HDFS写流程 1）client 客户端发送上传请求，通过 RPC 与 namenode 建立通信，

本篇文章，让我们有幸一起来阅读一下，该怎么准备Hadoop的内容，才有机会在面试过程占据上风。 这是一个看着不起眼，实则“送命题”的典型。往往大家关于大数据的其他内容准备得非常充分，反倒问你什么是Hadoop却有点猝不及防，回答磕磕绊绊，给面试官的印象就很不好。另外，回答这个问…