大数据实操

distcp是分布式系统中常用的数据同步工具，本文介绍了distcp的基本原理，和在实战中遇到的问题汇总，并给出了相应的解决办法，供大家一起学习。

作为Hadoop最基础和最重要的组件之一，Zookeeper的服务异常直接影响了整个集群的可用性，在日常集群的维护中，也遇到多一些zk服务的异常问题，记录解决异常的过程并复盘原因显得特别重要.

随着大数据技术的不断发展，Hive和Tez已经成为广泛使用的数据处理工具。在实际使用过程中，Hive on Tez可能会出现一些常见问题，本文对这些问题进行了汇总，并不定期更新。

在集群运行一段时间后，我们发现一些HDFS上一些解压文件的作业性能下降很明显，同时查看作业日志发现HDFS的读写耗时较长。花了很大的精力分析日志终于找到了这个问题，原因出在HDFS的性能上。

在Hadoop分布式文件系统（HDFS）中，rebalance是一种用于平衡数据块在集群中存储位置的操作，在实际操作中，如何提高rebalance效率，给出了一些具体实践。

当前的hadoop集群一般为安全集群，对于安全集群而言，kerberos是一个h十分重要的组件，而对于kerberos相关的异常，往往涉及多个底层服务，不容易排查，这里记录了一个常见报错和解决方法。

跨集群访问报错-No common protection layer between client and server，原因分析及解决方案。

在Hadoop中，出于存储成本和提高空间使用率的考量，有必要对开放给业务人员使用的hdfs目录的限额做一定的限制，培养用户定期清理长期不使用数据的习惯，本文介绍如何给HDFS目录设置限额。

集群的namenode配置了HA，且两个namenode启动时都处于standby状态，确认原因并解决。

新节点添加完datanode服务后出现于namenode节点连接异常。   datanode与namenode通信异常 参考链接：https://www.csdn.net/

1.Overview-总体概览 2.Nodes-查看各个Nodes的状态 3.Queues-查看队列的状态 4.Application-查看应用状态