涤生大数据

1.       distcp是一个hdfs提供的工具。distcp（分布式复制）是一种用于大型集群间/集群内复制的工具,且支持不同hadoop版本间的数据传输复制。它使用 MapReduce 来实现其分布、错误处理和恢复以及报告。它将文件和目录列表扩展为map任务的输入（一个只...

1.Hbase集群主要的服务组件是Zookeeper，Hmaster和RegionServer。其中Hbase集群强依赖与Zookeeper提供的服务.1.        Apache ZooKeeper是一个用于分布式协调的客户端/服务器系统，它公开一个类似于文件系统的接口，其...

        Hbase是什么？学习东西的一手资料就是看官网，看hbase官网的背书：一个基于hadoop的分布式的，可扩展的，可以大量存储的数据库，主要应对大量数据的随机读写需求，实现海量数据的实时随机读写。       但是官网的表述往往是言简意赅，简洁客观性的陈述介绍。其...

背景：yarn的web界面是所有大数据开发都会或多或少查看的，比如任务运行失败，任务运行缓慢，查看详细任务运行进度，详细报错排查，debug等。但是实际从反馈来看，很多大数据开发对yarn界面的日志查看并不深入，对一些常见指标并不熟悉。下面以Hive/MapRedcue任务为例。...

1.1.1.每个节点有一个NM守护进程，负责本节点的资源管理。其资源分配主要体现在Container模式上，根据RM分配资源。其次NM负责本地可用资源的监控，故障报告，以及Container的生命周期管理等。1.每个提交的应用程序都有一个AM的守护进程，客户端每使用YARN客户端...

1.1.1.每个节点有一个NM守护进程，负责本节点的资源管理。其资源分配主要体现在Container模式上，根据RM分配资源。其次NM负责本地可用资源的监控，故障报告，以及Container的生命周期管理等。1.每个提交的应用程序都有一个AM的守护进程，客户端每使用YARN客户端...

1.        YARN的总体架构模式是Master/Slave主从模式。一个全局的ResourceManager ( RM，主 ，可以多个HA),多个NodeManager共同构成计算框架。 NodeManager (NM)是每台机器的框架代理，管理单个节点的资源和任务，比...

背景：老集群上千节点，存储60PB数据，因为历史原因，节点配置不一；为了节省成本最早一批节点挂载了32块盘，单节点磁盘空间250TB左右，负载在150TB左右，存储block数240万块左右，集群带宽限制480GB/s，标准节点配置是12*8T,当前存储数据50-60TB,blo...

        小文件是 Hadoop 集群运维中的常见挑战，尤其对于大规模运行的集群来说可谓至关重要。如果处理不好，可能会导致许多并发症。Hadoop集群本质是为了TB,PB规模的数据存储和计算因运而生的。为啥大数据开发都说小文件的治理重要，说HDFS 存储小文件效率低下，比如...