Hadoop

谷歌论文中的MapReduce 下面是之前讲过的，一开始提出的MapReduce的概念流程。 Hadoop中的MapReduce 再来看一下Hadoop中MapReduce的流程。 概念不变，只是更加

本文将深入探讨 AM 向 RM 申请并获得 Container 资源后，在 NM 节点上如何启动和清理 Container。将详细分析整个过程的源码实现。

不要跳过这部分知识，对了解 NodeManager 本地目录结构，和熟悉 Container 启动流程有帮助。

关于Hadoop重新格式化之后集群的崩溃问题 写在前面 版本信息 实验场景 Hive Hive交互段查询报错 原因分析 解决方法 HBase 清理虚拟机磁盘 参考资料 写在前面 版本信息 Linux版

在我们的hadoop集群运行一段过程中，由于多种原因，数据在DataNade的磁盘之间的分布可能是不均匀。**比如：** 我们刚刚给某个DataNode新增加了一块磁盘或者集群上存在大批量的write

本节开始将对 Yarn 中的 NodeManager 服务进行剖析。 NodeManager 需要在每个计算节点上运行，与 ResourceManager 和 ApplicationMaster 进行

本篇将对 Yarn 调度器中的资源抢占方式进行探究。分析当集群资源不足时，占用量资源少的队列，是如何从其他队列中抢夺资源的。我们将深入源码，一步步分析抢夺资源的具体逻辑。

关于数据存储的思考 前言 目前数据中台采用hdfs作为数据存储系统，主要存储是结构化数据，随着需求的变化，现在不仅仅要存储结构化数据还要存储非结构化数据，视频、音频等，存储方案如何制定。

开启掘金成长之旅！这是我参与「掘金日新计划 · 2 月更文挑战」的第 16 天，点击查看活动详情 一、Hadoop1.0 Hadoop1.0即第一代Hadoop，由分布式存储系统HDFS和分布式计算框

Hadoop完全分布式运行环境的搭建 0. 写在前面 1. 模板虚拟机环境准备 安装模板虚拟机 hadoop01虚拟机配置要求如下 关闭防火墙，关闭防火墙开机自启 创建普通用户 配置新用户权限 修改所

最近在学习`hadoop`，本文记录一下，怎样在Centos7系统上搭建一个`3`个节点的`hadoop`集群。

工欲善其事必先利其器，在深入学习大数据相关技术之前，先手动从0到1搭建一个属于自己的本地Hadoop和Spark运行环境，对于继续研究大数据生态圈各类技术具有重要意义。本文旨在站

开启掘金成长之旅！这是我参与「掘金日新计划 · 2 月更文挑战」的第 12 天，点击查看活动详情# Hadoop之分布式技术

--- theme: channing-cyan highlight: ascetic --- *

上一篇文章对 ResourceManager 整体架构和功能进行了讲述。本篇将对 RM 中管理 Application Master 的部分进行深入的讲解。 下面将会介绍 RM 与 AM 整体通信执行

随着大数据时代的来临，数据量不断增长，传统小机上跑数据库的模式扩容困难且成本高昂，难以支撑业务发展。很多用户开始转向分布式计算路线，用多台廉价的PC服务器组成集群来完成大数据计算任务。Hadoop/S

通过研究一些不太常用的替代方案来解决MapReduce性能问题以及选择解决方案时要考虑的因素。 解决MapReduce性能问题 以下解决方案来缓解MapReduce性能问题： 更改摄取过程/间隔 批处

在第一篇文章中，我讨论了什么构成了一个小文件，以及为什么Hadoop存在小文件问题。我将一个小文件定义为小于Hadoop块大小75％的任何文件，并解释说由于NameNode内存使用和MapReduce

Hadoop不适用于大量小文件，而是需要更少的大文件。这可能是您之前听过的声明。但是，为什么Hadoop会出现大量小文件的问题？而且，“小”究竟是什么意思呢？在本系列的第一部分中，我将回答这些问题。后