An

上半年对我来说也是跌宕起伏的一段时间，从升职到解散，从准备到面试，从第一个offer到最后一个offer。我是一个不安于现状的人，想趁着年轻多去折腾一下。下半年是一个新的起点，也是一个新的挑战。

分治思想就是把复杂问题、拆分成诺干个相同的小问题，然后将问题逐步解决掉，合并到一起的过程，就是分治思想。简单来说，分治思想就是“分而治之”，将复杂问题拆分成诺干个相同的小问题进行解决。

上次讲了大数据启蒙的分治思想，这次根据几个场景需求，一起来讨论一下大数据单机处理大数据会遇到的问题和解决方案。

Hadoop是一套用于在由通用硬件构建的大型集群上运行应用程序的框架。它实现了Map/Reduce编程范型，计算任务会被分割成小块（多次）运行在不同的节点上。

上一篇我们学习Hadoop的一些基本组成信息，接下来我们开始深入介绍Hadoop的每一个组成模块，循序渐进、深入浅出全面学习Hadoop。

架构设计要点：HDFS是一个主从(Master/Slaves)架构，由一个NameNode和一些DataNode组成，面向文件包含：文件数据和文件元数据。

开启掘金成长之旅！这是我参与「掘金日新计划 · 12 月更文挑战」的第19天，点击查看活动详情 前言 继续学习，今天学习Hadoop-HDFS的角色功能要点和元数据持久化方案和要点。

开启掘金成长之旅！这是我参与「掘金日新计划 · 12 月更文挑战」的第20天，点击查看活动详情 前言 今天我们主要学习Hadoop—HDFS的安全模式要点和SecondaryNameNode同步流程。