Hadoop

开启掘金成长之旅！这是我参与「掘金日新计划 · 12 月更文挑战」的第32天，点击查看活动详情 6.2 MapTask & ReduceTask源码解析 1）MapTask源码解析流程 =======

开启掘金成长之旅！这是我参与「掘金日新计划 · 12 月更文挑战」的第32天，点击查看活动详情 点击MRAppMaster.java 中的initAndStartAppMaster 方法中的appMa

开启掘金成长之旅！这是我参与「掘金日新计划 · 12 月更文挑战」的第32天，点击查看活动详情 5.2 YARN源码解析 job.waitForCompletion submit() submitte

开启掘金成长之旅！这是我参与「掘金日新计划 · 12 月更文挑战」的第31天，点击查看活动详情 第三章 DataNode启动源码解析 3.1 DataNode工作机制 3.2 DataNode启动源码

开启掘金成长之旅！这是我参与「掘金日新计划 · 12 月更文挑战」的第31天，点击查看活动详情 点击register BPServiceActor.java ctrl + n 搜索NameNodeRp

开启掘金成长之旅！这是我参与「掘金日新计划 · 12 月更文挑战」的第31天，点击查看活动详情 选中create，点击ctrl+h，找到实现类DistributedFileSystem.java，查找

开启掘金成长之旅！这是我参与「掘金日新计划 · 12 月更文挑战」的第30天，点击查看活动详情 2.6 NN启动资源检查 2.6.1 点击startCommonServices NameNode.ja

开启掘金成长之旅！这是我参与「掘金日新计划 · 12 月更文挑战」的第30天，点击查看活动详情 @[toc] 第一章 RPC通信原理解析 1.1 回顾 HDFS、YARN、MapReduce三者关系

@[toc] 4. 用户行为数据采集模块 4.1 数据通道 4.2 环境准备 4.2.1 集群所有进程查看脚本 编写Hadoop集群常用脚本、Hadoop集群启停脚本、常用端口号说明、集群时间同步、时

@[toc] 3. 用户行为日志 3.4 服务器和JDK准备 3.4.1 服务器准备 可以看我之前写的文章 VMware 安装 VMware 安装CentOS7配置环境、安装虚拟机、选择cd/dvd的

@[toc] 3. 用户行为日志 3.1 用户行为日志概述   用户行为日志的内容，主要包括用户的各项行为信息以及行为所处的环境信息。收集这些信息的主要目的是优化产品和为各项分析统计指标提供数据支撑。

@[toc] 1.数据仓库概念   数据仓库（ Data Warehouse ），是为企业制定决策，提供数据支持的。可以帮助企业，改进业务流程、提高产品质量等。 数据仓库的输入数据通常包括：业务数据、

@[toc] 17. Yarn 案例实操 17.4 Yarn的Tool接口案例 17.4.1 回顾 期望可以动态传参，结果报错，误认为是第一个输入参数。 17.4.2 需求 自己写的程序也可以动态修改

@[toc] 17. Yarn 案例实操 17.3 公平调度器案例 17.3.1 需求 创建两个队列，分别是test和summer（以用户所属组命名）。期望实现以下效果：若用户提交任务时指定队列，则任

17. Yarn 案例实操 17.2 容量调度器多队列提交案例 1）在生产环境怎么创建队列？ （1）调度器默认就1个default队列，不能满足生产要求。 （2）按照框架：hive /spark/ f

@[toc] 17. Yarn 案例实操 注：调整下列参数之前尽量拍摄Linux快照，否则后续的案例，还需要重写准备集群。 将hadoop102、hadoop103、hadoop104全部拍摄快照 1

@[toc] 16. Yarn资源调度器 16.5 Yarn常用命令 Yarn状态的查询，除了可以在hadoop103:8088页面查看外，还可以通过命令操作。常见的命令操作如下所示： 需求：执行Wo

@[toc] 16. Yarn资源调度器 思考： 1）如何管理集群资源？ 2）如何给任务合理分配资源？ Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而

@[toc] 14. Hadoop数据压缩 14.1 概述 14.1.1 压缩的好处和坏处 压缩的优点：以减少磁盘IO、减少磁盘存储空间。 压缩的缺点：增加CPU开销。 14.1.2 压缩原则 （1）

13.7 数据清洗（ETL）   “ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取（Extract）、转换（Transform）、加载（Load）至目