旧时光大数据

Transform和Action Transformation是得到一个新的RDD，但并不立即执行计算，只是记录下这个操作。方式很多，比如从数据源生成一个新的RDD，从RDD生成一个新的RDD。

ISR是Leader维护的一个动态副本同步队列，是和Leader保持同步的Follower集合。Kafka通过多副本来保证消息不丢失。

HBase上RegionServer的cache主要分为两个部分：MemStore & BlockCache。 MemStore是写缓存，BlockCache是读缓存。

HBase故障恢复流程的总结如下方内容： - 故障检测 - 数据切分 - region上线 - 数据回放

ISR（In-Sync Replicas）：副本同步队列 ISR是Leader维护了一个动态副本同步队列，是和leader保持同步的follower集合。

count(distinct)只有1个reduce。 为什么只有一个reducer呢，因为使用了distinct和count(full aggreates)，这两个函数产生的mr作业只会产生一个re

大数据面试题：超详细版MapReduce工作原理 1、准备待处理文件 2、submit()对原始文件进行切片分析

大数据面试题：Kafka怎么保证数据不丢失，不重复？ 存在数据丢失的几种情况 使用同步模式的时候，有3种状态保证消息被安全生产，在配置为1（只保证写入leader成功）的话

阿里数据体系主要分为数据采集、数据计算、数据服务和数据应用四大层次。 阿里巴巴建立了一套标准的数据采集体系方案，致力全面、高性能、规范地完成海量数据的采集，并将其传输到大数据平台。

《阿里大数据之路》读书笔记：第二章 日志采集 浏览器的页面型产品/服务的日志采集可分为两大类：页面浏览（展现）日志采集和页面交互日志采集