BeCautious

什么是Hadoop 我们常常说大数据平台一般是指Hadoop集群，Hadoop集群包含HDFS分布式文件系统和YARN资源管理系统以及分布式离线计算MR。 Hadoop基础组件 现在Hadoop的生态

MapReduce MR是一种典型的离线分布式计算技术。 两个函数: Map和Reduce • 核心思想: 分而治之 • 设计理念: 计算向数据靠拢 MapReduce vs 并行计算 分布式的4种计

分布式存储技术是如何产生的？ 分布式存储是大数据平台中的根基， 其是在数据存储技术不断优化的过程中诞生的，分布式存储技术提高了磁盘读写的性能以及提供了横向拓展和容灾的特性。 数据存储优化的基本思路 对

Data Block 在HDFS中大文件会被切分成数据块分布在不同的机器上，每个数据块是以单独的文件形式存储在各自的文件系统中。 比如下面一个6440MB的一个大文件会以101个64MB大小的Bloc

Page Cache是Linux中很重要的一个部分，因此它的难以回收或者容易回收都可能会导致性能问题。 两种误删PC的场景 人为与OS 1.误操作而导致 Page Cache 被回收掉，进而导致业务性

设计先行，测试迭代 需求 设计先行 设计一个task模块 [添加一个 Task 项] [完成一个 Todo 项] [Todo 项列表] 列出指定task 列出所有task 领域服务设计 识别名词 ->

自动化测试框架 组织测试的结构 组织测试的结构最核心的就是测试用例如何写，以及合理使用setUp 和 tearDown 函数来减少重复代码和及时释放资源。 断言 而断言则是保证了我们测试 的目标。断言

好测试的评判标准 简单测试四部曲 准备 准备一些需要提前初始化的工作，可以放在setUp中。 执行 这个阶段是整个测试中最核心的部分，触发被测目标的行为。 断言 断言是我们的预期，它负责验证执行的结果

Mock框架的两个核心点 设置 Mock 对象 核心点 参数是什么样的以及对应的处理是什么样的 Mock对象\ Mock行为\ 校验对象行为 Verify 校验接口背调用了几次 测试应该测试的是接口行