Michaelhbjian

上面的代码段中，我们显示引入了argparse包，然后通过argparse.ArgumentParser函数生成argparse对象，其中这个函数的description函数表示在命令行显示帮助信息的时候，这个程序的描述信息。之后我们通过对象的add_argument函数来增加…

在Mysql中的锁看起来是很复杂的，因为有一大堆的东西和名词：排它锁，共享锁，表锁，页锁，间隙锁，意向排它锁，意向共享锁，行锁，读锁，写锁，乐观锁，悲观锁，死锁。这些名词有的博客又直接写锁的英文的简写：X锁，S锁，IS锁，IX锁，MMVC… 锁的相关知识又跟存储引擎，索引，事务…

Mysql支持Hash索引和B+树索引两种。 …….. 以其他列(非主键)作为搜索条件：只能从最小记录开始依次遍历单链表中的每条记录。 其实底层结构就是B+树，B+树作为树的一种实现，能够让我们很快地查找出对应的记录。 B+树是平衡树的一种。 B+树是平衡树的一种，是不会退化成…

4、所有存储相同数据的列名和列类型必须一致（一般作为关联列，如果查询时关联列类型不一致会自动进行数据类型隐式转换，会造成列上的索 引失效，导致查询效率降低）。 没有特殊要求（即Innodb无法满足的功能如：列存储，存储空间数据等）的情况下，所有表必须使用Innodb存储引擎（m…

Distributed event stream processing has become an increasingly hot topic in the area of Big Data. Notable Stream Processing Engines (SPEs) …

YARN是MRv1基础上演化而来的，克服了MRv1中的各种局限性。在正式的介绍YARN之前，我们先要了解MRv1的一些局限性，这可概括为以下几个方面： 扩展性差：在MRv1中，JobTracker同时兼备了资源管理和作业控制两个功能，这个成为系统的一个最大瓶颈，严重制约了Had…

水平扩展问题，随着集群规模的扩大，1.0 时集群规模达到3000时，会导致整个集群管理的文件数目达到上限（因为 NameNode 要管理整个集群 block 元信息、数据目录信息等）。 2、NameNode Federation：是用来解决 HDFS 集群的线性扩展能力。 关于…

NameNode是Apache Hadoop HDFS体系结构中的主节点，用于维护和管理DataNode（从节点）上存在的块。NameNode是一个非常高可用性的服务器，用于管理文件系统命名空间并控制客户端对文件的访问。HDFS体系结构的构建方式使用户数据永远不会驻留在Name…

下图显示了在读取HDFS上的文件时，客户端、名称节点和数据节点间发生的一些事件以及事件的顺序。 假设系统块大小配置为128 MB(默认)。因此，客户机将把example.txt文件分成两个块，一个是128 MB(块A)，另一个是120 MB(块B)。 The NameNode …