NameNode和SecondaryNameNode

艳烔
44 阅读2分钟

NN和2NN工作机制

NameNode中的元数据是存储在哪里的?

首先,我们做个假设,如果存储在NameNode节点的磁盘中,因为经常需要进行随机访问,还有响应客户请求,必然是效率过低.因此,元数据需要存放在内存中.但如果只存在内存中,一旦断电,元数据丢失,整个集群就无法工作了.因此产生在磁盘中备份元数据的FsImage

这样又会带来新的问题，当在内存中的元数据更新时，如果同时更新 FsImage，就会导致效率过低，但如果不更新，就会发生一致性问题，一旦 NameNode 节点断电，就会产生数据丢失。因此，引入 Edits 文件（只进行追加操作，效率很高）。每当元数据有更新或者添加元数据时，修改内存中的元数据并追加到 Edits 中。这样，一旦 NameNode 节点断电，可以通过 FsImage 和 Edits 的合并，合成元数据。

在系统的hadoop-3.1.3/data/dfs/name/current安装目录下可以看到对应的edits文件和对应的镜像文件

[muyi@hadoop102 current]$ ll
总用量 18520
-rw-rw-r--. 1 muyi muyi      42 11月 12 10:04 edits_0000000000000000001-0000000000000000002
-rw-rw-r--. 1 muyi muyi 1048576 11月 12 10:04 edits_0000000000000000003-0000000000000000003
-rw-rw-r--. 1 muyi muyi 1048576 11月 13 07:55 edits_0000000000000000004-0000000000000000004
-rw-rw-r--. 1 muyi muyi 1048576 11月 13 08:14 edits_0000000000000000005-0000000000000000005
-rw-rw-r--. 1 muyi muyi 1048576 11月 13 08:54 edits_0000000000000000006-0000000000000000013
-rw-rw-r--. 1 muyi muyi      42 11月 13 08:58 edits_0000000000000000014-0000000000000000015
-rw-rw-r--. 1 muyi muyi 1048576 11月 13 09:47 edits_0000000000000000016-0000000000000000228
-rw-rw-r--. 1 muyi muyi 1048576 11月 13 21:06 edits_0000000000000000229-0000000000000000229
-rw-rw-r--. 1 muyi muyi      42 11月 13 21:22 edits_0000000000000000230-0000000000000000231
-rw-rw-r--. 1 muyi muyi 1048576 11月 13 21:22 edits_0000000000000000232-0000000000000000232
-rw-rw-r--. 1 muyi muyi      42 11月 13 21:38 edits_0000000000000000233-0000000000000000234
-rw-rw-r--. 1 muyi muyi 1048576 11月 13 21:38 edits_0000000000000000235-0000000000000000235
-rw-rw-r--. 1 muyi muyi      42 11月 13 22:00 edits_0000000000000000236-0000000000000000237
-rw-rw-r--. 1 muyi muyi 1048576 11月 13 22:00 edits_0000000000000000238-0000000000000000238
-rw-rw-r--. 1 muyi muyi      42 11月 13 22:06 edits_0000000000000000239-0000000000000000240
-rw-rw-r--. 1 muyi muyi 1048576 11月 13 22:06 edits_0000000000000000241-0000000000000000241
-rw-rw-r--. 1 muyi muyi      42 11月 13 22:23 edits_0000000000000000242-0000000000000000243
-rw-rw-r--. 1 muyi muyi 1048576 11月 13 22:23 edits_0000000000000000244-0000000000000000244
-rw-rw-r--. 1 muyi muyi      42 11月 13 22:36 edits_0000000000000000245-0000000000000000246
-rw-rw-r--. 1 muyi muyi 1048576 11月 13 22:36 edits_0000000000000000247-0000000000000000247
-rw-rw-r--. 1 muyi muyi      42 11月 13 22:38 edits_0000000000000000248-0000000000000000249
-rw-rw-r--. 1 muyi muyi 1048576 11月 13 22:38 edits_0000000000000000250-0000000000000000250
-rw-rw-r--. 1 muyi muyi 1048576 11月 13 22:51 edits_0000000000000000251-0000000000000000251
-rw-rw-r--. 1 muyi muyi 1048576 11月 13 22:59 edits_0000000000000000252-0000000000000000252
-rw-rw-r--. 1 muyi muyi 1048576 11月 13 23:01 edits_0000000000000000253-0000000000000000253
-rw-rw-r--. 1 muyi muyi      42 11月 13 23:50 edits_0000000000000000254-0000000000000000255
-rw-rw-r--. 1 muyi muyi 1048576 11月 13 23:50 edits_0000000000000000256-0000000000000000256
-rw-rw-r--. 1 muyi muyi    2668 11月 15 07:57 edits_0000000000000000257-0000000000000000289
-rw-rw-r--. 1 muyi muyi     293 11月 15 08:57 edits_0000000000000000290-0000000000000000295
-rw-rw-r--. 1 muyi muyi      42 11月 15 09:58 edits_0000000000000000296-0000000000000000297
-rw-rw-r--. 1 muyi muyi    1205 11月 15 10:58 edits_0000000000000000298-0000000000000000313
-rw-rw-r--. 1 muyi muyi     175 11月 15 11:58 edits_0000000000000000314-0000000000000000317
-rw-rw-r--. 1 muyi muyi    1300 11月 15 12:58 edits_0000000000000000318-0000000000000000336
-rw-rw-r--. 1 muyi muyi 1048576 11月 15 12:58 edits_inprogress_0000000000000000337
-rw-rw-r--. 1 muyi muyi    3309 11月 15 11:58 fsimage_0000000000000000317
-rw-rw-r--. 1 muyi muyi      62 11月 15 11:58 fsimage_0000000000000000317.md5
-rw-rw-r--. 1 muyi muyi    2911 11月 15 12:58 fsimage_0000000000000000336
-rw-rw-r--. 1 muyi muyi      62 11月 15 12:58 fsimage_0000000000000000336.md5
-rw-rw-r--. 1 muyi muyi       4 11月 15 12:58 seen_txid
-rw-rw-r--. 1 muyi muyi     219 11月 15 07:18 VERSION
[muyi@hadoop102 current]$ pwd
/opt/module/hadoop-3.1.3/data/dfs/name/current

但是,如果长时间添加数据到Edits中,会导致该文件数据过大,效率降低,而且一旦断电,恢复元数据需要的时间过长. 因此,需要定期进行FsImage和Edits的合并,如果这个操作由NameNode节点完成,又会效率过低.因此,引入一个新的节点Secondary NameNode,专门用于FsImage和Edits的合并

图片.png

第一阶段:NameNode启动

  1. 第一次启动NameNode格式化后,创建Fsimage和Edits文件.如果不是第一次启动,直接加载编辑日志和镜像文件到内存
  2. 客户端对元数据进行增删改的请求
  3. NameNode记录操作日志,更新滚动日志
  4. NameNode在内存中对元数据进行增删改

第二阶段:Secondary NameNode工作

  1. 2NN询问NN是否需要CheckPoint.直接带回NameNode是否检查结果
  2. 2NN请求执行CheckPoint
  3. NN滚动正在写的Edits日志
  4. 将滚动前的编辑日志和镜像文件拷贝到2NN
  5. 2NN加载编辑日志到镜像文件到内存,并合并
  6. 生成新的镜像文件fsimage.chkpoint
  7. 拷贝fsimage.chkpoint到NN
  8. NN将fsimage.chkpoint重新命名成fsimage
avatar
文章
阅读
粉丝