了解文件系统调用吗?如何实现的?

366 阅读31分钟

文件系统调用

本文接着上文系统调用,也是接着 xv6xv6 文件系统的最后一层,讲述各种具体的文件系统调用是怎么实现的,文件描述符,inodeinode,文件之间到底有什么关系,创建打开关闭删除文件到底是何意义,文件删除之后数据就不存在了吗,链接又作何解释等等问题,看完本文相信你能找到答案。

基本数据结构

前面的文章捋一捋文件系统中曾提到过,LinuxLinux 里会为每一个打开的文件维护两张表,一个是系统级的打开文件表,简称为文件表。还维护了一张进程级的打开文件表,且称为文件描述符表

每一个打开的文件都使用一种数据结构:文件结构体(struct filestruct\ file)来表示,打开一个文件就会在文件表中创建/分配一个文件结构体。文件描述符表就是一个指针数组,其元素指向文件表中的文件结构体,而这个数组的索引就是常说的文件描述符

来看这些数据结构的定义:

文件结构体

struct file {
  enum { FD_NONE, FD_PIPE, FD_INODE } type;  //文件类型
  int ref; // reference count  //引用数
  char readable;   //可读?
  char writable;   //可写?
  struct pipe *pipe;  //该文件是个管道
  struct inode *ip;   //该文件是个“inode”型文件
  uint off;     //读写文件时记录的偏移量
};

这就是文件结构体的定义,它主要记录了对文件操作方面的信息,比如读写权限,读写时的偏移量等等。具体的字段意义我们放在后面需要,这里先把几个基本的文件数据结构过一遍。

文件表

struct {
  struct spinlock lock;
  struct file file[NFILE];
} ftable;

#define NFILE       100  // open files per system

文件结构体集合在一起就是文件表,它是系统的全局数据,整个系统只有一张文件表,所有进程都可以访问,所以配了一把锁避免竞争条件。根据定义,可以看出 xv6xv6 这个系统最多支持打开 100100 个文件。

分配文件结构体

struct file* filealloc(void)    //分配一个文件结构体
{
  struct file *f;

  acquire(&ftable.lock);
  for(f = ftable.file; f < ftable.file + NFILE; f++){
    if(f->ref == 0){   //如果该文件结构体的引用数为0则说明空闲可分配
      f->ref = 1;   //新分配的,引用数为1
      release(&ftable.lock);
      return f;   //返回文件结构体的指针
    }
  }
  release(&ftable.lock);
  return 0;
}

这是分配文件结构体的函数,很简单,先加锁,然后从前置后依此寻找空闲的文件结构体。判断文件结构体是否空闲就是看这个文件结构体的引用数是否为 0。为 0 表示空闲可以分配出去,反之不能继续向后找空闲的文件结构体。找到之后释放锁然后返回该空闲文件结构体的指针,反之没找到的话就释放锁返回 0。引用数表示该文件结构体被引用的次数,具体含义见后面属性字段辨析。

文件描述符表、文件描述符

struct proc {
  uint sz;                     // Size of process memory (bytes)
  pde_t* pgdir;                // Page table
  char *kstack;                // Bottom of kernel stack for this process
  enum procstate state;        // Process state
  int pid;                     // Process ID
  struct proc *parent;         // Parent process
  struct trapframe *tf;        // Trap frame for current syscall
  struct context *context;     // swtch() here to run process
  void *chan;                  // If non-zero, sleeping on chan
  int killed;                  // If non-zero, have been killed
  struct file *ofile[NOFILE];  // Open files
  struct inode *cwd;           // Current directory
  char name[16];               // Process name (debugging)
};

文件描述符表是每个进程有一张,既然是为每个进程都会维护一个文件描述符表,那么这个数据结构便应该定义在进程控制块里面。虽然进程咱们还没说,但是经过前面的中断,文件系统等铺垫,这个进程控制块的元素多多少少我们都见过了。

文件描述符表的定义就是:

struct file *ofile[NOFILE];  // Open files
#define NOFILE       16  // open files per process

可以看出文件描述符表就是一个指针数组,其索引就是文件描述符,所以文件描述符就是一个整数,其元素就是个地址,指向的文件表中的文件结构体。每个进程最多支持打开 1616 个文件,每打开一个文件就会在文件表中分配一个文件结构体,然后文件描述符表中同样的分配一个描述符,该位置上填写的刚分配的文件结构体的地址。

分配文件描述符

static int
fdalloc(struct file *f)
{
  int fd;
  struct proc *curproc = myproc();   //当前进程控制块的地址

  for(fd = 0; fd < NOFILE; fd++){  
    if(curproc->ofile[fd] == 0){  //如果该描述符对应的元素为0则空闲可分配
      curproc->ofile[fd] = f;  //填写文件结构体地址
      return fd;   //返回文件描述符
    }
  }
  return -1;
}

分配文件描述符的方式与分配文件结构体的方式类似,就是从前置后地寻找空闲的文件描述符,判断是否空闲就是看该位置上的元素是否为 0。因为文件描述符表就是个指针数组,为 0 就表示指向为空,所以空闲可以分配出去。

这个函数里面实现了文件描述符、文件结构体之间的绑定,就是将文件结构体的地址写到文件描述符这个位置上。

这也说明了,为什么每次分配的文件描述符相对于当前来说都是最小的,就是因为分配的文件描述符的方式是从前往后的依次寻找空闲可用的描述符。

值得一提的是对比分配文件结构体和文件描述符会发现,分配文件描述符并没有加锁,这是因为文件表是所有进程共享的资源,而文件描述符表是进程私有的。

属性字段辨析

这里来解决前文遗留的一些问题,在前文我们聊过 inodeinode 的一些属性字段,当时有些地方只是简单提了几句,说是后面详述。后面就是指本文了,这里我们将 inodeinode 和文件结构体结合在一起看,再贴一次 inodeinode 结构体定义:

struct inode {
  uint dev;           // Device number
  uint inum;          // Inode number
  int ref;            // Reference count
  struct sleeplock lock; // protects everything below here
  int valid;          // inode has been read from disk?

  short type;         // copy of disk inode
  short major;
  short minor;
  short nlink;
  uint size;
  uint addrs[NDIRECT+1];
};

文件类型

inodeinode 与文件一一对应,记录的是文件的一些元信息,比如文件的大小链接数等等。而文件结构体是打开文件时创造的,更倾向于记录对文件操作的一些信息,比如读写权限,读写时的偏移量等等。

两种数据结构中有些属性名称上有重复,它们是否为同一个东西呢?答案不是,比如文件结构体中的文件类型,定义了 FD_NONEFD\_NONE, FD_INODEFD\_INODE, FD_PIPEFD\_PIPE 三种类型,分别表示 无,inodeinode 型,管道型的文件,xv6xv6 里会根据文件结构体里面的文件类型来使用不同的操作方法。后面可以看到对于 inodeinode 类型的文件会通过 inodeinode 的方法来对文件进行操作,而 pipepipe 类型的文件通过其特有的管道方法对一块内存区域进行操作。

inodeinode 中也定义的有文件类型: T_DIRT\_DIR, T_FILET\_FILE, T_DEVT\_DEV,分别表示目录文件,普通文件,设备文件。xv6xv6 里这几种文件都可以使用 inodeinode 的方法对文件进行操作,比如读写数据等等。

LinuxLinux 里,共有 7 种类型的文件:普通文件,目录文件,块设备文件,字符设备文件,套接字文件,管道文件,链接文件。对这 7 中类型文件没有分开表示,在 inodeinode 里有 modemode 字段专门来表示文件的类型和权限。而且有关文件的几个重要的数据结构都有自己的方法字段 opop,根据不同的操作对象来调用不同的操作方法。

文件计数

文件的 inodeinode 种维护了两个计数值,一个是链接数 nlinknlink,一个是引用数 refrefnlinknlink 可以看作是磁盘级关于文件的计数,其本质是有多少个目录项指向该文件。refref 可以看作是内存级关于文件的计数,引用数就是说某个地方在使用该文件的 inodeinode,一般来说普通文件的引用数也是可以当作文件的打开次数

这两个计数值任意一个值不为 0 时,我们认为该文件存在,当两者都为 0 的时候,我们则认为该文件不存在了,可以回收该文件所占用的资源,如 inodeinode 和数据块,也就是删除该文件。所以删除文件的条件为 ref==0 && nlink==0ref == 0\ \&\&\ nlink == 0,这在后面的函数中会具体讲解

而文件结构体中也有一个引用数属性,这与 inodinode 中的引用数是否为同一个东西呢?不是的,两种不同数据结构的引用次数含义当然不一样, filereffile \rightarrow ref 表示引用该文件结构体的次数,主要包括两部分。一是引用该文件结构体的进程数,通常因为 forkfork 系统调用,forkfork 会复制父进程的文件描述符表,其元素指向文件结构体,所以 forkfork 之后,父进程涉及到的文件结构体引用数增加。二是同一个进程的不同文件描述符也可能指向相同的文件结构体使其引用数增加,这通常是通过 dupdup 系统调用实现的

文件系统调用

关于文件的数据结构和其属性就说那么多,大都应该都比较好理解,一些比较晦涩的我们在实际的函数中来理解。有关文件的一些基本操作比如获取释放 inodeinode,路径解析在前文已经讲过,本文不再赘述,本文在这之上接着前文 系统调用讲述一些常见的文件系统调用是如何实现的。

这里简单的再过一下系统调用,xv6xv6 的系统调用使用 INT 64 指令来实现的,触发一个 6464 号中断陷入内核,根据向量号 6464 去获取执行中断服务程序。在执行系统调用之前传入了系统调用号,在中断服务程序中根据系统调用号获取执行内核功能函数。

执行内核功能函数需要取参数,xv6xv6 系统调用的参数传递方法是压栈,压的是用户栈,所以要去用户栈去参数,关于取参设计了下面三个函数

int argint(int n, int *ip);   

从用户栈中获取第 nn 个参数(intint 型变量),存在 ip*ip

int argptr(int n, char **pp, int size);

从用户栈中获取第 nn 个参数指针,放在 pp*pp 中,sizesize 用来条件检查的,这里为什么使用二级指针请看前文系统调用如何实现

int argstr(int n, char **pp);

从用户栈中获取第 nn 个参数字符串(地址值),放在 pp*pp 里,为什么使用二级指针同样看前文。

上面就是对前文系统调用的简述,省去了很多细节,有了这些了解之后来具体看看文件系统调用也就是上面所说的内核功能函数如何实现的。

linklink

本来打算先说创建打开文件的,但是需要用到链接数的概念,所以就先把 linklink 系统调用说了吧,后面讲述这些函数也就不按照什么正常的逻辑顺序了,根据实现涉及的概念先后多少来吧。

①函数原型:

int link(const char *oldname, const char *newname);

oldnamenewnameoldname、newname 都是路径,linklink 系统调用创建一个硬链接,lnln 命令创建硬链接就是使用 linklink 系统调用实现的,它使得 newnamenewname 文件名链接到 oldnameoldname 指向的文件。主要做两件事:

  • 新路径下增加一个目录项指向旧路径下的文件
  • 文件的链接数加 1

②函数实现:

int sys_link(void)
{
  char name[DIRSIZ], *new, *old;
  struct inode *dp, *ip;
  /***函数太长分开叙述***/
}

什么是链接?一个文件一个 inodeinode,两者一一对应,但是没有规定文件名和 inodeinode 一一对应吧。所以链接其实就是多个文件名指向同一个文件,使用同一个 inodeinodeinodeinode 中没有文件名属性,文件名属性在目录项中,所以从实现的本质上来讲一个文件的链接数就是有多少个目录项指向该文件

来看看 xv6xv6 中具体是如何实现的:

  if(argstr(0, &old) < 0 || argstr(1, &new) < 0)   //取参数文件名
    return -1;

linklink 系统调用需要两个参数路径,这两个参数在执行系统调用之前被压倒了用户栈,所以在这 sys_linksys\_link 函数里需要先去把参数给取过来。这里就是两个路径 oldnewold、 new,路径的末尾就是要链接在一起的文件名。

  begin_op();
  if((ip = namei(old)) == 0){    //获取old文件的inode,如果不存在返回
    end_op();
    return -1;
  }

  ilock(ip);     //锁上该inode,顺便使其数据有效
  if(ip->type == T_DIR){   //如果类型是目录返回
    iunlockput(ip);
    end_op();
    return -1;
  }

调用 nameinamei 路径解析 newnew,返回其表示的文件 inode  ipinode\ \ ip,如果不存在 return -1,如果是个目录文件 return -1使用 linklink 来链接的文件应该是普通文件,目录文件在创建目录的时候创建链接,这个后面会说到。

文件系统调用前后使用日志来保证原子性,对 inodeinode 上锁使用,使数据有效,情况不对解锁并释放掉。对于 inodeinode 的操作都是如此,igetigetiputiputlocklockunlockunlock ,都需要配套使用,虽然一般的文件系统调用里面没有体现 igetiget,但要使用一个 inodeinode,肯定得先 getget 到对吧,这个步骤一般是在路径解析函数最后返回 inodeinode 时进行,具体就是在 fs.c/namexfs.c/namex 函数中。关于 xv6xv6 的文章讲了这么多篇了,这种种关于 inodeinode 的操作到现在应该算是基操了,后面关于 inodeinode 的获取释放上锁解锁不再赘述。不太清楚的可以翻看前面关于 xv6xv6 文件系统方面的文章

  ip->nlink++;    //old文件链接数加1
  iupdate(ip);    //更新inode,写到磁盘(日志区)
  iunlock(ip);

这里将要链接的文件的链接数加 1,链接一个文件,当然要将该文件的链接数加 1。目前只是内存中的 inodeinode 链接数加了 1,需要同步到磁盘上去,当然不是直接写到磁盘对应位置,而是写到日志区,当然也不是马上就写到日志区,还要等待提交,等待磁盘请求。这些也算是基操了不再多言,有疑惑翻看前面的文章。

"更新完毕" 之后解锁,只解锁不释放该 inodeinode,是因为后续还要使用该 inodeinode,只是不会再修改其数据,我们接着来看:

  if((dp = nameiparent(new, name)) == 0)   //寻找新文件的父目录inode 
    goto bad;
  ilock(dp);
  if(dp->dev != ip->dev || dirlink(dp, name, ip->inum) < 0){  //在父目录下填写new的名字,old的inode编号,
    iunlockput(dp);                                           //两者链接在一起了使用同一个inode表同一个文件
    goto bad;
  }
  iunlockput(dp);
  iput(ip);

  end_op();

bad:               //中途出错的情况
  ilock(ip);     //上锁
  ip->nlink--;   //前面nlink加了1,出了错减1
  iupdate(ip);   //更新
  iunlockput(ip);//解锁释放
  end_op();     //日志end
  return -1;
}

链接一个文件,就是增加一个目录指向该文件,这部分就是在新路径 newnew 下增加一个目录项。首先路径解析 newnew,返回新文件名的父目录 inode  dpinode\ \ dp,上锁之后在 dpdp 目录下填写目录项,内容为(新文件名,inode 编号),最为重要的就是这儿,填写的 inodeinode 编号是根据 oldold 解析出来的 inodeinode 编号,使得两文件名使用同一个 inodeinode,表示同一个文件

剩余的部分又是对 inodeinode 的处理,基本操作,应该能明白就不解释了。

unlinkunlink

①函数原型:

int unlink(const char *pathname);

unlinkunlink 使 pathnamepathname 指向的文件链接数减 1,实质上是将 pathnamepathname 指向的文件父目录下 关于该文件的目录项移除。如果该文件的链接数减到 0 且该文件没有被打开,也就是说引用数也为 0,那么就会删除该文件。

所以总的来说 unlinkunlink 做的事情也就两件:

  • 删除 pathnamepathname 目录项
  • 文件链接数减 1

②函数实现:

int sys_unlink(void)
{
  struct inode *ip, *dp;
  struct dirent de;
  char name[DIRSIZ], *path;
  uint off;  
  /***函数太长分开叙述***/
}

unlinkunlink 大致上是 linklink 的逆操作,但还是有些不同,来具体看看,同样的函数有些长,分开来说

if(argstr(0, &path) < 0)    //取得参数路径
    return -1;

同样的先去用户栈取得参数:路径

begin_op();  //日志开始
  if((dp = nameiparent(path, name)) == 0){  //返回最后一个文件的父目录的inode
    end_op();
    return -1;
  }
  ilock(dp);

解析该路径末尾的文件名赋给 namename,返回其父目录 inodeinode 赋给 dpdp

  if(namecmp(name, ".") == 0 || namecmp(name, "..") == 0)  //unlink的文件是 . 或 ..
    goto bad;

每个目录下都有目录项指向当前目录.和父目录 .. ,这两个目录项不应该被擦除掉。如果要 unlinkunlink 删除某个目录,那么参数位置应该直接设置该目录的路径,也就是说如果现在要 unlink  /a/b/cunlink\ \ /a/b/ca,b,ca,b,c 都是目录,不应该写成 unlink  /a/b/c/.unlink\ \ /a/b/c/. 之类的,而 LinuxLinux 下是无法 unlinkunlink 一个目录的。

  if((ip = dirlookup(dp, name, &off)) == 0)  //在dp指向的目录下查找name文件
    goto bad;
  ilock(ip);

这一部分在父目录下查找 namename 文件,如果找到将目录项的偏移量记录在 offoff 中,并返回该文件的 inode  ipinode\ \ ip

  if(ip->nlink < 1)
    panic("unlink: nlink < 1");
  if(ip->type == T_DIR && !isdirempty(ip)){  //如果该文件是个目录文件且为空目录,则unlockput
    iunlockput(ip);
    goto bad;
  }

static int isdirempty(struct inode *dp)   //是否是空目录
{
  int off;
  struct dirent de;

  for(off=2*sizeof(de); off<dp->size; off+=sizeof(de)){  //跳过. ..
    if(readi(dp, (char*)&de, off, sizeof(de)) != sizeof(de))
      panic("isdirempty: readi");
    if(de.inum != 0)
      return 0;
  }
  return 1;
}

如果该文件的的链接数已经小于 11 了,则不应该出现再次 unlinkunlink 的情况,定是某个地方出错,所以 panicpanic

如果该文件是一个目录文件,但不是空目录,则不应该 unlinkunlink 该目录。空目录是指目录项只包括 ... 的目录,也就是说如果某个目录下面有除开 ... 的目录项的话,则不应该 unlinkunlink 掉。至于原因和 unlinkunlink 空目录的情况往下看。

  memset(&de, 0, sizeof(de));
  if(writei(dp, (char*)&de, off, sizeof(de)) != sizeof(de))
    panic("unlink: writei");

链接数与目录项有关,unlinkunlink 某文件就是将该文件父目录下相应的目录项给清零(删掉),目录项中记录的有 inodeinode 编号,该目录项被擦除之后相应的 inodeinode 的链接数就减 1

所以上述 unlinunlink 非空目录的话,就是在其父目录下将这个非空目录的目录项给清除掉,这清除之后那就没办法获取该非空目录下的文件了。因为查找文件路径解析就是通过目录的目录项一层层的找,现下目录项没了,那当然就没法寻到后续的文件,就好比路断了怎么过去。而 LinuxLinux 下更为严格,不能使用 unlinkunlink 一个目录,空目录也不行,经测试, xv6xv6 中是可以使用 unlinkunlink 来删除一个空目录的,而 LinuxLinux 中不行,LinuxLinux 中有专门的函数 sys_rmdirsys\_rmdir 来删除目录。

  if(ip->type == T_DIR){   //如果unlink目录文件
    dp->nlink--;
    iupdate(dp);
  }
  iunlockput(dp);

如果该文件是个目录文件,且是空目录前面将其父目录下的目录项给清除了,这里还要将其父目录的链接数减 1。因为这个空目录目录下有一个 .. 目录项指向父目录。这里再次看出目录项与链接数息息相关,有多少个目录项,目录项表示的文件链接数就是多少。

  ip->nlink--;     //链接数减1
  iupdate(ip);
  iunlockput(ip);   //解锁释放inode,如果ref nlink都变为0,则删除该文件

  end_op();

指向该文件的目录项被清除了一个,所以该文件的链接数减 1,剩余部分和 badbad 部分又是对该文件的 inodeinode 和父目录的 inodeinode 的后续处理,不再赘述。

createcreate

①函数原型:

static struct inode* create(char *path, short type, short major, short minor);

这个函数是创建新文件(包括目录、设备文件)的核心函数,在路径 pathpath 下创建一个类型为 typetype 的文件,majormajorminorminor 分别为主次设备号,majormajor 表示一类设备,minorminor 来表示这一类中具体的某设备。xv6xv6 支持的设备很少,所以对于设备号用的也很少,目前使用的也就是磁盘上的文件,用(0,0)表示,终端用(1,1) 表示。

创建新文件步骤主要就两步:

  • 分配 inodeinode
  • 安装目录项

②函数实现:

  if((dp = nameiparent(path, name)) == 0)  //要创建文件的父目录inode
    return 0;
  ilock(dp);

  if((ip = dirlookup(dp, name, 0)) != 0){   //如果该文件在目录中存在
    iunlockput(dp);
    ilock(ip);
    if(type == T_FILE && ip->type == T_FILE)  //如果类型是普通文件
      return ip;
    iunlockput(ip);
    return 0;
  }

这部分主要获取 inodeinode,首先解析路径获取要创建的文件父目录 inodeinode, 赋给 dpdp,然后在父目录下查找是否已存在该文件。如果要创建的文件已经存在,直接返回。

  if((ip = ialloc(dp->dev, type)) == 0)  //如果该文件不存在,分配一个inode
    panic("create: ialloc");

  ilock(ip);
  ip->major = major;
  ip->minor = minor;
  ip->nlink = 1;        //只有父目录下一个目录项指向该文件
  iupdate(ip);

如果要创建的文件不存在,则创建该文件。主要就是分配一个 inodeinode,该 inodeinode 的设备号与其目录 inodeinode 设备号相同。其实这里不应该叫设备号,在 LinuxLinux 里确实有个 devdev 属性表设备号,是一个 3232 位的整数,高 1212 位表示主设备号,低 2020 位表示次设备号。但是在 xv6xv6 里面这个 devdev 其实就是来区分磁盘的主盘和从盘的。为 0 表示主盘,为 1 表示从盘。

后面的 major  minormajor\ \ minor 主次设备号前面说过了,这两个值参数给出,磁盘上的文件,用(0,0)表示,终端用(1,1) 表示。

新创建的普通文件链接数为 1,因为只有父目录下有个目录项指向新创建的文件

  if(type == T_DIR){  // Create . and .. entries. //如果是创建目录文件,那么必须创建父目录和当前目录的目录项
    dp->nlink++;  // for ".."  关于父目录的目录项,父目录的链接加1
    iupdate(dp);
    // No ip->nlink++ for ".": avoid cyclic ref count.
    if(dirlink(ip, ".", ip->inum) < 0 || dirlink(ip, "..", dp->inum) < 0)  //填写目录项
      panic("create dots");
  }

如果创建的文件是个目录文件,则其父目录的链接数需要加 1,因为该目录文件下有 .. 目录项指向父目录。虽然也有 . 自己,但是自身的链接数并未加 1,这里注释表示是为了不能循环引用计数?对此表示怀疑,在 LinuxLinux 下新目录的链接数为 2,而 xv6xv6 只为 1。对此我认为 xv6xv6 是为了简化操作,去看了 Linux  0.11Linux\ \ 0.11 的源码,创建新目录和删除一个目录的时候都是以链接数为 2 来判断的,而且修改 inodenlinkinode \rightarrow nlink 使用的是直接赋值而不是递增递减来操作,xv6xv6 可能为了简化统一吧,只使用 unlinkunlinkiputiput 两函数实现对文件的删除,只是这样的话对于 xv6xv6 来说链接数就与目录项个数不是一一对应的了。

  if(dirlink(dp, name, ip->inum) < 0)  //在父目录下添加当前文件的目录项
    panic("create: dirlink");

  iunlockput(dp);

创建一个新文件需要在其父目录下填写当前文件的目录项,这样后续路径解析查找文件时该文件才能被找到。调用 dirlinkdirlinkdpdp 目录下创建一个新目录项(name,ipnum)(name, ip \rightarrow num)

openopen

①函数原型:

int open(const char *pathname, int omode);

openopen 函数应该是见的很多了,也用的很多,它来以 omodeomode 的方式打开一个 位于 pathnamepathname 的文件,如果没有该文件的话,就先创建再打开。

主要做了以下几件事:

  1. 去用户栈中取参数
  2. 如果打开方式为创建,则先调用 createcreate 创建一个新文件
  3. 分配文件结构体,分配文件描述符
  4. 文件描述符指向分配的文件结构体,根据参数设置文件结构体的属性

②函数实现:

  if(argstr(0, &path) < 0 || argint(1, &omode) < 0)  //获取参数路径和模式
    return -1;

这是个系统调用,同样的,先去用户栈取参数:路径 pathpath 和模式 omodeomode,所谓模式就是以什么方式打开这个文件:

#define O_RDONLY  0x000   //只读
#define O_WRONLY  0x001   //只写
#define O_RDWR    0x002   //读写
#define O_CREATE  0x200   //创建

xv6xv6 定义了上述 4 种文件打开模式,只读只写可读可写和创建。

  if(omode & O_CREATE){   //如果是创建一个文件
    ip = create(path, T_FILE, 0, 0);
    if(ip == 0){
      end_op();
      return -1;
    }

如果是创建文件的话,就调用 createcreate 函数先创建一个文件。参数 pathpath 表路径,T_FILET\_FILE 表创建一个普通文件,主次设备号都为 0,在 xv6xv6 里面就表示磁盘上的文件。

else {   //如果该文件存在
    if((ip = namei(path)) == 0){  //解析路径,获取文件inode
      end_op();
      return -1;
    }
    ilock(ip);   //上锁,(使得inode数据有效)
    if(ip->type == T_DIR && omode != O_RDONLY){   //如果文件类型是目录且打开方式不是只读
      iunlockput(ip);
      end_op();
      return -1;
    }
}

如果该文件存在,就直接调用 namei(path)namei(path) 解析该路径,取得该路径表示的文件 inodeinode,这里判断该文件类型如果是目录,且不是以只读的方式打开的,释放该 inodeinode,返回 -1 表出错,也就是说目录文件只能以只读的方式打开

  if((f = filealloc()) == 0 || (fd = fdalloc(f)) < 0){   //分配一个文件结构体和文件描述符
    if(f)
      fileclose(f);
    iunlockput(ip);
    end_op();
    return -1;
  }
  iunlock(ip);
  end_op();

  f->type = FD_INODE;  
  f->ip = ip;
  f->off = 0;
  f->readable = !(omode & O_WRONLY);
  f->writable = (omode & O_WRONLY) || (omode & O_RDWR);
  return fd;

这里就说明了打开一个文件就会在文件表中分配一个文件结构体,随后分配一个文件描述符指向刚分配的文件结构体。如果文件结构体和文件描述符正常分配,则 ifif 分支是不会进去的,如果出错的话怎么处理自己看下不难理解。

如果正常分配的话,就根据参数初始化文件结构体的信息。类型应为 FD_INODEFD\_INODE ,表示可以使用 inodeinode 的方法来操作文件,包括磁盘上的文件和设备文件。管道类型的文件不是使用这个函数来创建打开的,而是有专门的 pipepipe 系统调用。文件刚创建,所以读写的偏移量 offoff 初始化为 0,最后再根据 omodeomode 参数设置该文件的读写权限。

closeclose

①函数原型:

int close(int fd);

closeclose 用来关闭文件描述符 fdfd 指向的文件。

②函数实现:

int sys_close(void)
{
  int fd;
  struct file *f;

  if(argfd(0, &fd, &f) < 0)  //获取参数
    return -1;
  myproc()->ofile[fd] = 0;   //将文件描述符表中记录的文件指针记0
  fileclose(f);  //调用fileclose完成关闭文件的剩下操作
  return 0;
}

void
fileclose(struct file *f)
{
  struct file ff;

  acquire(&ftable.lock);
  if(f->ref < 1)  
    panic("fileclose");
  if(--f->ref > 0){     //引用数减1
    release(&ftable.lock);
    return;
  }
  //如果引用数减为0了,回收文件结构体
  ff = *f;
  f->ref = 0;
  f->type = FD_NONE;
  release(&ftable.lock);
  
  if(ff.type == FD_PIPE)   //如果该文件是个管道,调用pipeclose来关闭
    pipeclose(ff.pipe, ff.writable);
  else if(ff.type == FD_INODE){  //如果类型为FD_INODE
    begin_op();
    iput(ff.ip);  //释放该inode
    end_op();
  }
}

openopen 有了解之后,closeclose 应该是很好理解的,所以代码就一次性的全贴上了。主要做了以下几件事:

  1. 回收文件描述符,就是将打开文件描述表的第 fdfd 项置 0。
  2. 文件结构体中的引用数减 1,表示引用该文件结构体的数量少 1
  3. 如果引用数减到 0,回收文件结构体
  4. 根据文件结构体中的类型调用来完成文件关闭的收尾工作,如果是管道文件调用管道的方法来关闭管道。如果是 FD_INODEFD\_INODE 类型的文件,则调用 inodeinode 的方法 iputiput 回收 inodeinode 来收尾,就是将该文件的引用数减 1,并判断链接数和引用数是否都为 0 ,如果都为 0,回收 inodeinode,回收文件占用的空间,删除该文件。

dupdup

①函数原型:

int dup(int oldfd);

dupdup 这个函数的参数是文件描述符(且称为 oldfdoldfd),返回值也是文件描述符(且称为 newfdnewfd),它的作用就是分配一个 newfdnewfd ,使其指向的文件结构体与 oldfdoldfd 一样,也就是 newfdnewfdoldfdoldfd 这两个下标对应的数组元素是一样的。

②函数实现:

int sys_dup(void)
{
  struct file *f;
  int fd;

  if(argfd(0, 0, &f) < 0)  //根据参数文件描述符获取文件指针
    return -1;
  if((fd=fdalloc(f)) < 0)  //分配文件描述符,使分配的描述符指向文件结构体f
    return -1;
  filedup(f);   //文件结构体引用数加 1 
  return fd;    //返回分配的文件描述符
}

struct file* filedup(struct file *f)  //增加文件结构体的引用数
{
  acquire(&ftable.lock);
  if(f->ref < 1)
    panic("filedup");
  f->ref++;       //文件结构体引用数加1
  release(&ftable.lock);
  return f;
}

static int argfd(int n, int *pfd, struct file **pf)  //根据参数位置获取参数文件描述符,再根据文件描述符获取文件指针
{
  int fd;
  struct file *f;

  if(argint(n, &fd) < 0)    //取参数文件描述符
    return -1;
  if(fd < 0 || fd >= NOFILE || (f=myproc()->ofile[fd]) == 0)  //取文件指针
    return -1;
  if(pfd)       
    *pfd = fd;
  if(pf)
    *pf = f;
  return 0;
}

用户态下调用 dup(oldfd)dup(oldfd), 在调用之前将 oldfdoldfd 压在用户栈的,内核态下调用 argint()argint()oldfdoldfd 这个整数从用户栈中取回来。

取回来之后根据进程控制块中的文件描述符表获取相应的文件指针:f=myproc()ofile[oldfd]f = myproc() \rightarrow ofile[oldfd]

有了旧文件描述符 oldfdoldfd,文件指针 ff,调用 fdalloc(f)fdalloc(f) 分配返回新的文件描述符 newfdnewfd,新旧描述符的指向相同,也就是 ofile[newfd]=ofile[oldfd]ofile[newfd] = ofile[oldfd]

因为多了一个文件描述符表示相应的文件结构体,文件结构体的引用数加 11,调用 filedup(f)filedup(f) 使其引用数加 11

这就是 dupdup 系统调用,用图来说就是:

这里就表明了同一个进程中不同的文件描述符是可以引用相同的文件结构体的,通过 dupdup 系统调用就可以实现。

dupdup 相关的函数还有个 dup2dup2,函数原型如下:

int dup2(int oldfd, int newfd);

该函数的功能与 dupdup 相似,只是可以自己决定返回的文件描述符,而不是返回最小可用的文件描述符

  • newfdnewfd 是空闲的或者等于 oldfdoldfd 的时候,返回 newfdnewfd
  • newfdnewfd 不空闲指向某个文件时,先关闭那个文件再返回 newfdnewfd

readwriteread、write

①函数原型:

int read(int fd, void *buf, int size);
int write(int fd, const void *buf, int size)

readread 就是从文件描述符 fdfd 表示的文件中读取 sizesize 个字节数据到 bufbuf 中去。若读取数据成功则返回读取的字节数,反之返回 1-1writewritebufbuf 中写 sizesize 个字节数据到 fdfd 表示的文件中去。

②函数实现:

int sys_read(void)
{
  struct file *f;
  int n;
  char *p;

  if(argfd(0, 0, &f) < 0 || argint(2, &n) < 0 || argptr(1, &p, n) < 0) //获取参数
    return -1;
  return fileread(f, p, n); //调用fileread进行真正的读取操作
}

int fileread(struct file *f, char *addr, int n)
{
  int r;

  if(f->readable == 0)   //如果该文件不可读
    return -1;
  if(f->type == FD_PIPE)  //如果该文件是管道
    return piperead(f->pipe, addr, n);  //调用管道读的方法
  if(f->type == FD_INODE){  //如果是inode类型的文件
    ilock(f->ip);
    if((r = readi(f->ip, addr, f->off, n)) > 0) //调用readi方法
      f->off += r;
    iunlock(f->ip);
    return r;
  }
  panic("fileread");
}

上述两个关于读取文件的脉络应该还是很清晰的,先是获取用户栈中的参数文件描述符,根据文件描述符获取文件指针(文件结构体)。文件结构体中记录的有该文件的信息,比如类型,inodeinodepipepipe 等等。

如果是管道,调用管道特有的读取方式,如果是 FD_INODEFD\_INODE 类型的文件,调用 inodeinode 方法 readireadi 来读取数据,注意这里不只是读取磁盘上的文件,一些设备文件也是通过 readireadi 来读取的,具体可以去看一下 readireadi 函数,这在前文有讲述。而管道文件咱们后面再说。

关于 writewrite 写文件,基本上是读取文件的逆操作,就不贴代码赘述了,注意一点就行,关于写磁盘操作为了保证原子性,都是将数据先写到日志区,提交之后再同步到磁盘相应的正确位置。日志区的大小有限,写操作涉及的块可能比较多,所以规定了每次写操作的最大字节数,如果超出则分多次写。

fstatfstat

①函数原型:

int fstat(int fd, struct stat*);

fstatfstat 用来获取文件信息,也就是 inodeinode 中记录的文件属性,类似的函数还有 statstatlstatlstat,三者功能都差不多,都是列出文件的一些信息。区别就是后两个的参数是文件的全路径而不是文件描述符,再者就是当文件是一个符号连接的时候,lstatlstat 会列出符号链接本身的信息,而 statstat 会列出该链接指向的文件的信息。三者都用到了一个结构体 struct statstruct\ stat:

struct stat {
  short type;  // Type of file
  int dev;     // File system's disk device
  uint ino;    // Inode number
  short nlink; // Number of links to file
  uint size;   // Size of file in bytes
};

这就是把 inodeinode 的属性字段给搬过来了,没什么好说的,直接来看函数实现:

②函数实现:

int sys_fstat(void)
{
  struct file *f;
  struct stat *st;

  if(argfd(0, 0, &f) < 0 || argptr(1, (void*)&st, sizeof(*st)) < 0)  //获取参数
    return -1;
  return filestat(f, st); //调用filestat填充stat结构体
}

int filestat(struct file *f, struct stat *st)
{
  if(f->type == FD_INODE){
    ilock(f->ip);
    stati(f->ip, st);  //将inode中记录的信息搬到stat结构体中
    iunlock(f->ip);
    return 0;
  }
  return -1;
}

void stati(struct inode *ip, struct stat *st) //将inode中记录的信息搬到stat结构体中
{
  st->dev = ip->dev;
  st->ino = ip->inum;
  st->type = ip->type;
  st->nlink = ip->nlink;
  st->size = ip->size;
}

fstatfstat 函数先取参数文件描述符 fdfd,根据 fdfd 拿到文件指针,根据文件指针拿到 inodeinodeinodeinode 里面就存放着文件的元信息,最后将这些信息放到 statstat 结构体中。statstat 命令和 lsls 命令就是靠 statstat 系统调用实现的。

mkdirmkdir

①函数原型:

int mkdir(const char *pathname);

mkdirmkdir 用来在路径 pathnamepathname 下创建一个目录

②函数实现:

int sys_mkdir(void)
{
  char *path;
  struct inode *ip;

  begin_op();
  if(argstr(0, &path) < 0 || (ip = create(path, T_DIR, 0, 0)) == 0){  //获取参数路径,调用create创建目录
    end_op();
    return -1;
  }
  iunlockput(ip);
  end_op();
  return 0;
}

这个函数就是 createcreate 函数的封装,将类型参数设置为 T_DIRT\_DIR,主次设备号设置为(0,0)就好

chdirchdir

①函数原型:

int chdir(const char *pathname);

chdirchdir 用来改变当前工作目录

②函数实现:

int sys_chdir(void)
{
  char *path;
  struct inode *ip;
  struct proc *curproc = myproc();
  
  begin_op();
  if(argstr(0, &path) < 0 || (ip = namei(path)) == 0){  //获取参数路径,以及路径中最后一个文件的inode
    end_op();
    return -1;
  }
  ilock(ip);
  if(ip->type != T_DIR){   //如果类型不是目录文件
    iunlockput(ip);
    end_op();
    return -1;
  }
  iunlock(ip);  
  iput(curproc->cwd);  //“放下”进程原路径的inode
  end_op();
  curproc->cwd = ip;  //进程的路径换为当前新路径
  return 0;
}

这个函数看起有点长,主要就做两件事:

  • 获取 pathnamepathname 表示的目录文件的 inodeinode
  • 将该 inodeinode 赋给当前进程 PCBPCB 的属性 cwdcwd

进程 PCBPCBcwdcwd 就是个 inodeinode 指针,将 pathnamepathname 表示的目录 inodeinode 赋给 cwdcwd 就表示切换目录了,是不是很简单。其实还跟一个函数间接相关,那就是路径解析函数,这个函数在一文中讲过,函数解析的时候会先判断该路径是绝对路径还是相对路径,如果是相对路径的话,这个相对的“参考系”就从进程 PCBPCBcwdcwd 中获取。两者结合使得相对路径得以实现。

总结

有关具体的文件系统调用如何实现的本文就说这么多,基本上也把 xv6 文件系统调用部分说完了,只差一个管道没有叙述,管道内容还是有些多的,留待后面吧。

这里对上述的文件系统调用再总结一番,open、close 用来打开和关闭文件,主要就是文件结构体和文件描述符的分配与回收。

linklinkunlinkunlink 来添加和删除目录项使得文件链接数增减。

createcreatexv6xv6 里没有实现成系统调用,它来创建一个文件,普通文件和设备文件都有 createcreate 来创建,主要就是分配 inodeinode 和在对应位置安装目录项。

mkdirmkdir 用来创建一个目录,封装 createcreate 函数实现

chdirchdir 用来改变当前工作目录,就是修改进程控制块的当前工作目录这个属性,是个目录文件的 inodeinode,更改工作路径就是换个目录的 inodeinode

readreadwritewrite 用来读写文件,通过文件结构体中记录的文件类型来调用不同的读写方法,读写之后修改 offoff 变量记录文件读写偏移量。xv6xv6 没有实现 lseeklseek 系统调用,lseeklseek 用来定位文件位置,就是通过修改 offoff 来实现的。

dupdup 用来复制文件描述符,使得不同的文件描述符指向相同的文件结构体,就是分配一个最小可用的文件描述符,使其对应的元素为文件结构体的地址。

statstat 用来打印文件的信息,就是把 inodeinode 的一些属性给搬过来

删除文件

创建打开关闭文件都说了,最后再来聊聊删除文件。前面说过,系统为每一个文件维护了两个计数值,一个是 nlinknlink,可以看作是磁盘级对于文件的计数,本质上是有多少个目录项指向该文件。

refref,文件引用数,也就是文件的 inodeinode 正在被使用的次数,当调用 igetiget 获取一个 inodeinode 时,就会将其引用数 refref 加 1,调用 iputiput 又会使引用数减 1,很多地方都会使用这两个函数,并且与 lockunlocklock、unlock 配套使用。很多函数中对某个 inodeinode 使用了 igetiget (igetiget 隐藏在其他函数中)通常又会在同一个函数中 iputiput,特别是目录文件的 inodeinode ,所以其实很多函数中引用数增增减减但最终并未变化。

但是在 openopen 函数如果正常执行的话,获取(igetiget)文件的 inodeinode 之后并没有释放(iputiput),而是在 closeclose 中释放。所以这个 inodeinoderefref 属性,文件的引用数,对于普通文件来说其实可以看作文件当前的打开数

那具体是如何删除文件的呢?删除文件的必要条件是 nlink==0 && ref==0nlink == 0\ \&\&\ ref == 0

具体删除文件的函数就是 iputiput,在 Linux 0.11Linux\ 0.11 里面也是同名的函数。回过头去看 iputiput 函数,iputiput 会检查 nlinknlinkrefref 两个值是否都为 0,如果都为 0 的话就代表既没有目录项指向它,内存里面有没有引用该文件(打开该文件),那么这个文件其实就是个“孤魂野鬼”,完全可以回收掉它占用的 inodeinode,占用的磁盘空间,也就是将文件给删除掉了。这些事情是 iputiput 调用函数 itruncitrunc 来做的。

网上很多说是 unlinkunlink 删除文件,其实不然,unlinkunlink 只是将目录项给抹除了,将链接数减 1,但最终还是调用的 iputiput 来执行是否要删除文件的检查。如果引用数不为 0,就算是 unlinkunlink 之后链接数为 0 也无济于事。

我做了一个简单这的测试:

int main(){
    int fd;
    fd = open("unlink_test.txt", O_RDWR|O_CREAT);  //打开创建一个文件
    
    char *buf1 = "unlink test";
    char *buf2;

    sleep(10); //睡眠10s,去另开一个终端删除该文件

    write(fd, buf1, sizeof(buf1));  //写该文件
    read(fd, buf2, sizeof(buf1));  //读该文件
    printf("%s\n", buf1);
    
    struct stat s;
    fstat(fd, &s);  //获取stat信息
    printf("%ld\n", s.st_nlink);  //链接数
    
    close(fd);  //关闭该文件

    if(fd = open("unlink_test", O_RDWR) < 0){  //文件已删除,不能打开
        printf("file not exist\n");
    }
}

先创建打开一个文件,接着睡眠 10s10s,在这 10s10s 内我另开一个终端使用 rmrm 或者直接使用 unlinkunlink “删除”该文件,10s10s 之后程序照样可以对该文件进行读写只是链接数变为 0 了。文件关闭之后再次打开文件就失败了。测试截图如下:

这说明文件处于打开状态时, rm/unlinkrm/unlink 该文件,该文件其实并没有被删除,只是这个文件在其父目录下的目录项被删了,链接数减了 1。但是该进程还拥有该文件的文件描述符,文件结构体, inodeinode,依然能够找到该文件的数据块位置,对其进行读写等操作。

但是 closeclose 之后,进程中不会再留存该文件的文件描述符,文件结构体,inodeinode 等结构,而磁盘上相应的目录项已经被删除了,文件名和 inodeinode 的关联已经被切断,不能再通过任何正常的方式获取到该文件的 inodeinode,链接数和引用数都为 0,回收该文件的资源,这时就认为文件已被删除。

关于文件删除再多说两句,一般的我们删除文件并不是直接删除,而是放到回收站了,也就是相当于将该文件移动到回收站那个目录下面去了。使用 rm/unlinkrm/unlink 这种就是彻底删除文件了。但其实也不能说是彻底,因为根据上面的函数实现来看会发现,它只是断开了文件与 inodeinode 的联系,回收了文件占用的资源,但是文件实际在磁盘上的数据是没有改动的,所以文件实际还在磁盘上,但是我们用正常的方式得不到而已。使用一些文件恢复工具就可以恢复文件,要想真正地彻底删除一个文件就只有在存储设备的相应位置覆写无效数据,或者直接格式化存储设备。据说,就算覆写了数据格式化了设备,通过一些黑科技物理手段也是能够找回数据的。

好啦,本文就到这里吧,xv6xv6 文件系统这个部分差不多结尾了,还剩下设备文件,管道,安装文件系统没有讲述,还有一些关于文件的命令,后面再慢慢聊吧。关于本文有什么错误还请批评指正,也欢迎大家来同我讨论交流学习进步,如果对您有所帮助还请点个赞与再看,在此拜谢。