一、 GlusterFS 概述

1. GlusterFS 简介

GlusterFS是一个开源的分布式文件系统。

由存储服务器、客户端以及NFS/Samba存储网关（可选，根据需要选择使用）组成。

没有元数据服务器组件，这有助于提升整个系统的性能、可靠性和稳定性。

2. GlusterFS 特点

• 扩展性和高性能
• 高可用性
• 全局统一命名空间
• 弹性卷管理
• 基于标准协议

3. GlusterFS 术语

• Brick（存储块）

实际存储用户数据的服务器。brick是存储的最小单元，一般是分区、格式化、挂载后的磁盘空间。

指可信主机池中由主机提供的用于物理存储的专用分区，是GlusterFS中的基本存储单元，同时也是可信存储池中服务器上对外提供的存储目录。存储目录的格式由服务器和目录的绝对路径构成，表示方法为SERVER:EXPORT。如：192.168.79.210:/data/mydir/

• Volume（逻辑卷）

本地文件系统的"分区”

一个逻辑卷是一组Brick的集合。卷是数据存储的逻辑设备，类似于LVM 中的逻辑卷。大部分Gluster管理操作是在卷上进行的。

• FUSE

用户空间的文件系统

是一个内核模块，允许用户创建自己的文件系统，无须修改内核代码。用户空间的文件系统(类比EXT4)，“这是一个伪文件系统”;以本地文件系统为例，用户想要读写一个文件，会借助于EXT4文件系统，然后把数据写在磁盘上；而如果是远端的GFS，客户端的请求则应该交给FUSE(为文件系统)，就可以实现跨界点存储在GFS上。

• VFS（虚拟端口）

内核态的虚拟文件系统

内核空间对用户空间提供的访问磁盘的接口，用户是先提交请求交给VFS然后VFS交给FUSE，再交给GFS客户端，最后由客户端交给远端的存储。

• Glusterd（后台管理进程）

运行在存储节点的进程

在存储群集中的每个节点上都要运行，允许在存储节点的进程

4. 模块化堆栈式架构

GlusterFS 采用模块化、堆栈式的架构。

通过对模块进行各种组合，即可实现复杂的功能。例如 Replicate 模块可实现 RAID1，Stripe 模块可实现 RAID0， 通过两者的组合可实现 RAID10 和 RAID01，同时获得更高的性能及可靠性。

5. GlusterFS 的工作流程

• 客户端或应用程序通过 GlusterFS 的挂载点访问数据。
• linux系统内核通过 VFS API 收到请求并处理。
• VFS 将数据递交给 FUSE 内核文件系统，并向系统注册一个实际的文件系统 FUSE，而 FUSE 文件系统则是将数据通过 /dev/fuse 设备文件递交给了 GlusterFS client 端。可以将 FUSE 文件系统理解为一个代理。
• GlusterFS client 收到数据后，client 根据配置文件的配置对数据进行处理。
• 经过 GlusterFS client 处理后，通过网络将数据传递至远端的 GlusterFS Server，并且将数据写入到服务器存储设备上。

6. 弹性 HASH 算法

弹性 HASH 算法是 Davies-Meyer 算法的具体实现，通过 HASH 算法可以得到一个 32 位的整数范围的 hash 值， 假设逻辑卷中有 N 个存储单位 Brick，则 32 位的整数范围将被划分为 N 个连续的子空间，每个空间对应一个 Brick。 当用户或应用程序访问某一个命名空间时，通过对该命名空间计算 HASH 值，根据该 HASH 值所对应的 32 位整数空间定位数据所在的 Brick。

弹性 HASH 算法的优点：

• 保证数据平均分布在每一个 Brick 中。
• 解决了对元数据服务器的依赖，进而解决了单点故障以及访问瓶颈。

7. GlusterFS的卷类型

• 分布式卷
• 条带卷
• 复制卷
• 分布式条带卷
• 分布式复制卷
• 条带复制卷
• 分布式条带复制卷

7.1 分布式卷（Distribute volume）

文件通过 HASH 算法分布到所有 Brick Server 上，这种卷是 GlusterFS 的默认卷；以文件为单位根据 HASH 算法散列到不同的 Brick，其实只是扩大了磁盘空间，如果有一块磁盘损坏，数据也将丢失，属于文件级的 RAID0，不具有容错能力。

在该模式下，并没有对文件进行分块处理，文件直接存储在某个 Server 节点上。 由于直接使用本地文件系统进行文件存储，所以存取效率并没有提高，反而会因为网络通信的原因而有所降低。

分布式卷特点：

• 文件分布在不同的服务器，不具备冗余性。
• 更容易和廉价地扩展卷的大小。
• 单点故障会造成数据丢失。
• 依赖底层的数据保护。

示例原理：

• File1 和 File2 存放在 Server1，而 File3 存放在 Server2，文件都是随机存储，一个文件（如 File1）要么在 Server1 上，要么在 Server2 上，不能分块同时存放在 Server1和 Server2 上。

语法：

//创建一个名为dis-volume的分布式卷，文件将根据HASH分布在server1:/dir1、server2:/dir2和server3:/dir3中
gluster volume create dis-volume server1:/dir1 server2:/dir2 server3:/dir3

server1 192.168.204.10
server2 192.168.204.20

/dir1 挂载点 数据会存在这个文件中 sdb1

7.2 条带卷（Stripe volume）

类似 RAID0，文件被分成数据块并以轮询的方式分布到多个 Brick Server 上，文件存储以数据块为单位，支持大文件存储， 文件越大，读取效率越高，但是不具备冗余性。

条带化（Striping）：是一种数据分布技术，它将文件切分为固定大小的块（条带），并将这些块按照顺序依次存储在多个砖上。每个条带的大小可以根据您的配置进行设置，默认情况下为 4MB。

条带卷特点：

• 数据被分割成更小块分布到块服务器群中的不同条带区。
• 分布减少了负载且更小的文件加速了存取的速度。
• 没有数据冗余。

示例原理：

• File 被分割为 6 段，1、3、5 放在 Server1，2、4、6 放在 Server2

语法：

//创建了一个名为stripe-volume的条带卷，文件将被分块轮询的存储在Server1:/dir1和Server2:/dir2两个Brick中
gluster volume create stripe-volume stripe 2 transport tcp server1:/dir1 server2:/dir2

7.3 复制卷（Replica volume）

将文件同步到多个 Brick 上，使其具备多个文件副本，属于文件级 RAID 1，具有容错能力。因为数据分散在多个 Brick 中，所以读性能得到很大提升，但写性能下降。

复制卷具备冗余性，即使一个节点损坏，也不影响数据的正常使用。但因为要保存副本，所以磁盘利用率较低。

复制卷特点：

• 卷中所有的服务器均保存一个完整的副本。
• 卷的副本数量可由客户创建的时候决定，但复制数必须等于卷中 Brick 所包含的存储服务器数。
• 至少由两个块服务器或更多服务器。
• 具备冗余性。

示例原理：

• File1 同时存在 Server1 和 Server2，File2 也是如此，相当于 Server2 中的文件是 Server1 中文件的副本。

语法：

//创建名为rep-volume的复制卷，文件将同时存储两个副本，分别在Server1:/dir1和Server2:/dir2两个Brick中
gluster volume create rep-volume replica 2 transport tcp server1:/dir1 server2:/dir2

7.4 分布式条带卷（Distribute Stripe volume）

Brick Server 数量是条带数（数据块分布的 Brick 数量）的倍数，兼具分布式卷和条带卷的特点。 主要用于大文件访问处理，创建一个分布式条带卷最少需要 4 台服务器。

示例原理：

• File1 和 File2 通过分布式卷的功能分别定位到Server1和 Server2。在 Server1 中，File1 被分割成 4 段，其中 1、3 在 Server1 中的 exp1 目录中，2、4 在 Server1 中的 exp2 目录中。在 Server2 中，File2 也被分割成 4 段，其中 1、3 在 Server2 中的 exp3 目录中，2、4 在 Server2 中的 exp4 目录中。

语法：

//创建一个名为dis-stripe的分布式条带卷，配置分布式的条带卷时，卷中Brick所包含的存储服务器数必须是条带数的倍数（>=2倍）。 
//Brick 的数量是 4（Server1:/dir1、Server2:/dir2、Server3:/dir3 和 Server4:/dir4），条带数为 2（stripe 2）
gluster volume create dis-stripe stripe 2 transport tcp server1:/dir1 server2:/dir2 server3:/dir3 server4:/dir4

7.5 分布式复制卷（Distribute Replica volume）

Brick Server 数量是镜像数（数据副本数量）的倍数，兼具分布式卷和复制卷的特点。主要用于需要冗余的情况下。

示例原理：

• File1 和 File2 通过分布式卷的功能分别定位到 Server1 和 Server2。在存放 File1 时，File1 根据复制卷的特性，将存在两个相同的副本，分别是 Server1 中的exp1 目录和 Server2 中的 exp2 目录。在存放 File2 时，File2 根据复制卷的特性，也将存在两个相同的副本，分别是 Server3 中的 exp3 目录和 Server4 中的 exp4 目录。

语法：

//创建一个名为dis-rep的分布式复制卷，配置分布式的复制卷时，卷中Brick所包含的存储服务器数必须是复制数的倍数（>=2倍）。
//Brick 的数量是 4（Server1:/dir1、Server2:/dir2、Server3:/dir3 和 Server4:/dir4），复制数为 2（replica 2）
gluster volume create dis-rep replica 2 transport tcp server1:/dir1 server2:/dir2 server3:/dir3 server4:/dir4

7.6 条带复制卷（Stripe Replica volume）

类似 RAID 10，同时具有条带卷和复制卷的特点。

7.7 分布式条带复制卷（Distribute Stripe Replicavolume）

三种基本卷的复合卷，通常用于类 Map Reduce 应用。

二、 部署 GFS

三、 维护命令

//查看GlusterFS卷
gluster volume list 

//查看所有卷的信息
gluster volume info

//查看所有卷的状态
gluster volume status

//停止一个卷
gluster volume stop dis-stripe

//删除一个卷，注意：删除卷时，需要先停止卷，且信任池中不能有主机处于宕机状态，否则删除不成功
gluster volume delete dis-stripe

//设置卷的访问控制
//仅拒绝
gluster volume set dis-rep auth.deny 192.168.204.10

//仅允许
gluster volume set dis-rep auth.allow 192.168.204.*	  
//设置192.168.204.0网段的所有IP地址都能访问dis-rep卷（分布式复制卷）