gluster fs分布式文件系统

GlusterFS简介

GlusterFS 是一个开源的分布式文件系统。 由存储服务器、客户端以及NFS/Samba 存储网关（可选，根据需要选择使用）组成。 没有元数据服务器组件，这有助于提升整个系统的性能、可靠性和稳定性。

传统的分布式文件系统大多通过元服务器来存储元数据，元数据包含存储节点上的目录信息、目录结构等。这样的设计在浏览目录时效率高，但是也存在一些缺陷，例如单点故障。一旦元数据服务器出现故障，即使节点具备再高的冗余性，整个存储系统也将崩溃。而 GlusterFS 分布式文件系统是基于无元服务器的设计，数据横向扩展能力强，具备较高的可靠性及存储效率

GlusterFS同时也是Scale-Out（横向扩展）存储解决方案Gluster的核心，在存储数据方面具有强大的横向扩展能力，通过扩展能够支持数PB存储容量和处理数千客户端。

GlusterFS支持借助TCP/IP或InfiniBandRDMA网络（一种支持多并发链接的技术，具有高带宽、低时延、高扩展性的特点）将物理分散分布的存储资源汇聚在一起，统一提供存储服务，并使用统一全局命名空间来管理数据。

GlusterFS的架构与组件

• Brick：GlusterFS中的基本存储单元，通常是一个分区或磁盘，用于存储数据。
• Volume：由多个Brick组成的逻辑卷，是数据存储的逻辑设备。
• 客户端：通过挂载点访问GlusterFS存储卷，进行数据读写操作。
• 网络：支持TCP/IP或InfiniBand RDMA网络，将分散的存储资源连接成一个并行的网络文件系统。

GlusterFS 的工作流程

• （1）客户端或应用程序通过 GlusterFS 的挂载点访问数据。
• （2）linux系统内核通过 VFS API 收到请求并处理。
• （3）VFS 将数据递交给 FUSE 内核文件系统，并向系统注册一个实际的文件系统 FUSE，而 FUSE 文件系统则是将数据通过 /dev/fuse 设备文件递交给了 GlusterFS client 端。可以将 FUSE 文件系统理解为一个代理。
• （4）GlusterFS client 收到数据后，client 根据配置文件的配置对数据进行处理。
• （5）经过 GlusterFS client 处理后，通过网络将数据传递至远端的 GlusterFS Server，并且将数据写入到服务器存储设备上。

GlusterFS的卷类型

• 分布式卷
• 条带卷
• 复制卷
• 分布式条带卷
• 分布式复制卷
• 条带复制卷
• 分布式条带复制卷。

分布式卷（Distribute volume）

文件通过 HASH 算法分布到所有 Brick Server 上，这种卷是 GlusterFS 的默认卷；以文件为单位根据 HASH 算法散列到不同的 Brick，其实只是扩大了磁盘空间，如果有一块磁盘损坏，数据也将丢失，属于文件级的 RAID0，

不具有容错能力。 在该模式下，并没有对文件进行分块处理，文件直接存储在某个 Server 节点上。 由于直接使用本地文件系统进行文件存储，所以存取效率并没有提高，反而会因为网络通信的原因而有所降低

• 示例原理： File1 和 File2 存放在 Server1，而 File3 存放在 Server2，文件都是随机存储，一个文件（如 File1）要么在 Server1 上，要么在 Server2 上，不能分块同时存放在 Server1和 Server2 上。

分布式卷具有如下特点：

• 文件分布在不同的服务器，不具备冗余性。
• 更容易和廉价地扩展卷的大小。
• 单点故障会造成数据丢失。
• 依赖底层的数据保护。

条带卷（Stripe volume）

类似 RAID0，文件被分成数据块并以轮询的方式分布到多个 Brick Server 上，文件存储以数据块为单位，支持大文件存储， 文件越大，读取效率越高，但是不具备冗余性。

条带化（Striping）：是一种数据分布技术，它将文件切分为固定大小的块（条带），并将这些块按照顺序依次存储在多个砖上。每个条带的大小可以根据您的配置进行设置，默认情况下为 4MB。

• 示例原理：

File 被分割为 6 段，1、3、5 放在 Server1，2、4、6 放在 Server2

条带卷特点：

• 数据被分割成更小块分布到块服务器群中的不同条带区。
• 分布减少了负载且更小的文件加速了存取的速度。
• 没有数据冗余。

复制卷（Replica volume）：

将文件同步到多个 Brick 上，使其具备多个文件副本，属于文件级 RAID 1，具有容错能力。因为数据分散在多个 Brick 中，所以读性能得到很大提升，但写性能下降。 复制卷具备冗余性，即使一个节点损坏，也不影响数据的正常使用。但因为要保存副本，所以磁盘利用率较低

• 示例原理： File1 同时存在 Server1 和 Server2，File2 也是如此，相当于 Server2 中的文件是 Server1 中文件的副本

复制卷特点：

• 卷中所有的服务器均保存一个完整的副本。
• 卷的副本数量可由客户创建的时候决定，但复制数必须等于卷中 Brick 所包含的存储服务器数。
• 至少由两个块服务器或更多服务器。
• 具备冗余性。

分布式条带卷（Distribute Stripe volume）：

Brick Server 数量是条带数（数据块分布的 Brick 数量）的倍数，兼具分布式卷和条带卷的特点。 主要用于大文件访问处理，创建一个分布式条带卷最少需要 4 台服务器。

• 示例原理：

File1 和 File2 通过分布式卷的功能分别定位到Server1和 Server2。在 Server1 中，File1 被分割成 4 段，其中 1、3 在 Server1 中的 exp1 目录中，2、4 在 Server1 中的 exp2 目录中。在 Server2 中，File2 也被分割成 4 段，其中 1、3 在 Server2 中的 exp3 目录中，2、4 在 Server2 中的 exp4 目录中

• 语法:

#创建一个名为dis-stripe的分布式条带卷，配置分布式的条带卷时，卷中Brick所包含的存储服务器数必须是条带数的倍数（>=2倍）。 Brick 的数量是 4（Server1:/dir1、Server2:/dir2、Server3:/dir3 和 Server4:/dir4），条带数为 2（stripe 2）

gluster volume create dis-stripe stripe 2 transport tcp server1:/dir1 server2:/dir2 server3:/dir3 server4:/dir4

创建卷时，存储服务器的数量如果等于条带或复制数，那么创建的是条带卷或者复制卷；如果存储服务器的数量是条带或复制数的 2 倍甚至更多，那么将创建的是分布式条带卷或分布式复制卷。

分布式复制卷（Distribute Replica volume）：

Brick Server 数量是镜像数（数据副本数量）的倍数，兼具分布式卷和复制卷的特点。主要用于需要冗余的情况下。

• 示例原理： File1 和 File2 通过分布式卷的功能分别定位到 Server1 和 Server2。在存放 File1 时，File1 根据复制卷的特性，将存在两个相同的副本，分别是 Server1 中的exp1 目录和 Server2 中的 exp2 目录。在存放 File2 时，File2 根据复制卷的特性，也将存在两个相同的副本，分别是 Server3 中的 exp3 目录和 Server4 中的 exp4 目录。

#创建一个名为dis-rep的分布式复制卷，配置分布式的复制卷时，卷中Brick所包含的存储服务器数必须是复制数的倍数（>=2倍）。Brick 的数量是 4（Server1:/dir1、Server2:/dir2、Server3:/dir3 和 Server4:/dir4），复制数为 2（replica 2）
gluster volume create dis-rep replica 2 transport tcp server1:/dir1 server2:/dir2 server3:/dir3 server4:/dir4

条带复制卷（Stripe Replica volume）：

类似 RAID 10，同时具有条带卷和复制卷的特点。

分布式条带复制卷（Distribute Stripe Replicavolume）：

三种基本卷的复合卷，通常用于类 Map Reduce 应用。

部署 GFS

前期准备

关闭防火墙

systemctl stop firewalld
setenforce 0

修改主机名

hostnamectl set-hostname node1
​
echo "192.168.10.1 node1" >> /etc/hosts
echo "192.168.10.10 node2" >> /etc/hosts
echo "192.168.10.20 node3" >> /etc/hosts
echo "192.168.10.30 node4" >> /etc/hosts

磁盘分区，格式化，并挂载

echo "- - -" > /sys/class/scsi_host/host0/scan 
echo "- - -" > /sys/class/scsi_host/host1/scan 
echo "- - -" > /sys/class/scsi_host/host2/scan 
 lsblk

vim /opt/fdisk.sh
#!/bin/bash
NEWDEV=`ls /dev/sd* | grep -o 'sd[b-z]' | uniq`
for VAR in $NEWDEV
do
   echo -e "n\np\n\n\n\nw\n" | fdisk /dev/$VAR &> /dev/null
   mkfs.xfs /dev/${VAR}"1" &> /dev/null
   mkdir -p /data/${VAR}"1" &> /dev/null
   echo "/dev/${VAR}"1" /data/${VAR}"1" xfs defaults 0 0" >> /etc/fstab
done
mount -a &> /dev/null
​
chmod +x /opt/fdisk.sh
cd /opt/
./fdisk.sh

准备yum源

#将gfsrepo 软件上传到/opt目录下
cd /etc/yum.repos.d/
mkdir repo.bak
mv *.repo repo.bak
​
vim glfs.repo
[glfs]
name=glfs
baseurl=file:///opt/gfsrepo
gpgcheck=0
enabled=1
​
yum clean all && yum makecache
​
​
​
#yum -y install centos-release-gluster          #如采用官方 YUM 源安装，可以直接指向互联网仓库

安装GFS

yum -y install glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma
​
​
systemctl enable --now glusterd.service
systemctl status glusterd.service

添加节点到存储信任池中

node1 节点上操作

#只要在一台Node节点上添加其它节点即可
gluster peer probe node2
gluster peer probe node3
gluster peer probe node4
​
​
​
#在每个Node节点上查看群集状态
gluster peer status

安装客户端

1．安装客户端软件
#将gfsrepo 软件上传到/opt目下 
cd /etc/yum.repos.d/
mkdir repo.bak
mv *.repo repo.bak
​
vim glfs.repo
[glfs]
name=glfs
baseurl=file:///opt/gfsrepo
gpgcheck=0
enabled=1
​
yum clean all && yum makecache
​
yum -y install glusterfs glusterfs-fuse
​
​
​
mkdir -p /test/{dis,stripe,rep,dis_stripe,dis_rep}
ls /test
​
​
echo "192.168.80.10 node1" >> /etc/hosts
echo "192.168.80.11 node2" >> /etc/hosts
echo "192.168.80.12 node3" >> /etc/hosts
echo "192.168.80.13 node4" >> /etc/hosts

建立卷

----- 创建卷 -----

#根据规划创建如下卷：

卷名称	卷类型	Brick
dis-volume	分布式卷	node1(/data/sdb1)、node2(/data/sdb1)
stripe-volume	条带卷	node1(/data/sdc1)、node2(/data/sdc1)
rep-volume	复制卷	node3(/data/sdb1)、node4(/data/sdb1)
dis-stripe	分布式条带卷	node1(/data/sdd1)、node2(/data/sdd1)、node3(/data/sdd1)、node4(/data/sdd1)
dis-rep	分布式复制卷	node1(/data/sde1)、node2(/data/sde1)、node3(/data/sde1)、node4(/data/sde1)

分布式卷

建立分布式卷

[root@node1 data]#  gluster volume create dis-volume node1:/data/sdb1 node2:/data/sdb1 force

启动分布式卷

#启动新建分布式卷
gluster volume start dis-volume

查看创建分布式卷信息

#查看创建分布式卷信息
gluster volume info dis-volume

查看卷列表

#查看卷列表
gluster volume list

挂载

在客户端 挂载 分布式卷

创建挂载目录
mkdir -p /test/{dis,stripe,rep,dis_stripe,dis_rep}
ls /test
​
​
[root@node1 data]# mount.glusterfs    node1:dis-volume    /test/dis
​
#
node1  主机名
dis-volume  卷名
/test/dis   挂载点
​
​
​
#永久挂载
vim /etc/fstab
node1:dis-volume        /test/dis               glusterfs       defaults,_netdev        0 0

存储文件验证

vim /opt/write.sh 



#!/bin/bash


for i in {1..5}

do
dd if=/dev/zero of=log$i count=1 bs=40M
done

bash /opt/write.sh

服务器端验证

[root@node1 ~]# ls -lh /data/sdb1                   #数据没有被分片
总用量 160M
-rw-r--r-- 2 root root 40M 12月 18 14:50 demo1.log
-rw-r--r-- 2 root root 40M 12月 18 14:50 demo2.log
-rw-r--r-- 2 root root 40M 12月 18 14:50 demo3.log
-rw-r--r-- 2 root root 40M 12月 18 14:50 demo4.log
​
[root@node2 ~]# ll -h /data/sdb1
总用量 40M
-rw-r--r-- 2 root root 40M 12月 18 14:50 demo5.log

条带卷

创建条带卷

[root@node1 data]# gluster volume create stripe-volume stripe 2 node1:/data/sdc1 node2:/data/sdc1 force
​
stripe 2  条带数为2  服务器数也要为2

开启条带卷

gluster volume start stripe-volume
​

查看 条带卷信息

gluster volume info stripe-volume

挂载

在客户端挂载

mount.glusterfs node1:stripe-volume /test/stripe
​
​
vim /etc/fstab
node1:stripe-volume     /test/stripe            glusterfs       defaults,_netdev        0 0
​
​
#在挂载点建立文件
bash /opt/write.sh

验证

在服务器端

#查看条带卷文件分布
[root@node1 ~]# ls -lh /data/sdc1                   #数据被分片50% 没副本 没冗余
总用量 101M
-rw-r--r-- 2 root root 20M 12月 18 14:51 demo1.log
-rw-r--r-- 2 root root 20M 12月 18 14:51 demo2.log
-rw-r--r-- 2 root root 20M 12月 18 14:51 demo3.log
-rw-r--r-- 2 root root 20M 12月 18 14:51 demo4.log
-rw-r--r-- 2 root root 20M 12月 18 14:51 demo5.log
​
[root@node2 ~]# ll -h /data/sdc1                    #数据被分片50% 没副本 没冗余
总用量 101M
-rw-r--r-- 2 root root 20M 12月 18 14:51 demo1.log
-rw-r--r-- 2 root root 20M 12月 18 14:51 demo2.log
-rw-r--r-- 2 root root 20M 12月 18 14:51 demo3.log
-rw-r--r-- 2 root root 20M 12月 18 14:51 demo4.log
-rw-r--r-- 2 root root 20M 12月 18 14:51 demo5.log

复制卷

创建复制卷4

gluster volume create rep-volume replica 2 node3:/data/sdb1 node4:/data/sdb1 force
​
replica 2  复制的数量为2 所以服务器的数量也是为2

开启 并查看

gluster volume start rep-volume
gluster volume info rep-volume

挂载

​
​
vim /etc/fstab
node1:rep-volume        /test/stripe            glusterfs       defaults,_netdev        0 0

验证

#在客户端生成文件测试
bash /opt/write.sh
​
​
[root@node3 sdb1]# ll 
总用量 204800
-rw-r--r--. 2 root root 41943040 7月  14 22:40 demo1.log
-rw-r--r--. 2 root root 41943040 7月  14 22:40 demo2.log
-rw-r--r--. 2 root root 41943040 7月  14 22:40 demo3.log
-rw-r--r--. 2 root root 41943040 7月  14 22:40 demo4.log
-rw-r--r--. 2 root root 41943040 7月  14 22:40 demo5.log
​
[root@node4 sdb1]#ll
总用量 204800
-rw-r--r--. 2 root root 41943040 7月  14 22:40 demo1.log
-rw-r--r--. 2 root root 41943040 7月  14 22:40 demo2.log
-rw-r--r--. 2 root root 41943040 7月  14 22:40 demo3.log
-rw-r--r--. 2 root root 41943040 7月  14 22:40 demo4.log
-rw-r--r--. 2 root root 41943040 7月  14 22:40 demo5.log
​

分布式条带卷

创建分布式条带卷

#指定类型为 stripe，数值为 2，而且后面跟了 4 个 Brick Server，是 2 的两倍，所以创建的是分布式条带卷
gluster volume create dis-stripe stripe 2 node1:/data/sdd1 node2:/data/sdd1 node3:/data/sdd1 node4:/data/sdd1 force
​
gluster volume start dis-stripe
gluster volume info dis-stripe
​

分布式复制卷

创建分布式复制卷

#指定类型为 replica，数值为 2，而且后面跟了 4 个 Brick Server，是 2 的两倍，所以创建的是分布式复制卷
gluster volume create fbfz replica 2 node1:/data/sde1 node2:/data/sde1 node3:/data/sde1 node4:/data/sde1 force
​
gluster volume start  fbfz
gluster volume info   fbfz

破坏测试

----- 破坏性测试 -----
#挂起 node2 节点或者关闭glusterd服务来模拟故障
[root@node2 ~]# systemctl stop glusterd.service
​
#在客户端上查看文件是否正常
#分布式卷数据查看
[root@localhost test]# ll /test/dis/        #在客户机上发现少了demo5.log文件，这个是在node2上的
总用量 163840
-rw-r--r-- 1 root root 41943040 12月 18 14:50 demo1.log
-rw-r--r-- 1 root root 41943040 12月 18 14:50 demo2.log
-rw-r--r-- 1 root root 41943040 12月 18 14:50 demo3.log
-rw-r--r-- 1 root root 41943040 12月 18 14:50 demo4.log
​
#条带卷
[root@localhost test]# cd /test/stripe/     #无法访问，条带卷不具备冗余性
[root@localhost stripe]# ll
总用量 0
​
#分布式条带卷
[root@localhost test]# ll /test/dis_stripe/     #无法访问，分布条带卷不具备冗余性
总用量 40960
-rw-r--r-- 1 root root 41943040 12月 18 14:51 demo5.log
​
#分布式复制卷
[root@localhost test]# ll /test/dis_rep/    #可以访问，分布式复制卷具备冗余性
总用量 204800
-rw-r--r-- 1 root root 41943040 12月 18 14:52 demo1.log
-rw-r--r-- 1 root root 41943040 12月 18 14:52 demo2.log
-rw-r--r-- 1 root root 41943040 12月 18 14:52 demo3.log
-rw-r--r-- 1 root root 41943040 12月 18 14:52 demo4.log
-rw-r--r-- 1 root root 41943040 12月 18 14:52 demo5.log
​
​
#挂起 node2 和 node4 节点，在客户端上查看文件是否正常
#测试复制卷是否正常
[root@localhost rep]# ls -l /test/rep/      #在客户机上测试正常 数据有
总用量 204800
-rw-r--r-- 1 root root 41943040 12月 18 14:51 demo1.log
-rw-r--r-- 1 root root 41943040 12月 18 14:51 demo2.log
-rw-r--r-- 1 root root 41943040 12月 18 14:51 demo3.log
-rw-r--r-- 1 root root 41943040 12月 18 14:51 demo4.log
-rw-r--r-- 1 root root 41943040 12月 18 14:51 demo5.log
​
#测试分布式条卷是否正常
[root@localhost dis_stripe]# ll /test/dis_stripe/       #在客户机上测试没有数据 
总用量 0
​
#测试分布式复制卷是否正常
[root@localhost dis_rep]# ll /test/dis_rep/     #在客户机上测试正常 有数据
总用量 204800
-rw-r--r-- 1 root root 41943040 12月 18 14:52 demo1.log
-rw-r--r-- 1 root root 41943040 12月 18 14:52 demo2.log
-rw-r--r-- 1 root root 41943040 12月 18 14:52 demo3.log
-rw-r--r-- 1 root root 41943040 12月 18 14:52 demo4.log
-rw-r--r-- 1 root root 41943040 12月 18 14:52 demo5.log

维护命令

#查看GlusterFS卷
gluster volume list 

#查看所有卷的信息
gluster volume info

#查看所有卷的状态
gluster volume status

#停止一个卷
gluster volume stop dis-stripe

#删除一个卷，注意：删除卷时，需要先停止卷，且信任池中不能有主机处于宕机状态，否则删除不成功
gluster volume delete dis-stripe

#设置卷的访问控制
#仅拒绝
gluster volume set dis-rep auth.deny 192.168.80.100

#仅允许
gluster volume set dis-rep auth.allow 192.168.80.*	  #设置192.168.80.0网段的所有IP地址都能访问dis-rep卷（分布式复制卷）