Linux文件系统与日志分析

五彩斑斓黑
4,599 阅读10分钟

一、Linux文件系统

1、 inode 与 block

  • 文件数据包括元信息与实际信息；
  • 文件存储在硬盘上，硬盘最小存储单位是“扇区”，每个扇区存储512字节。
  • 一个文件必须占用一个inode, 并且至少占用一个block

1.1 block：（块）的概念

  • 连续的八个扇区组成一个block（4k）；
  • 是文件存取的最小单位
  • 操作系统读取硬盘的时候，是一次性连续读取多个扇区，即一个块一个块的读取

1.2 inode：（索引节点）的概念

  • 存储文件元信息( 比如文件的创建者、创建日期、文件大小、文件权限等)的区域就叫做inode
  • 中文译名为“索引节点”，也叫i节点；
  • 用于存储文件元信息
  • inode不包含文件名。文件名是存放在目录当中的

1.3 inode和block的关系

img

  • Linux 系统中一切皆文件，因此目录也是一种文件
  • 每个inode都有一个号码，操作系统用inode号码来识别不同的文件。Linux 系统内部不使用文件名，而使用inode号码来识别文件。对于系统来说，文件名只是inode号码便于识别的别称，文件名和inode号码是一 一对应关系， 每个inode号码对应一个文件名
  • 当用户在Linux系统中试图访问一个文件时，系统会先根据文件名去查找它对应的inode号码;通过inode号码， 获取inode信息;根据inode信息，看该用户是否具有访问这个文件的权限; 如果有，就指向相对应的数据block，并读取数据

1.4 查看文件名对应的inode号码的方式

查看文件名对应的inode号码：           ls -i 文件名
 
查看文件信息中的inode号码：            stat 文件名

1.4.1 实例操作

image.png

1.5 　inode包含文件的元信息（见上图中stat 123展示的信息）

  • 文件的字节数
  • 文件拥有者的User ID
  • 文件的Group ID
  • 文件的读、写、执行权限
  • 文件的时间戳等

1.6 Linux系统文件三个主要的时间属性

  • ctime(change time)：最后一次改变文件或目录(属性)的时间
  • atime(access time)：最后一次访问文件或目录的时间
  • mtime(modify time)：最后一次修改文件或目录(内容)的时间

1.7.用户通过文件名打开文件时，系统内部的过程

  • 系统找到这个文件名对应的inode号码
  • 通过inode号码， 获取inode信息
  • 根据inode信息，找到文件数据所在的block,读出数据

1.8 硬盘分区后的结构

img

1.9 访问文件的简单流程

img

1.10.inode的大小

  • inode也会消耗硬盘空间：每个inode的大小一般是128字节或者256字节；
  • 格式化文件系统时确定inode的总数；
  • 使用df -i命令可以查看每个硬盘分区的inode总数和已经使用的数量

image.png

1.11 inode特点

由于inode 号码与文件名分离，导致Linux系统具备以下几种特有的现象:

  • 文件名包含特殊字符，可能无法正常删除。这时直接删除inode，能够起到删除文件的作用;
  • 移动文件或重命名文件，只是改变文件名，不影响inode 号，但是复制的话，会生成一个新的inode号
  • 打开一个文件以后，系统就以inode号码来识别这个文件，不再考虑文件名。
  • 文件数据被修改保存后，会生成一个新的inode 号码

1.11.1 删除inode号的方法：

find ./ -inum 68791300 -exec rm -i {} \;
find ./ inum 68791300 -delete

find . /-inum 68791300 | xargs rm -rf

find命令详解

find pathname -option [-print ] [ -exec | -ok command ] {} ;
find命令的参数；
pathname: find命令所查找的目录路径。例如用.来表示当前目录，用/来表示系统根目录。
-print： find命令将匹配的文件输出到标准输出。
-exec： find命令对匹配的文件执行该参数所给出的shell命令。相应命令的形式为command { } ;，注意{ }和\；之间的空格。
-ok： 和-exec的作用相同，只不过以一种更为安全的模式来执行该参数所给出的shell命令，在执行每一个命令之前，都会给出提示，让用户来确定是否执行。

xargs 命令

用途：
构造参数列表并运行命令，即将接收的参数传递给后面的command 命令执行
将多行输入转换为单行 （特殊功效）

优点：

​ 将输入参数整理后，去除换行符，以一个列表形式处理
​ 避免参数过长引发的问题，使用xargs -n 参数适当控制，对于经常产生大量输出的命令如find、locate和grep来说非常有用

xargs 一般是和管道一起使用：

​ XXcomand | xargs -x comand initial-args

echo "/etc/inittab" | cat   # 直接将标准输入的内容传递给cat
echo "/etc/inittab" | xargs cat   # 将标准输入的内容经过xargs处理后传递给cat
find /etc -maxdepth 1 -name "*.conf" -print0 | xargs -0 -i grep "hostname" -l {}  # 将搜索的文件传递给grep的参数位进行搜索，若不使用xargs，则grep将报错

1.11.2 实例操作

1.11.2.1 移动、复制或者重命名文件，看inode号是否有变化（只有复制文件时inode号会发生改变）

image.png

1.11.2.2 修改文件，看inode号是否会改变（修改之后inode号会改变）

image.png

2、硬链接和软链接

  • 为文件或目录建立链接文件

2.1 链接文件的分类和对比

操作和范围软链接硬链接
删除原始文件后失效仍然可用
使用范围适用于文件或目录只可用于文件
保存位置与原始文件可以位于不同的文件系统中必须与原始文件在同一个文件系统（如一个Linux分区）内

2.2 软硬链接的格式

硬链接
ln  源文件  目标位置
 
软链接
ln [-s]  源文件或者目录...   链接文件或者目标位置

3.inode节点耗尽故障处理

inode也会消耗硬盘空间，当inode的空间消耗完以后，即使硬盘还有空间，也无法使用

3.1 操作步骤格式

3.1 操作步骤格式

#使用fdisk创建分区/dev/sdb1，分区大小10M即可
fdisk /dev/ sdb .
mkfs.ext4 /dev/ sdb1    #也可以用xfs类型，但是在做实验室创建inode号的时候要比inode总数多创建100多个，可能是统计问题，这里建议用ext4或者ext3方便实验
mkdir /data
mount /dev/sdb1 /data
df -i
 
#模拟inode节点耗尽故障
for ( (i=1; i<=2549; i++) )
>do
>touch /test/ file$i
>done<br><br>或者直接touch {1. . 2549} . txt
 
df -i
df -hT
 
#删除文件恢复
rm -rf /data/ *
df -i
df -hT

3.2 实例操作

3.2.1 新增磁盘并分区

img



3.2.2 格式化并挂载

3.2.3 利用for循环，创建文件，将inode空间占满（模拟inode节点耗尽故障）

3.2.4 删除文件恢复

二、恢复误删除的文件（EXT类型）

extundelete是一个 开源的Linux数据恢复工具， 支持ext3、 ext4文件系统。 (ext4只能在centos6版 本恢复)

1、编译安装extundelete软件包

✔ 安装依赖包
◆e2fsprogs-libs-1. 41.12-18.el6.x86_ 64.rpm
◆e2fsprogs-devel-1 .41.12-18.el6.x86_ _64.rpm

✔ 配置、编译及安装
◆extundelete-0.2.4.tar.bz2

#使用fdisk创建分区/dev/sdc1，格式化ext3文件系统
fdisk /dev/sdb
partprobe /dev/sdb
mkfs.ext3 /dev/ sdb1
mkdir /data
mount /dev/sdb1 /data
df -hT
 
#安装依赖包
yum -y install e2fsprogs-devel e2 fsprogs-libs
 
#编译安装extundelete
cd /opt
wget http: //nchc.dl.sourceforge.net/project/extundelete/extundelete/0.2.4/extundelete-0.2.4.tar.bz2
 
tar jxvf extundelete-0.2.4.tar.bz2
cd extundelete-0.2.4/
./configure --prefix=/usr/ local/jz/ && make && make install
 
ln -s /usr/ local/jz/bin/* /usr/bin/

2、模拟删除并执行恢复操作

cd /data
  echo 111 > 123.txt
  echo 222 > 234.txt
  echo 333 > 456.txt
ls
extundelete /dev/sdb1 --inode 2
#查看文件系统/dev/sdc1下存在哪些文件，i节点是从2开始的，2代表该文件系统最开始的目录
 
rm-rf 123.txt  234.txt  456.txt
extundelete /dev/sdd1 -- inode 2
cd ~
umount /data/
extundelete /dev/sdb1 --restore-all
#恢复/dev/sdc1文件系统下的所有内容
 
#在当前目录下会出现一-个RECOVERED_ FILES/目录，里面保存了已经恢复的文件
ls RECOVERED_FILES/</code>

3.实例操作

3.1 添加一块20G的硬盘，并进行分区

img　　

　

3.2 对分区进行格式化并进行挂载

3.3 安装两个依赖包

3.4 extundelete的安装包的传输以及解压

3.5 编译安装

3.6 在挂载目录下创建文件以及内容，并查看

3.7 删除新建文件，并进行查看是否已删除（模拟故障）

3.8 解除挂载并恢复文件

三、日志文件

1、 日志的功能

• 用于记录系统、程序运行中发生的各种事件
• 通过阅读日志，有助于诊断和解决系统故障

2、 日志文件的分类

2.1 内核及系统日志

◆由系统服务rsyslog统一进行管理 ，日志格式基本相似
◆主配置文件/etc/rsyslog.conf

2.2 用户日志.

◆记录系统用户登录及退出系统的相关信息

2.3 程序日志

◆由各种应用程序独立管理的日志文件，记录格式不统一
（由开发人员定义）

3、 日志保存位置

默认位于: /var/log目录下

4、 主要日志文件介绍

4.1 内核及公共消息日志

✔ /var/log/messages
记录Linux内核消息及各种应用程序的公共日志信息，包括启动、Io错误、网络错误、程序故障等

对于未使用独立日志文件的应用程序或服务，一般都可以从该日志文件中获得相关的事件记录信息

4.2 计划任务日志

✔ /var/log/cron
记录crond计划任务产生的事件信息

4.3 系统引导日志

✔ /var/log/dmesg
记录Linux系统在引导过程中的各种事件信息

4.4 邮件系统日志

✔ /var/log/maillog
记录进入或发出系统的电子邮件活动

4.5 用户登录日志

✔ /var /log/lastlog
记录每个用户最近的登录事件,二进制格式

✔ /var/log/secure
记录用户认证相关的安全事件信息

✔ /var/log/wtmp
记录每个用户登录、注销及系统启动和停机事件,二进制格式

✔ /var/run/btmp
记录失败的、错误的登录尝试及验证事件,二进制格式

5、日志配置文件和日志消息等级

5.1 日志配置文件

vim /etc/rsyslog.conf                   #查看rsyslog.conf配置文件
* . info;mail.none;authpriv.none;cron.none  /var/log/messages

*.info          #表示info等级及以上的所有等级的信息都写到对应的日志文件里
mail.none       #表示某事件的信息不写到日志文件里(这里比如是邮件)

5.2 Linux系统内核日志消息的优先级别(数字等级越小，优先级越高，消息越重要):

级别消息级别具体描述
0EMERG紧急会导致主机系统不可用的情况
1ALERT警告必须马上采取措施解决的问题
2CRIT严重比较严重的情况
3ERR错误运行出现错误
4WARNING提醒可能影响系统功能，需要提醒用户的重要事件
5NOTICE注意不会影响正常功能，但是需要注意的事件
6INFO信息一般信息
7DEBUG调试程序或系统调试信息等

6.分析工具

  • users、who、 W、last、 lastb
  • last命令用于查询成功登录到系统的用户记录
  • lastb命令用于查询登录失败的用户记录

7 程序日志分析：由相应的应用程序独立进行管理

Web服务：/var/log/httpd/

  • access_log ——记录客户访问事件
  • error_log ——记录错误事件

代理服务：/var/log/squid/

  • access.log、cache.log

分析工具

  • 文本查看、grep过来检索、Webmin管理套件中查看
  • awk、sed等文本过滤、格式化编辑工具
  • Webalizer、Awstats等专用日志分析工具

8.日志管理策略

及时做好备份和归档

延长日志保存期限

控制日志访问权限

  • 日志中可能会包含各类敏感信息，如账户和口令等

集中管理日志

  • 将服务器的日志文件发到统一-的日志文件服务器
  • 便于日志信息的统- -收集、 整理和分析
  • 杜绝日志信息的意外丢失、恶意篡改或删除
avatar
文章
阅读
粉丝
相关推荐
Linux日志管理服务 rsyslogd
663阅读
 · 
3点赞
5分钟快速体验下一代轻量级日志分析系统 Loki
4.4k阅读
 · 
12点赞
为什么 Node 要用 Winston 打印日志？
15k阅读
 · 
81点赞
ELFK日志分析系统部署
1.2k阅读
 · 
3点赞
日志打得好，代码差不了
12k阅读
 · 
154点赞