本文已参与「新人创作礼」活动,一起开启掘金创作之路。
现象描述
Linux 云服务器实例出现由内存问题引发的故障。例如,系统内部服务响应速度变慢、服务器登录不上、系统触发 OOM(Out Of Memory)等。
可能原因
可能是实例内存使用率过高等问题引起。通常情况下当实例内存使用率持续高于90%时,可判断为实例内存使用率过高。
排查思路
- 参考 处理步骤,判断问题是否由内存使用率过高引起。
- 参考 其他内存问题典型案例分析,定位问题原因。
处理步骤
-
参考 相关操作,查看内存使用率是否过高。
- 内存使用率过高,则执行下一步。
- 内存使用率正常,则请参考 其他内存问题典型案例分析,进一步定位问题原因。
-
在系统内部执行
top命令后按 M,查看 “RES” 及 “SHR” 列是否有进程占用内存过高。- 否,则执行下一步。
- 是,则对应进程类型进行操作,详情请参见 分析进程。
-
执行以下命令,查看共享内存占用是否过高。
cat /proc/meminfo | grep -i shmem返回结果如下图所示:
-
执行如下命令,查看不可回收的 slab 内存占用是否过高。
cat /proc/meminfo | grep -i SUnreclaim返回结果如下图所示:
-
执行以下命令,查看是否存在内存大页。
cat /proc/meminfo | grep -iE "HugePages_Total|Hugepagesize"返回结果如下图所示:
HugePages_Total输出为0,则请参考 其他内存问题典型案例分析,进一步定位问题原因。HugePages_Total输出非0,则表示配置了内存大页。内存大页的大小为HugePages_Total*Hugepagesize, 您需确认 hugepage 是否为其他恶意程序配置。若确认已不需要内存大页,可通过注释/etc/sysctl.conf文件中的vm.nr_hugepage配置项,再执行sysctl -p命令取消内存大页。
相关操作
查看内存使用率
由于不同 Linux 发行版的 free 命令输出的含义可能有区别,内存使用率不能通过简单的 free 命令输出信息进行计算得出。请按照以下步骤,通过腾讯云内存监控得到内存使用率:
- 登录 云服务器控制台,进入实例管理页面。
- 选择实例 ID,进入实例详情页面,并选择监控页签。
- 在“内存监控”中可查看该实例的内存利用率。如下图所示:
计算内存使用率
内存监控中内存使用率计算方法为:用户使用的内存量与总内存量之比,不包括缓冲区与系统缓存占用的内容。计算过程如下:
= (Total - available)100% / Total
= (Total - (Free + Buffers + Cached + SReclaimable - Shmem))100% /Total
= (Total - Free - Buffers - Cached - SReclaimable + Shmem)* 100% / Total
计算过程中使用的 Total、Free、Buffer、Cached、SReclaimable、Shmem 参数可从 /proc/meminfo 中获取。/proc/meminfo 示例如下:
1. [root@VM_0_113_centos test]# cat /proc/meminfo
2. MemTotal: 16265592 kB
3. MemFree: 1880084 kB
4. ......
5. Buffers: 194384 kB
6. Cached: 13647556 kB
7. ......
8. Shmem: 7727752 kB
9. Slab: 328864 kB
10. SReclaimable: 306500 kB
11. SUnreclaim: 22364 kB
12. ......
13. HugePages_Total: 0
14. Hugepagesize: 2048 kB
参数说明如下:
参数
说明
MemTotal
系统总内存。
MemFree
系统剩余内存。
Buffers
表示块设备(block device)所占用的缓存页,包括直接读写块设备,以及文件系统元数据(metadata),例如 SuperBlock 所使用的缓存页。
Cached
page cache,包含 tmpfs 中的文件 POSIX/SysV shared memory 及 shared anonymous mmap。
Shmem
包括共享内存,tmpfs 等。
Slab
内核 slab 分配器分配的内存,可以用 slabtop 查看。
SReclaimable
可回收的 slab。
SUnreclaim
不可回收的 slab。
HugePages_Total
内存大页总共的页数。
Hugepagesize
内存大页一页的大小。
其他内存问题典型案例分析
如通过以上步骤均无法处理问题,或您使用云服务器时出现以下类型的错误信息,则可以参考以下解决方案: