GitLab 服务器疑似遭入侵:从 502 故障到 Root 权限异常的完整排查复盘
一、一次普通的 GitLab 502 故障
最近在维护一台 GitLab 服务器时,遇到了一个比较棘手的问题:GitLab Web 页面突然出现 502 Bad Gateway,正常的代码仓库访问和部分 GitLab 服务也受到影响。
最开始,我们按照常规运维思路排查。
检查容器运行状态、查看 GitLab 日志、检查 Nginx 转发配置、确认服务器磁盘和内存使用情况。这些都是处理 GitLab 502 时比较常见的步骤。
但随着排查深入,事情逐渐变得不太寻常。
首先发现 GitLab 容器状态异常,部分服务处于 unhealthy 状态。进一步检查磁盘时,发现根分区容量约为 118GB,使用率已经达到 100%。
继续向下排查,发现 Docker 容器日志目录占用了大量磁盘空间,其中一个容器的 JSON 日志文件达到了约 99GB。
这显然不正常。
正常情况下,Docker 容器日志应该受到合理的大小限制。如果长期没有配置日志轮转,服务又持续输出大量日志,就可能造成日志文件不断增长,最终占满磁盘。
磁盘空间耗尽后,GitLab 的数据库、Sidekiq、Puma 等组件都可能受到影响,最终表现为 Web 访问 502。
清理异常膨胀的容器日志后,磁盘使用率恢复到约 13%,GitLab 服务也随之恢复。
如果排查到这里,事情似乎已经结束了。
但真正的问题,恰恰从这里开始。
在进一步检查服务器安全状态时,我们发现了一些完全不应该出现在正常生产环境中的文件和系统配置。
二、从系统日志中发现异常 Root 登录
服务器出现异常后,首先需要确认是否存在非授权登录。
Linux 系统中,SSH 登录记录是排查主机安全事件的重要证据。
可以通过以下命令查看近期登录情况:
last -ai | head -50
查看 SSH 认证日志:
grep -E "Accepted password|Accepted publickey" \
/var/log/secure
如果系统使用 systemd,还可以通过 journalctl 查看:
journalctl -u sshd --since "2026-11-15"
本次排查中,发现一个值得高度关注的外部 IP:
154.16.112.232
在现有登录记录中,该 IP 曾经以 Root 账号成功通过密码认证登录服务器,共发现 17 次成功登录记录。
其中首次成功登录时间为:
2026-11-15 08:25:24
这里有一个非常重要的区别:
SSH 日志中的 Accepted password 表示 SSH 服务接受了对应账号的密码认证。
它可以证明该 IP 曾经通过密码认证成功,但不能单独证明登录者的真实身份,也不能仅凭 IP 地址判断攻击者的具体身份。
如果这不是经过授权的运维访问,就应该按照 Root 凭据可能泄露处理。
为什么 Root 登录如此危险?
因为 Root 账号拥有系统最高权限。
一旦攻击者获得 Root 权限,理论上就可以:
- 修改系统文件和环境变量。
- 创建新的用户及 SSH 密钥。
- 修改系统定时任务。
- 安装后台运行程序。
- 修改防火墙和网络规则。
- 读取应用配置及数据库凭据。
- 修改 GitLab 仓库及相关数据。
这意味着问题已经不再是某个应用服务被攻击,而是整台服务器的可信性受到影响。
三、发现隐藏目录:/bin/.local/bin
继续排查系统文件时,我们发现了一个异常目录:
/bin/.local/bin/
这个目录比较隐蔽。
它位于 /bin 下面,名称使用了 .local,普通的 ls 命令如果不带 -a,很容易忽略这类隐藏目录。
检查目录:
ls -lah /bin/.local/
ls -lah /bin/.local/bin/
发现其中存放着五个可执行文件:
/bin/.local/bin/crontab
/bin/.local/bin/ldd
/bin/.local/bin/lsof
/bin/.local/bin/strace
/bin/.local/bin/top
这些文件看起来非常像 Linux 系统自带的工具。
分别介绍一下它们的正常用途:
| 文件 | 正常用途 |
|---|---|
| crontab | 管理用户定时任务 |
| ldd | 查看程序动态链接依赖 |
| lsof | 查看进程打开的文件及网络连接 |
| strace | 跟踪进程系统调用 |
| top | 查看进程资源使用情况 |
单独看这些工具,并没有什么问题。
真正可疑的是它们的存放位置、安装来源和组合方式。
首先,这五个文件全部是 ELF 64-bit 可执行文件。
其次,使用 RPM 查询文件归属:
for f in /bin/.local/bin/*; do
echo "===== $f ====="
file "$f"
sha256sum "$f"
rpm -qf "$f" 2>&1
done
检查结果显示:
file is not owned by any package
也就是说,这些文件并不属于系统已安装 RPM 软件包管理的文件。
另外,五个文件均经过 stripped 处理,普通调试符号已经被移除。
需要强调的是,stripped 是正常软件发布中也经常使用的处理方式,并不能单独作为恶意程序的判定依据。
但结合隐藏目录、异常登录和后续发现的系统配置修改,这五个文件就具有了很高的调查价值。
为什么攻击者要放置这些工具?
从功能组合来看,这些工具能够帮助使用者完成:
- 查看系统进程和资源占用。
- 查看网络连接和文件打开情况。
- 跟踪其他进程的系统调用。
- 管理定时任务。
- 检查程序动态链接关系。
它们可能被用于服务器环境侦察、程序运行分析、任务管理等活动。
不过,目前尚不能仅凭文件名称确定攻击者实际使用了这些工具,更不能直接认定它们具有隐藏进程或绕过安全检测的功能。
真正需要关注的是:为什么有人要在系统隐藏目录中部署一套不受 RPM 管理的系统工具?
四、进一步发现 PATH 劫持
如果说隐藏目录只是可疑文件,那么接下来发现的环境变量修改,就更加值得警惕。
Linux 中,PATH 决定系统执行命令时搜索可执行文件的目录顺序。
例如:
echo $PATH
正常情况下,系统 PATH 可能包含:
/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin
当执行:
crontab -l
Shell 会按照 PATH 中目录的顺序查找对应的可执行文件。
如果某个目录被放在 PATH 的最前面,并且其中存在与系统命令同名的程序,就可能造成命令优先级被劫持。
本次排查中,发现 /etc/profile 第 80 行附近存在异常配置:
PATH=/bin/.local/bin:$PATH
这条配置意味着:
/bin/.local/bin
被放到了 PATH 的最前面。
因此,当用户执行:
crontab
系统可能优先找到:
/bin/.local/bin/crontab
而不是系统原本的 crontab。
这种方式属于典型的 PATH 搜索路径劫持风险。
PATH 劫持为什么危险?
假设系统中存在两个同名命令:
/bin/.local/bin/crontab
/usr/bin/crontab
而 PATH 为:
/bin/.local/bin:/usr/bin:/bin
执行:
crontab -l
优先匹配的就是隐藏目录中的程序。
这会带来几个问题:
- 管理员以为自己执行的是系统原版工具,实际上执行的是其他程序。
- 排查结果可能不再可信。
- 如果异常程序具有额外行为,管理员可能在不知情的情况下执行恶意逻辑。
- 可能影响后续安全调查。
这也是为什么排查疑似入侵服务器时,不应该完全相信当前 Shell 环境中的命令。
可以通过绝对路径调用系统工具:
/usr/bin/crontab -l
/usr/bin/top
/usr/bin/lsof
但前提是已经确认这些系统文件本身可信。
还可以使用:
type -a crontab
type -a lsof
type -a top
检查命令实际对应的位置。
五、检查定时任务:寻找持久化入口
对于服务器入侵事件来说,发现异常文件只是第一步。
更重要的是,攻击者是否留下了能够自动恢复程序运行的机制。
Linux 中,Cron 定时任务是比较常见的持久化入口之一。
攻击者可能通过定时任务:
- 定期启动后台程序。
- 检查恶意进程是否退出。
- 重新下载被删除的文件。
- 定时执行远程脚本。
- 重新建立网络连接。
因此需要检查系统多个位置。
1. 查看 Root 定时任务
crontab -l
如果担心 PATH 被劫持,应优先使用经过验证的系统原版命令。
2. 检查系统级定时任务
ls -lah /etc/cron.d/
ls -lah /etc/cron.hourly/
ls -lah /etc/cron.daily/
ls -lah /etc/cron.weekly/
3. 检查 Root 定时任务文件
ls -lah /var/spool/cron/
4. 搜索可疑命令
grep -R -nE \
'curl|wget|base64|nohup|/dev/shm|local/bin' \
/etc/cron* /var/spool/cron/ \
2>/dev/null
本次排查记录中,还发现了一条需要重点调查的 Root 定时任务:
/root/.config/cron/perfcc
这个路径并不是常规的系统 Cron 配置目录。
同时还发现了一个可疑程序:
/opt/proxima/proxima
它们可能与异常程序的持续运行有关,但需要进一步检查文件内容、进程启动参数、父进程、文件哈希及 systemd 配置,才能确认具体作用。
这里有一个容易忽略的地方:
即使删除了恶意程序本身,如果启动它的定时任务还在,那么程序仍可能被重新下载或启动。
因此,清理入侵事件不能只删除一个文件。
六、检查服务器是否仍然存在异常进程和外连
发现可疑程序后,还需要分析服务器当前的运行状态。
首先检查进程:
ps auxww
检查可疑目录对应的进程:
ps auxww | grep -E \
'/bin/\.local/bin|proxima|perfcc' \
| grep -v grep
检查系统网络连接:
ss -antup
查看当前监听端口:
ss -lntp
查看网络连接时,需要特别关注:
- 不熟悉的公网 IP。
- 不符合业务需求的外连端口。
- 异常长时间保持的连接。
- 非业务进程建立的网络连接。
- 不符合预期的监听端口。
对于安全事件来说,不能仅凭某个公网 IP 出现在连接列表中,就认定它是攻击者服务器。
还需要结合进程 PID、进程执行路径、连接时间和历史日志综合判断。
如果发现明确的恶意外连,应先保全相关证据,再制定隔离措施。
七、为什么 GitLab 502 可能只是表面问题?
这次事件有一个值得总结的地方:
最初的问题是 GitLab 502,但最后调查方向已经扩展到整个 Linux 主机的安全状态。
两者之间需要分开分析。
第一类:基础设施故障
例如:
- Docker 日志文件无限增长。
- 根分区磁盘空间耗尽。
- GitLab 容器 unhealthy。
- 数据库无法正常写入。
- Nginx 无法连接后端服务。
这些问题可以通过日志、磁盘、容器状态和服务健康检查来定位。
第二类:主机安全问题
例如:
- Root 账号异常登录。
- 系统环境变量被修改。
- 隐藏目录出现异常可执行文件。
- 系统定时任务出现可疑条目。
- 后台程序来源不明。
- 系统文件不属于任何正常软件包。
这些问题不能通过简单重启服务解决。
即使 GitLab 恢复正常,也不能证明服务器已经安全。
这也是本次排查最重要的经验:
业务恢复和安全恢复是两个不同的目标。
业务恢复解决的是服务可用性问题。
安全恢复解决的是服务器是否重新建立了可信状态的问题。
八、事件时间线与证据整理
结合目前收集到的记录,可以整理出一条初步时间线。
| 时间 | 发现或事件 |
|---|---|
| 11月15日 08:25:24 | 可疑 IP 首次成功通过 Root 密码认证 |
| 11月15日 08:25:38 左右 | 隐藏目录及相关文件出现,时间高度接近 |
| 11月15日 22:15 | 部分可疑工具文件时间集中出现 |
| 11月18日 | 排查发现 PATH 注入、隐藏工具及持久化线索 |
| 11月18日 | GitLab 502 和磁盘空间异常进入集中排查 |
需要说明,文件时间可能被人为修改,文件的修改时间也不等于真实创建时间。
因此,这条时间线属于初步事件关联分析,而不是已经完整还原的攻击过程。
建议将证据按照以下方式保存:
| 编号 | 证据 | 用途 |
|---|---|---|
| E01 | SSH 登录日志 | 追踪异常访问 |
| E02 | 隐藏工具目录 | 分析可疑程序 |
| E03 | 文件 SHA256 | 文件身份及后续比对 |
| E04 | /etc/profile | 证明 PATH 配置异常 |
| E05 | Root Cron 配置 | 分析持久化机制 |
| E06 | /opt/proxima/proxima | 分析可疑程序 |
| E07 | Docker 日志及磁盘记录 | 还原服务故障 |
| E08 | 网络连接及进程记录 | 分析外部通信 |
对于重要证据,建议先复制到隔离存储位置,并记录采集时间、文件权限和 SHA256。
例如:
mkdir -p /root/incident-evidence
cp -a /bin/.local \
/root/incident-evidence/
cp -a /etc/profile \
/root/incident-evidence/
sha256sum \
/root/incident-evidence/.local/bin/* \
> /root/incident-evidence/SHA256SUMS
生产环境取证时,最好在可信的救援环境中完成采集,避免继续执行可能被劫持的系统命令。
九、最终处置:为什么选择迁移,而不是继续修复?
发现 Root 权限异常之后,最初考虑过直接清理异常文件。
但是,经过进一步分析,我们认为这种方式风险较高。
原因很简单:
如果攻击者已经获得 Root 权限,那么就不能再假设服务器上的所有系统文件都是可信的。
攻击者可能已经修改:
- 系统命令。
- SSH 配置。
- 用户及公钥。
- systemd 服务。
- Cron 定时任务。
- 防火墙规则。
- 应用配置文件。
即使删除了已发现的五个可疑 ELF 文件,也无法证明不存在其他隐藏程序。
因此,本次采取的方向是:优先迁移 GitLab 到全新的干净服务器。
第一阶段:旧服务器证据保全
保留:
- SSH 登录记录。
- 系统认证日志。
- 可疑程序及其哈希。
- 定时任务。
- systemd 服务配置。
- GitLab 配置和服务日志。
暂时不要直接格式化旧服务器。
第二阶段:新服务器重新部署
使用可信操作系统镜像重新部署环境。
重新安装 GitLab,避免直接复制旧服务器的系统环境。
重点检查:
- GitLab 版本兼容性。
- 数据库版本。
- 存储路径。
- 数据目录权限。
- SSL 证书。
- 反向代理配置。
- 防火墙和安全组。
第三阶段:迁移 GitLab 数据
GitLab 迁移不能只复制项目仓库目录。
需要根据具体部署方式,考虑:
- GitLab 数据库。
- Git 仓库及相关存储。
- 上传文件和附件。
- LFS 对象。
- CI/CD 配置和相关数据。
- 用户、权限及项目配置。
- GitLab Secrets。
- SSL 证书和外部服务配置。
优先采用与当前 GitLab 版本兼容的官方备份恢复机制,或者经过验证的完整迁移方案。
对于 GitLab Secrets 等关键文件,应通过可信渠道迁移,并严格控制访问权限。
第四阶段:验证业务完整性
迁移完成后,不要急着关闭旧服务器。
先验证:
- 用户是否能够正常登录。
- 项目列表是否完整。
- Git Clone 和 Push 是否正常。
- 分支和提交记录是否完整。
- SSH Key 是否正常。
- CI/CD 是否能够正常构建。
- Webhook 是否能够触发。
- Runner 是否能够正常工作。
只有确认新环境稳定,才进行正式切换。
第五阶段:全面轮换凭据
由于旧服务器可能已经处于 Root 权限失陷状态,因此所有可能暴露的凭据都需要重新评估。
重点包括:
- Root 密码。
- SSH 私钥及公钥。
- GitLab 管理员密码。
- Personal Access Token。
- Deploy Token。
- CI/CD Variables。
- Runner 注册及认证凭据。
- 数据库密码。
- 外部对象存储密钥。
- Webhook Secret。
需要特别注意:不能只修改 Root 密码,就认为安全问题已经解决。
第六阶段:旧服务器下线
确认新服务器正常接管业务后:
- 停止旧 GitLab 服务。
- 限制旧服务器公网访问。
- 保留安全事件证据。
- 核实是否存在其他业务依赖。
- 最终重装或销毁旧服务器。
不建议将原服务器简单清理后重新投入生产。
十、这次事件给我的几个运维安全经验
这次排查让我更加明确了一件事:
服务器安全不能只关注业务进程是否正常运行,还必须关注系统环境本身是否可信。
总结几个比较重要的经验。
1. Root 账号不应该直接暴露在公网
生产环境应尽量关闭 Root 密码远程登录。
可以使用独立运维账号、SSH Key 和必要的 sudo 权限。
同时限制 SSH 来源 IP,减少暴力破解和凭据滥用的风险。
2. 定期检查系统环境变量
PATH 看起来只是一个普通配置,但一旦被恶意修改,就可能影响整个系统的命令执行行为。
建议定期检查:
cat /etc/profile
cat /etc/bashrc
cat /root/.bashrc
cat /root/.bash_profile
特别关注是否出现不符合预期的隐藏目录。
3. 重要系统文件需要建立完整性监控
对于 /bin、/usr/bin、/etc、/etc/systemd 等关键目录,可以结合 RPM 校验、AIDE 等文件完整性检测工具进行监控。
例如:
rpm -Va
注意,RPM 校验结果需要结合具体文件和软件包分析,配置文件发生正常变化也可能产生校验差异。
4. Docker 日志必须配置轮转
Docker 日志没有限制,可能导致磁盘被持续写满。
建议配置:
{
"log-driver": "json-file",
"log-opts": {
"max-size": "100m",
"max-file": "3"
}
}
这样可以限制单个容器日志文件的大小和保留数量。
修改 Docker 配置后,需要按照维护计划重启 Docker 服务,并确认容器日志配置已经生效。
5. 定期检查异常定时任务
不要只检查 /etc/cron.d/。
还需要关注:
/var/spool/cron/
/etc/cron.d/
/etc/cron.hourly/
/etc/cron.daily/
/etc/systemd/system/
/root/.config/
一些异常程序可能通过多个位置实现持久化。
6. 不要把业务恢复当成安全恢复
这是我认为本次事件中最重要的一条。
服务器能够正常启动,不代表服务器没有后门。
GitLab 页面能够打开,不代表仓库数据没有泄露。
删除几个异常文件,也不代表攻击者失去了访问能力。
当 Root 权限失陷的可能性较高时,最稳妥的做法通常是保留证据、重建可信环境、迁移业务、轮换凭据,而不是无限期地在原服务器上修补。
十一、总结
这次 GitLab 服务器排查,最初只是一次普通的 502 故障处理。
从 Docker 日志异常膨胀、磁盘空间耗尽,到 SSH 登录记录中的异常 Root 密码认证,再到 /bin/.local/bin 隐藏工具目录、PATH 环境变量修改以及可疑定时任务,整个排查过程逐渐从应用运维问题转变为主机安全事件调查。
其中最值得警惕的,不是某一个异常文件,而是这些异常行为之间形成的关联:
- 存在异常 Root 登录记录。
- 出现隐藏的系统工具目录。
- 系统命令搜索路径被修改。
- 存在可疑的定时任务和后台程序。
- 服务器的整体可信性无法得到保证。
目前还不能完整还原攻击者的全部行为,也没有足够证据证明 GitLab 仓库和用户凭据已经泄露。
但从风险控制角度来看,继续将这台服务器作为可信生产环境使用并不合适。
因此,选择迁移到全新的干净服务器,同时完成凭据轮换、业务验证和旧服务器下线,是更稳妥的处置方向。
服务器运维最怕的不是发现问题,而是发现问题后误以为问题已经解决。
一次真正完整的安全事件处置,不应该以删除恶意文件或者恢复服务为终点,而应该以重新建立可信的生产环境为终点。
这也是这次 GitLab 服务器安全事件给我的最大经验。