CTF Web 刷题笔记｜Robots.txt 信息泄露入门

Robots.txt 是什么？

Robots.txt 是存放在网站根目录下的纯文本文件，全称为「爬虫排除标准」（Robots Exclusion Protocol）。
它的作用是告诉网络爬虫/搜索引擎：哪些页面/目录可以爬取，哪些应该被禁止访问。

在 CTF 信息收集类题目中，Robots.txt 是最基础的入门考点，这类题的核心解题逻辑非常简单：访问网站根目录的 /robots.txt，从协议内容里找到隐藏路径，进而拿到 flag。

1. [攻防世界] robots - Robots协议

一、题目

二、解题步骤

1. 输入/robots.txt

2. 回到最初的页面，复制粘贴f1ag_1s_h3re.php，得到flag

2. [CTFshow] robots后台泄露 - robots.txt敏感路径泄露

一、题目

二、解题步骤

1. 输入/robots.txt
2. 在浏览器地址栏里，把当前的 robots.txt 替换成 /flagishere.txt，完整地址就是：
3. 按回车访问，就能直接看到文件内容，里面就是 flag。