Web 安全信息收集中 robots.txt 文件常被用于暴露敏感路径。通过 Training-WWW-Robots 题目演示如何发现隐藏路径，并详细讲解 Robots 协议原理、常见语法及安全风险。重点分析了 Disallow 指令的误区，指出其无法阻止直接访问。结合 Dirsearch 等工具展示利用方法，并提供后台路径泄露、备份文件下载等真实案例。最后给出正确的配置建议与防御方案，强调安全应依赖权限控制而非路径隐匿。
在这个小小的训练挑战中，你将了解 Repbots_exclusion_standard。robots.txt 文件被网络爬虫用于检查它们是否被允许爬取和索引你的网站，或者只是网站的部分内容。有时这些文件会暴露目录结构，而不是保护内容不被爬取。
发现根目录下有一个 f10g.php 的文件，访问这个文件内容
得到正确答案
⚠️ 警告： 本文仅用于授权测试和安全学习，未经授权扫描目标属于违法行为。
在安全圈交流时，常听到新手说「Repbots 漏洞」。其实这是一个口误，正确的术语是 Robots 协议，具体体现在网站根目录下的 robots.txt 文件。
虽然它不是传统意义上的「漏洞」，但在信息收集阶段，robots.txt 往往是攻击者眼中的「藏宝图」。
几年前，我负责某系统的安全评估。渗透测试同事只花了一分钟，访问了 目标网站/robots.txt，发现里面 Disallow 了一个 /backup_2023.zip 路径。直接访问该路径，下载到了包含数据库账号密码的备份文件。
全程未利用任何技术漏洞，仅靠一个配置文件。 这就是 robots.txt 的安全价值。
Robots Exclusion Protocol（机器人排除协议）是网站告诉搜索引擎爬虫（如 Google、百度）哪些页面可以抓取，哪些不可以的国际标准。
本质： 它是一个君子协议，没有强制约束力。
固定位于网站根目录下：
http://example.com/robots.txt
| 字段 | 说明 | 示例 |
|---|---|---|
| User-agent | 指定爬虫名称 | User-agent: * (所有爬虫) |
| Disallow | 禁止抓取的路径 | Disallow: /admin/ |
| Allow | 允许抓取的路径 | Allow: /admin/login.php |
| Sitemap | 网站地图位置 | Sitemap: http://example.com/sitemap.xml |
示例文件：
User-agent: *
Disallow: /admin/
Disallow: /backup/
Allow: /public/
Sitemap: http://example.com/sitemap.xml
误区： 「Disallowed 的路径是受保护的，访问不了。」
真相： Disallow 只是请求爬虫别来，不代表禁止用户访问。任何知道路径的人都可以直接访问。
安全风险： 把敏感路径写在 robots.txt 里，等于主动告诉攻击者哪里有问题。
在授权渗透测试中，robots.txt 是信息收集的第一步。
操作步骤：
http://目标域名/robots.txt工具命令：
curl http://target.com/robots.txt
看到 Disallow 路径后，重点关注的关键词：
| 关键词 | 潜在风险 | 验证方法 |
|---|---|---|
/admin/ | 后台管理入口 | 直接访问，尝试弱口令 |
/backup/ | 备份文件 | 尝试下载 .zip/.sql/.bak 文件 |
/config/ | 配置文件 | 尝试读取数据库密码 |
/api/ | 接口文档 | 测试未授权访问 |
/test/ | 测试页面 | 可能存在调试漏洞 |
/old/ | 旧版本系统 | 可能存在已知漏洞 |
robots.txt 暴露的路径，可以作为目录扫描工具（如 Dirsearch、Gobuster）的自定义字典。
Dirsearch 示例：
# 将 robots.txt 中的路径提取出来，作为字典
dirsearch -u http://target.com -w robots_paths.txt
# 由于本地的靶站的 robots.txt 没有路径，所以就不是用字典进行扫描
dirsearch -u http://192.168.6.100:8080
优势： 比暴力扫描更精准，减少被封 IP 的风险。
[200]：状态码（成功访问）[403]：权限拒绝（目录存在但无访问权限）场景： 某企业官网，前台无任何漏洞。
过程：
/robots.txtDisallow: /manage_system_v2/http://target.com/manage_system_v2/结果： 通过弱口令进入后台，获取权限。
教训： 后台路径不应通过 robots.txt 隐藏，应使用强认证。
场景： 某电商系统迁移后，旧数据未清理。
过程：
/robots.txtDisallow: /db_backup_20230501.sql结果： 文件中包含所有用户表结构和管理员密码哈希。
教训： 备份文件绝对不能放在 Web 目录下，更不能在 robots.txt 中引用。
场景： 某 APP 后端接口。
过程：
/robots.txtDisallow: /api/v1/internal/结果： 获取内部用户数据。
教训： 接口安全依赖认证机制，而非路径隐藏。
Security by Obscurity（隐匿式安全）是无效的。
不要指望通过 robots.txt 隐藏敏感路径来保护安全。攻击者不用爬虫，照样可以访问。
| 做法 | 说明 | 推荐度 |
|---|---|---|
| 公开路径可写入 | 正常页面路径可写入 robots.txt | ✅ 推荐 |
| 敏感路径不写入 | 后台、备份、配置路径不要写进 robots.txt | ✅ 必须 |
| 使用权限控制 | 敏感路径通过登录/鉴权保护 | ✅ 必须 |
| 移除备份文件 | 生产环境不要留存 .sql/.zip 备份 | ✅ 必须 |
| 返回 403/404 | 敏感路径直接禁止访问，而不是 Disallow | ✅ 推荐 |
❌ 危险配置：
User-agent: *
Disallow: /admin/
Disallow: /config/database.yml
Disallow: /backup/full.zip
分析：直接告诉攻击者这三个地方有东西。
✅ 安全配置：
User-agent: *
Allow: / # 敏感路径根本不提，直接在服务器层禁止访问
服务器层禁止（Nginx 示例）：
location /admin/ { deny all; return 403; }
发布网站前，对照此表检查 robots.txt：
Q：robots.txt 能被删除吗？
A：可以。如果不需要搜索引擎收录，可以删除该文件。但删除后，爬虫可能会尝试抓取所有路径。
Q：隐藏 robots.txt 文件本身安全吗？
A：没用。攻击者会尝试访问 /robots.txt，如果返回 404，他们会认为没有限制，反而更放心地扫描。
Q：如何防止攻击者利用 robots.txt？
A：不要在里面写敏感路径。真正的安全靠权限控制（Authentication & Authorization），不靠隐藏路径。
Q：搜索引擎会遵守 robots.txt 吗？
A：正规搜索引擎（Google、百度）会遵守。但恶意爬虫和攻击工具完全无视。
Q：有没有工具自动分析 robots.txt 风险？
A：有。Burp Suite 插件、OWASP ZAP、以及在线工具（如 robotools.com）都可以分析。
在 Web 安全测试流程中，robots.txt 属于信息收集阶段。
1. 信息收集 (Whois, DNS, robots.txt, 端口扫描)
↓
2. 漏洞扫描 (SQL 注入，XSS, 命令注入)
↓
3. 漏洞利用 (获取权限，数据提取)
↓
4. 后渗透 (维持权限，横向移动)
↓
5. 报告与修复
robots.txt 是第 1 步中最简单也最容易忽视的一环。
在安全测试实践中，见过太多因为一个 robots.txt 配置失误导致的数据泄露。
核心要点：
免责声明： 本文所有内容仅供学习与授权测试使用，未经授权的攻击行为属于违法，请务必在法律允许范围内进行安全研究。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML 转 Markdown 互为补充。 在线工具，Markdown 转 HTML在线工具，online
将 HTML 片段转为 GitHub Flavored Markdown，支持标题、列表、链接、代码块与表格等；浏览器内处理，可链接预填。 在线工具，HTML 转 Markdown在线工具，online
通过删除不必要的空白来缩小和压缩JSON。 在线工具，JSON 压缩在线工具，online
将JSON字符串修饰为友好的可读格式。 在线工具，JSON美化和格式化在线工具，online