📍 WDQWDWQD987AAAAA:216.73.216.238
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /c03faafb4f2c.html
📄

robots.txt：文件路径大小写差异引发问题时怎样统一映射，先分清是规则没匹配，还是请求根本没到达规则

先确认一个事实：路径大小写在 robots.txt 里不是格式问题，而是匹配问题。如果你的服务器或 CDN 把 /Images/ 和 /images/ 当成同一个目录返回内容，而 robots.txt 里只写了一种写法，爬虫可能按另一种写法请求并得到 200，也可能被服务器重定向到规范路径。统一映射的目标不是让 robots.txt 更整齐，而是让“规则里写的路径”和“爬虫实际请求的路径”在同一个大小写形态下被判断。做法是：先找出实际被请求的路径形态，再把规则、重定向和站点内部链接收敛到同一种形态。

先分清是规则没匹配，还是请求根本没到达规则

路径大小写差异通常表现为两种相反的症状，处理方式不同。

• 规则没匹配：robots.txt 写的是 Disallow: /Private/，爬虫请求的是 /private/，服务器直接返回 200 且不重定向。此时规则被绕过，抓取限制没有生效。
• 请求根本没到达规则：服务器或 CDN 把 /private/ 301 到 /Private/，爬虫先请求小写路径，拿到重定向后才请求大写路径。此时规则可能生效，但你看到日志里小写路径频繁出现，会误判为规则失效。

区分方法是看响应状态：直接 200 说明是匹配问题；301/302 说明是规范化问题。这两种情况的下一步动作完全不同，先不要改 robots.txt。

用一份实际请求清单确定唯一映射

从服务器访问日志或 CDN 日志中，筛选出 robots.txt 涉及目录的真实请求路径，按大小写形态分组。假设你有一个目录，日志里同时出现 /Images/a.jpg、/images/a.jpg 和 /IMAGES/a.jpg，而三者都返回 200，说明服务器对大小写不敏感，但 robots.txt 的匹配是区分大小写的字符串比较。此时你需要选一个形态作为唯一映射，通常是全小写。

选择依据是：哪个形态在站点内部链接、站点地图和重定向规则中出现得最多。不要凭偏好决定，否则后续要改的地方更多。选定后，把 robots.txt 中该目录的所有规则改为该形态，同时确认服务器不再对其它形态返回 200。

让重定向和 robots.txt 的路径形态保持一致

统一映射的关键动作是：把非规范形态的请求 301 到规范形态，并确保 robots.txt 只写规范形态。这样爬虫无论从哪个链接进入，最终判断规则时用的都是同一个路径。

假设你决定全小写。操作顺序是：

1. 在服务器或 CDN 配置中，把 /Images/、/IMAGES/ 等形态 301 到 /images/。
2. 把 robots.txt 中原本写 /Images/ 的规则改为 /images/。
3. 抓取一个非规范形态的 URL，确认返回 301 且 Location 指向小写路径。
4. 再抓取小写路径，确认返回 200 或 403，并且 robots.txt 规则能被正确判断。

如果第 3 步返回 200 而不是 301，说明重定向没生效，此时改 robots.txt 没有意义，因为爬虫仍可能用非规范形态请求并绕过规则。先修重定向，再改规则。

处理 robots.txt 自身路径的大小写

还有一种容易被忽略的情况：robots.txt 文件本身的访问路径。标准位置是根目录下的 /robots.txt，全小写。如果服务器对大小写不敏感，/Robots.txt 也可能返回同一文件，但这不意味着所有爬虫都会用这个形态请求。你无法控制爬虫请求哪个形态，能做的是确保服务器对 /robots.txt 返回正确内容，并把其它形态 301 到小写形态，避免出现两份内容不一致的响应。

检查方法是分别请求 /robots.txt 和 /Robots.txt，对比状态码和内容。如果两者都返回 200 且内容相同，风险较低；如果其中一个返回 404 或内容不同，就需要加一条重定向。这个动作的结果会直接影响下一步：如果 robots.txt 自身路径不统一，后面所有针对具体目录的规则讨论都建立在不可靠的基础上。

验证统一映射是否真的生效

改完后不要只看 robots.txt 内容，要看实际请求结果。用日志或抓取工具请求以下三类 URL，记录状态码和最终路径：

• 规范形态：/images/a.jpg，应返回 200 或按规则被限制。
• 非规范形态：/Images/a.jpg，应返回 301 到规范形态。
• robots.txt 本身：/robots.txt，应返回 200 且内容为最新版本。

如果非规范形态仍返回 200，说明映射没有统一，爬虫仍可能用该形态请求并绕过规则。此时需要回到重定向配置，而不是继续调整 robots.txt 的规则写法。抓取限制不等于可靠的索引移除，即使规则匹配正确，已经被抓取的内容也可能仍出现在索引中，需要配合其它方式处理。

最后，把这次确定的规范形态写进内部链接规范和站点地图生成规则，避免新页面再次产生大小写混用。这一步不做，同样的问题会在下一次新增目录时重复出现。