📍 WDQWDWQD987AAAAA:216.73.216.91
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /3adb10c90e97.html
📄

死链接检测：正常与异常结果怎样区分-用清单判断链接状态

区分死链接检测的正常与异常结果，关键不是看“有没有报错”，而是看报错对应的HTTP状态码、响应内容和链接所处的场景。正常结果通常表示链接可访问或已被正确处理；异常结果则表示链接失效、被拦截或返回了错误内容，需要进一步修复或确认。

先查HTTP状态码：200、301、404、403分别说明什么

用curl -I https://example.com/page或浏览器开发者工具的Network面板查看响应头。重点看第一行状态码：

• 200：链接正常返回内容，属于正常结果。但若返回的是“404页面”样式的内容，仍算异常。
• 301/302：链接被重定向。单次跳转到有效页面可视为正常；跳转链过长或最终落到404，则算异常。
• 404/410：链接失效，属于典型异常结果，需要修复或移除。
• 403/401：访问被拒绝，可能是权限限制，不一定是死链接；要结合是否对普通访客开放来判断。
• 5xx：服务器错误，属于异常，但可能是临时故障，需间隔重试确认。

适用条件：状态码检测适合站内链接、外链和站点地图中的URL。判断结果时，以最终响应为准，不能只看第一次请求。

再查响应内容：状态码正常但内容异常的情况

有些链接返回200，却显示“页面不存在”或空白内容，这属于软404，仍是异常结果。检查方法：

• 查看页面标题和正文是否包含“未找到”“已删除”等提示。
• 对比页面主要内容和预期内容是否一致。
• 检查返回内容长度是否明显过短。

结果说明：状态码200且内容与预期一致，才算正常；状态码200但内容为空或为错误提示，按异常处理。

区分抓取限制与索引移除：robots.txt和站点地图的边界

robots.txt的抓取限制不等于可靠的索引移除。若链接被robots.txt禁止抓取，检测工具可能无法获取真实状态，此时不能直接判定为死链接。站点地图也不保证收录，它只是提交URL的渠道。检查项：

• 先确认目标URL是否被robots.txt禁止抓取。
• 再单独用可访问的请求方式检查该URL的真实状态码。
• 若站点地图中的URL返回404，属于异常；若返回200但未被收录，属于索引问题，不是死链接。

适用条件：当检测工具报告“被阻止”或“无法访问”时，先用此方法排除抓取限制的干扰。

可执行清单：每项查什么、怎么查、结果说明什么

1. 查状态码：用curl -I或开发者工具请求URL。200为正常，404/410为异常，301/302需看最终地址。
2. 查最终落地页：跟随重定向，确认最终URL返回200且内容正确。最终落到404或错误页，判为异常。
3. 查响应内容：看标题和正文是否有“不存在”提示。有则按软404处理，属于异常。
4. 查抓取限制：检查robots.txt是否禁止该URL。被禁止时先解除限制再检测，否则结果不可靠。
5. 查链接来源：站内导航、正文、站点地图中的链接要求更严格；临时活动页链接失效可接受，但需记录。
6. 查重试结果：对5xx错误间隔几分钟重试。仍失败则判为异常；恢复则视为临时故障。

假设示例：某页面链接返回301并跳转到新页面，新页面返回200且内容匹配，这是正常结果；若跳转后返回404，则是异常结果，需要更新链接地址。

判断后的下一步

把检测结果按“正常”“需观察”“需修复”三类标记。对需修复的链接，优先处理站内404和软404，再处理外链失效；修复后重新用同一方法检测一次，确认状态码和内容都恢复正常。