爬取全站、逐一测试每个链接的死链检测工具

为什么通用AI助手难以做好链接检测

链接能否打开,无法靠推理得出。唯一的办法是请求该地址,看返回什么。聊天助手即使能联网浏览,每次回答也只会发出寥寥几次请求。一个普通的网站就有数百个链接,运营多年的博客更是有成千上万个。

所以,当你让AI聊天机器人找出网站上的死链时,它只能尽力而为。它可能打开你的首页,看几个链接;可能指出看起来过时或格式奇怪的地址;也可能只是教你如何自己检查链接。这些都不是真正失效链接的清单,而且“看起来已失效”的猜测仍然需要手动核实。

本检测工具会把这件枯燥的工作完整做完。它从你输入的地址出发,沿着内部链接逐页爬取,收集所见的每个链接。每个不重复的地址都会被请求一次,并会跟随重定向,看最终指向哪里。失败的链接会连同服务器返回的准确状态一并报告。

大家用它来做什么

• 在网站改版、迁移或更改网址结构后查找 404
• 清理外部来源已消失的旧博客文章
• 在上线或开展推广活动前检查链接
• 企业网站的日常 SEO 维护
• 审查刚从别人手中接手的网站
• 为客户报告提供修复前后的对比清单

如何解读结果

404 表示该地址已不存在,410 表示该页面被有意移除。两者都是死链:请更新链接或将其删除。5xx 状态表示对方服务器出错,“无响应”表示该网站完全没有回应。这些情况可能只是暂时的,所以删除前请先在浏览器中试一下该链接。

401、403 和 429 状态则属于另一种情况。它们表示对方网站拒绝了我们的检测或限制了请求频率,大型网站和社交网络经常会这样对待自动请求。这些链接会作为“被拦截”单独列出,而不是算作失效,其中许多在浏览器中都能正常打开。

“所在页面”和“链接文字”两列会告诉你应该在哪里修复。如果同一个死链出现在许多页面上,比如页脚中的链接,报告只会列出其中几个页面,而不是全部。

检测范围与限制

检测工具会读取每个页面返回的 HTML,并测试其中的普通链接。仅在 JavaScript 运行后才出现的链接可能会被遗漏,图片、脚本和样式表不在检测之列。邮件和电话链接会被跳过。需要登录才能访问的页面不会被爬取。

每个任务抓取一个网站，从你输入的地址开始，最多抓取到所选方案的页面上限。如果网站页面数超过上限，只检查最先抓取到的页面。本工具只报告死链，不会修复：修改需要在你自己的网站中完成。