AI聊天机器人擅长什么

ChatGPT、Claude 和 Gemini 在实际检测的前后两端都很有用。

检测前:它们可以解释什么是死链,404 和 410 有什么区别,以及死链为什么会影响访客和搜索引擎。

检测后:拿到死链清单之后,AI聊天机器人可以帮你决定每条链接怎么处理,为服务器起草重定向规则,或者为已经消失的文章推荐替代来源。如果你只粘贴一个地址,具备联网浏览功能的助手有时可以打开它,告诉你能否正常加载。

问题出在哪里

如果你问“帮我找出我网站上的死链”,差距马上就会显现。

  • 它无法抓取整个网站。 网站是由页面相互链接构成的一张网,而AI聊天机器人不会沿着这张网走。它读完你的首页,最多再看一个页面,就停下了。
  • 它无法大批量测试。 一个中等规模的网站有几百条链接,老博客甚至有几千条。每一条都需要单独发出一次请求。
  • 它只凭外观判断。 没法实际测试时,助手可能会把看起来过时或格式古怪的链接指为死链。可是长得奇怪的地址也可能完全正常,而看起来整洁的地址反而可能已经失效。
  • 它可能根本看不到你的页面。 如果你的网站拒绝AI助手访问,那么它的回答就是无源之水。
  • 它给不出位置。 即使猜对了,它也没法告诉你这条链接在哪个页面、链接文字是什么,而这些恰恰是修复所必需的。

有些助手会坦率说明这一点,并告诉你如何自己检查链接。这才是准确的回答。真正有风险的,是它信心十足地列出一份没有任何人实际请求过的“死链”清单。

为什么会这样

一条链接能不能打开,取决于另一台服务器此刻的状态,光看地址是推断不出来的。必须有程序发出请求,再读取返回的状态:200 表示正常,404 表示未找到,410 表示已删除,5xx 表示服务器错误,或者毫无响应。

AI聊天助手的设计思路,是用少量查询给出一个答案。而链接检查的任务形态正好相反:要发出成千上万个琐碎又枯燥的请求,最后汇总成一张表。这类工作该交给爬虫。

如何自己测试

  1. 选你网站上的一个页面,记下其中两条链接:一条你确定能打开,一条你确定已失效。如果没有死链,可以在测试页面上故意把某个地址写错。
  2. 让AI聊天机器人列出该页面上的死链。
  3. 看看它能否找出那条死链,是否把正常的链接也标成了死链,以及它有没有说明自己是怎么检查的。

然后再让它检查你的整个网站,数一数它声称看过多少个页面。

该用什么替代

请使用真正发出请求的爬虫工具。我们的死链检测从你网站的地址开始,沿着站内链接逐页爬取,并对找到的每一条链接(站内和站外)都发出真实请求。每条失效的链接都会列出其状态(404、410、服务器错误或无响应)、所在页面以及链接文字。你可以把清单导出为 Excel 或 CSV,交给负责维护网站的人。

它还特别处理了一个让许多检测出错的问题。有些网站会拒绝自动化请求,并返回 401、403 或 429。这类链接在浏览器里可能是正常的,所以会单独列为“被拦截”,不计入死链。

网站的前 25 个页面免费抓取,无需注册。完整抓取最多 300 个页面并给出完整清单,一次付费 $5。

它的局限:它读取的是每个页面返回的 HTML,因此只有在 JavaScript 运行后才出现的链接可能会被漏掉;它只负责报告链接,不会替你修复。至于修复,AI聊天机器人是个好帮手:把清单粘贴进去,让它帮你写重定向规则即可。