В чём чат-бот хорош

ChatGPT, Claude и Gemini полезны до самой проверки и после неё.

До: они могут объяснить, что такое битая ссылка, чем ошибка 404 отличается от 410 и почему мёртвые ссылки важны и для посетителей, и для поисковых систем.

После: когда у вас на руках список мёртвых ссылок, чат-бот поможет решить, что делать с каждой, составит правила редиректа для вашего сервера или предложит замену для исчезнувшего источника в статье. Если вставить один адрес, ассистент с доступом в интернет иногда может открыть его и сказать, загружается ли страница.

Где он ошибается

Попросите «найди битые ссылки на моём сайте» — и сразу станет видно, в чём проблема.

  • Он не умеет обходить сайт. Сайт — это сеть страниц, ссылающихся на другие страницы. Чат-бот по этой сети не ходит. Он читает вашу главную страницу, может быть, ещё одну — и останавливается.
  • Он не умеет проверять ссылки в большом объёме. На небольшом сайте сотни ссылок, а на старом блоге — тысячи. Для каждой нужен отдельный запрос.
  • Он судит по внешнему виду. Не имея возможности проверить, ассистент может указать на ссылки, которые выглядят устаревшими или странно записаны. Необычный адрес вполне может работать, а аккуратный — быть мёртвым.
  • Он может вообще не увидеть вашу страницу. Если ваш сайт не пускает ИИ-ассистентов, ответ строится на пустом месте.
  • Нет указания на место. Даже верная догадка не говорит, на какой странице находится ссылка и каков её текст, а именно это нужно, чтобы её исправить.

Некоторые ассистенты честно признают это и дают инструкции, как проверить ссылки самостоятельно. Это правильный ответ. Опасен другой — уверенный список «битых» ссылок, которые никто не запрашивал.

Почему так происходит

Работает ли ссылка — это факт о другом сервере в данный момент. Узнать это, просто прочитав адрес, нельзя. Нужно отправить запрос и прочитать статус ответа: 200 — всё в порядке, 404 — не найдено, 410 — удалено, 5xx — ошибка сервера, либо тишина.

Чат-ассистент создан, чтобы выдать один ответ после небольшого числа обращений. Проверка ссылок — задача противоположного склада: тысячи мелких однообразных запросов и таблица в конце. Такая работа — для краулера.

Как проверить самостоятельно

  1. Возьмите одну из своих страниц и отметьте на ней две ссылки: одну, которая точно работает, и одну, которая точно мертва. Если мёртвой ссылки нет, сделайте опечатку в адресе на тестовой странице.
  2. Попросите чат-бот перечислить битые ссылки на этой странице.
  3. Посмотрите, найдёт ли он мёртвую ссылку, отметит ли рабочую и скажет ли, как проверял.

Затем попросите проверить весь сайт и сосчитайте, сколько страниц он, по его словам, просмотрел.

Чем пользоваться вместо него

Используйте краулер, который сам делает запросы. Наша проверка битых ссылок начинает с адреса вашего сайта, переходит по внутренним ссылкам со страницы на страницу и реальным запросом проверяет каждую найденную ссылку — внутреннюю и внешнюю. Для каждой неработающей ссылки указаны её статус (404, 410, ошибка сервера или отсутствие ответа), страница, на которой она найдена, и текст ссылки. Список можно экспортировать в Excel или CSV и передать тому, кто редактирует сайт.

Есть одна тонкость, на которой спотыкаются многие проверки. Некоторые сайты отказываются принимать автоматические запросы и отвечают 401, 403 или 429. Такие ссылки выводятся отдельно как заблокированные — в браузере они могут работать — и не считаются битыми.

Первые 25 страниц вашего сайта обходятся бесплатно и без регистрации. Полный обход до 300 страниц с полным списком стоит $5, разовый платёж.

Её ограничения: она читает HTML в том виде, в каком страница отдаётся сервером, поэтому ссылки, которые появляются только после выполнения JavaScript, могут быть пропущены, а сами ссылки она только сообщает, но не исправляет. С исправлением хорошо поможет чат-бот. Вставьте в него список и попросите составить правила редиректа.