AI 챗봇이 잘하는 일

ChatGPT, Claude, Gemini는 실제 검사 전과 후 모두에서 도움이 됩니다.

검사 전: 깨진 링크가 무엇인지, 404와 410은 어떻게 다른지, 죽은 링크가 방문자와 검색 엔진에 왜 중요한지 설명해 줄 수 있습니다.

검사 후: 죽은 링크 목록이 있다면 각 링크를 어떻게 처리할지 정하거나, 서버용 리디렉션 규칙 초안을 작성하거나, 사라진 글을 대신할 출처를 제안하는 데 도움이 됩니다. 주소 하나를 붙여 넣으면 브라우징 기능이 있는 챗봇이 직접 열어 보고 로딩되는지 알려 주기도 합니다.

어디서 문제가 생길까요

"내 사이트의 깨진 링크를 찾아줘"라고 요청해 보면 한계가 드러납니다.

  • 크롤링을 못 합니다. 사이트는 페이지가 페이지로 연결된 그물망입니다. AI 챗봇은 그 연결을 따라가지 않습니다. 홈페이지, 많아야 한 페이지 정도를 읽고 멈춥니다.
  • 대량 테스트를 못 합니다. 작은 사이트에도 링크가 수백 개이고, 오래된 블로그에는 수천 개가 있습니다. 링크마다 각각 요청해야 합니다.
  • 겉모습으로 판단합니다. 테스트할 방법이 없으니 오래돼 보이거나 형식이 이상한 링크를 짚어낼 수 있습니다. 이상하게 생긴 주소도 멀쩡히 작동할 수 있고, 깔끔한 주소가 죽어 있을 수도 있습니다.
  • 페이지를 아예 못 볼 수도 있습니다. 사이트가 AI 어시스턴트의 접근을 막고 있다면 답변은 아무 근거 없이 만들어집니다.
  • 위치를 알려 주지 않습니다. 추측이 맞더라도 그 링크가 어느 페이지에 있는지, 링크 텍스트가 무엇인지는 알 수 없습니다. 하지만 수정하려면 바로 그 정보가 필요합니다.

일부 챗봇은 이 한계를 솔직히 밝히고 직접 링크를 확인하는 방법을 안내해 줍니다. 그것이 정확한 답변입니다. 위험한 것은 아무도 요청해 보지 않은 "깨진" 링크 목록을 자신 있게 내놓는 경우입니다.

왜 이런 일이 생길까요

링크가 작동하는지는 지금 이 순간 다른 서버의 상태에 달린 사실입니다. 주소를 읽는 것만으로는 알 수 없습니다. 누군가 요청을 보내고 돌아오는 상태를 읽어야 합니다. 200은 정상, 404는 찾을 수 없음, 410은 삭제됨, 5xx는 서버 오류이고, 아무 응답이 없을 수도 있습니다.

AI 챗봇은 소수의 조회로 답변 하나를 만들도록 설계되어 있습니다. 링크 검사는 정반대 성격의 작업입니다. 작고 단조로운 요청을 수천 번 보낸 뒤 마지막에 표로 정리하는 일입니다. 이런 작업은 크롤러의 몫입니다.

직접 테스트해 보는 방법

  1. 페이지 하나를 골라 그 안의 링크 두 개를 확인해 두세요. 정상 작동하는 링크 하나와 죽은 것으로 아는 링크 하나입니다. 죽은 링크가 없다면 테스트 페이지에서 주소를 일부러 잘못 입력해 보세요.
  2. AI 챗봇에게 그 페이지의 깨진 링크를 나열해 달라고 요청하세요.
  3. 죽은 링크를 찾아내는지, 정상 링크를 잘못 표시하지는 않는지, 어떻게 확인했는지 설명하는지 살펴보세요.

그런 다음 사이트 전체를 요청하고, 몇 페이지를 살펴봤다고 주장하는지 세어 보세요.

대신 사용할 도구

요청을 직접 보내는 크롤러를 사용하세요. 저희 깨진 링크 검사기는 사이트 주소에서 시작해 내부 링크를 따라 페이지를 이동하며, 발견한 내부 링크와 외부 링크를 모두 실제 요청으로 확인합니다. 실패한 링크는 상태(404, 410, 서버 오류 또는 응답 없음), 발견된 페이지, 링크 텍스트와 함께 목록으로 표시됩니다. 목록은 Excel이나 CSV로 내보내 사이트 담당자에게 전달할 수 있습니다.

많은 검사 도구가 놓치기 쉬운 부분도 꼼꼼히 처리합니다. 일부 사이트는 자동화된 요청을 거부하고 401, 403 또는 429로 응답합니다. 이런 링크는 브라우저에서는 작동할 수 있으므로 깨진 링크로 세지 않고 "차단됨"으로 따로 표시합니다.

사이트의 처음 25페이지는 회원가입 없이 무료로 크롤링합니다. 최대 300페이지까지 전체 크롤링과 전체 목록은 1회 결제 $5입니다.

한계도 있습니다. 각 페이지가 제공하는 HTML을 읽기 때문에 JavaScript가 실행된 뒤에야 나타나는 링크는 놓칠 수 있고, 링크를 찾아서 알려 줄 뿐 직접 고쳐 주지는 않습니다. 수정 작업에는 AI 챗봇이 좋은 도우미가 됩니다. 목록을 붙여 넣고 리디렉션 규칙을 요청해 보세요.