사이트를 크롤링해 모든 링크를 직접 확인하는 깨진 링크 검사기

범용 AI 어시스턴트가 링크 검사에서 막히는 이유

링크가 작동하는지는 추론으로 알 수 있는 것이 아닙니다. 주소에 요청을 보내 어떤 응답이 오는지 보는 방법밖에 없어요. AI 챗봇은 웹을 탐색할 수 있더라도 답변 한 번에 몇 건의 요청만 보냅니다. 평범한 사이트에도 링크가 수백 개이고, 몇 년째 운영한 블로그라면 수천 개에 이릅니다.

그래서 AI 챗봇에게 사이트의 깨진 링크를 찾아 달라고 하면 할 수 있는 만큼만 합니다. 홈페이지를 열어 링크 몇 개를 살펴보거나, 오래되어 보이거나 형태가 이상한 주소를 짚어 주거나, 직접 링크를 확인하는 방법을 알려 주기도 하죠. 어느 쪽도 실제로 실패하는 링크의 목록은 아니며, "깨진 것 같다"는 추측은 결국 직접 확인해야 합니다.

이 검사기는 번거로운 부분을 처음부터 끝까지 대신 처리합니다. 입력한 주소에서 시작해 내부 링크를 따라 페이지를 옮겨 다니며 보이는 링크를 모두 수집해요. 그런 다음 서로 다른 주소를 각각 한 번씩 요청하고, 리디렉션은 끝까지 따라가 최종 도착지를 확인합니다. 실패한 링크는 서버가 보낸 정확한 상태와 함께 보고합니다.

이런 때 사용해요

• 사이트 리뉴얼, 이전, URL 구조 변경 후 404 찾기
• 참고한 외부 출처가 사라진 오래된 블로그 글 정리
• 출시나 캠페인 전 링크 점검
• 회사 사이트의 정기적인 SEO 관리
• 다른 사람에게 막 인수받은 사이트 점검
• 고객 보고서에 넣을 작업 전후 비교 목록

결과 읽는 방법

404는 해당 주소가 더 이상 존재하지 않는다는 뜻이고, 410은 의도적으로 삭제되었다는 뜻입니다. 둘 다 죽은 링크이므로 링크를 수정하거나 삭제하세요. 5xx 상태는 상대 서버의 오류이고, "응답 없음"은 사이트가 아예 응답하지 않았다는 뜻이에요. 일시적일 수 있으니 삭제하기 전에 브라우저에서 한 번 열어 보세요.

401, 403, 429는 경우가 다릅니다. 상대 사이트가 우리 검사를 거부했거나 요청 횟수를 제한했다는 뜻으로, 대형 사이트와 소셜 네트워크가 자동 요청에 자주 보이는 반응이에요. 이런 링크는 깨진 링크가 아닌 차단된 링크로 따로 표시하며, 상당수는 브라우저에서 정상적으로 열립니다.

"발견된 페이지"와 "링크 텍스트" 열을 보면 어디를 고쳐야 하는지 알 수 있어요. 푸터의 링크처럼 같은 죽은 링크가 여러 페이지에 나타나는 경우, 보고서에는 모든 페이지가 아닌 일부 페이지만 표시됩니다.

검사하는 것과 검사하지 않는 것

검사기는 각 페이지가 전달하는 HTML을 읽고 그 안의 일반 링크를 검사합니다. JavaScript가 실행된 뒤에야 나타나는 링크는 놓칠 수 있고, 이미지, 스크립트, 스타일 시트는 검사하지 않아요. 이메일 링크와 전화 링크는 건너뜁니다. 로그인이 필요한 페이지는 크롤링하지 않습니다.

작업 하나당 사이트 하나를 크롤링하며, 입력하신 주소에서 시작해 요금제의 페이지 한도까지 확인합니다. 사이트의 페이지가 한도보다 많으면 먼저 도달한 페이지부터 검사합니다. 깨진 링크를 알려 드릴 뿐 직접 고치지는 않습니다. 수정은 사용 중인 사이트에서 직접 하셔야 합니다.