AI 챗봇이 잘하는 일

데이터가 이미 눈앞에 있다면 AI 챗봇은 그것을 깔끔하게 정리하는 데 능숙합니다. 페이지에서 복사한 어수선한 목록을 ChatGPT, Claude, Gemini에 붙여 넣고 이름, 가격, 평점이 담긴 표로 만들어 달라고 하면 대체로 깔끔한 표가 나옵니다. 직접 붙여 넣을 수 있는 20행 정도라면 이것만으로 충분합니다.

또 AI 챗봇은 스크래핑 주변 작업에도 강합니다. 페이지가 어떻게 만들어졌는지 설명해 주거나, 직접 코드를 실행하고 관리할 의향이 있다면 스크립트를 짜 주기도 합니다.

어디서 문제가 생기나요

문제는 주소만 건네고 페이지의 모든 내용을 달라고 할 때 시작됩니다.

  • 페이지를 열지 못합니다. AI 어시스턴트의 요청을 거부하는 사이트가 많습니다. 이를 알려 주는 어시스턴트도 있지만, 기억이나 검색 결과를 바탕으로 답하는 경우도 있습니다. 그런 답은 요청한 페이지의 내용이 아닙니다.
  • 페이지가 비어 있는 채로 도착합니다. 많은 쇼핑몰과 목록 사이트는 페이지가 로드된 뒤 JavaScript로 내용을 채웁니다. 원본 페이지만 가져오는 어시스턴트에게는 상품이 하나도 없는 빈 껍데기만 보일 수 있습니다.
  • 샘플만 받게 됩니다. 모든 목록을 달라고 해도 AI 챗봇은 처음 몇 개만 보여 주고 "이하 생략"이라고 하거나 나머지를 요약해 버리는 경우가 많습니다.
  • 없는 행이 만들어집니다. 표가 완성된 것처럼 보이게 하려고 그럴듯한 항목을 추가하거나 페이지에 없는 가격을 채워 넣기도 합니다. 추측으로 채웠다는 표시는 어디에도 없습니다.
  • 파일이 없습니다. 결과는 채팅 속 텍스트일 뿐입니다. Excel로 옮기려면 복사해서 붙여 넣어야 하고, 긴 표는 중간에 끊기는 일도 많습니다.

네 번째가 가장 위험합니다. 표가 짧은 건 짜증스러운 정도지만, 지어낸 행이 섞인 표는 어느 행을 믿어야 할지 알 수 없어서 더 나쁩니다.

왜 이런 일이 생길까요

AI 챗봇은 질문에 적당한 분량의 글로 답하도록 만들어졌습니다. 웹사이트를 읽는 것은 그 과정에서 곁가지로 하는 일이어서, 완전한 브라우저가 아닌 단순한 수집 기능을 쓰고 페이지에서 보관하는 분량에도 한계가 있습니다.

80개 행을 하나도 빠짐없이 써 내려가는 것도 AI 챗봇이 잘 맞춰진 일이 아닙니다. 도움이 되면서도 간결하게 답하려는 습성 때문에 내용을 압축해 버립니다. 게다가 페이지 일부가 빠져 있을 때는 솔직하게 빈칸을 밝히는 것보다 매끄러운 답을 만들어 내는 편이 더 쉽습니다.

직접 테스트하는 방법

"48개 결과"처럼 항목 수가 눈에 보이는 카테고리 페이지 등, 개수를 셀 수 있는 페이지를 고르세요.

  1. AI 챗봇에 주소를 주고 이름, 가격, 링크가 담긴 표로 모든 항목을 달라고 요청합니다.
  2. 돌아온 행의 개수를 셉니다.
  3. 다섯 행을 골라 페이지와 대조합니다. 이름과 가격이 맞는지, 링크를 누르면 해당 항목이 열리는지 확인하세요.

개수가 일치하고 다섯 행이 모두 맞다면, 그 페이지는 AI 챗봇이 제대로 처리한 것입니다. 행이 빠졌거나 가격이 다르거나 링크가 엉뚱한 곳으로 연결된다면 제대로 처리하지 못한 것이며, 나머지 표도 믿기 어렵습니다.

대신 쓸 수 있는 도구

실제 브라우저로 페이지를 열고 모든 항목을 반환하도록 만들어진 도구를 쓰세요. NoCutoff의 웹 스크래퍼는 페이지 주소를 받아 Chrome에서 렌더링하므로 JavaScript로 만들어지는 내용까지 포함되고, 반복되는 항목을 항목당 한 행씩, 각 항목의 URL과 함께 표로 만들어 줍니다. "각 상품의 이름, 가격, 평점"처럼 평범한 말로 지시를 덧붙일 수도 있습니다. 코드를 작성할 필요도, 확장 프로그램을 설치할 필요도 없습니다.

처음 10행은 무료이며 계정이 필요 없으므로, 같은 개수 세기 테스트를 직접 해 보실 수 있습니다. Excel 또는 CSV로 받는 전체 표는 1회 결제 $5입니다.

알아 두실 한계도 있습니다. 입력한 페이지만 읽고 다음 페이지로 넘어가지는 않으므로, 결과 페이지가 여러 개라면 각 페이지의 주소를 따로 붙여 넣어야 합니다. 로그인이 필요한 페이지는 열 수 없고, 자동화된 접속을 막는 사이트도 있으며, 데이터를 수집하는 사이트의 이용 약관을 지킬 책임은 이용자에게 있습니다.

데이터가 아니라 페이지 자체의 사본이 필요하시다면 웹페이지 PDF 변환을 참고하세요.