チャットボットが得意なこと

データがすでに手元にあるなら、チャットボットはそれを整えるのが得意です。ページから乱雑なリストをコピーして ChatGPT、Claude、Gemini に貼り付け、名前・価格・評価の表にするよう頼めば、たいていきれいな表が返ってきます。手作業で貼り付けられる20行程度であれば、それで十分です。

また、チャットボットはスクレイピングに関わる周辺作業も得意です。ページの構造を説明してもらったり、自分でコードを実行・保守する前提であれば、スクリプトを書いてもらったりできます。

うまくいかないところ

問題が起きるのは、アドレスを渡して「ページ上のすべて」を求めたときです。

  • ページを開けない。 多くのサイトは、AIアシスタントからのリクエストを拒否します。その旨を伝えてくれるアシスタントもありますが、記憶や検索結果をもとに答えるものもあり、それは依頼したページの内容ではありません。
  • ページが空で届く。 多くのショップや掲載サイトは、ページの読み込み後に JavaScript でコンテンツを作ります。生のページだけを取得するアシスタントには、商品が1つもない「殻」しか見えません。
  • サンプルしか返ってこない。 すべての掲載情報を求めても、チャットボットは最初の数件を挙げて「以下同様」としたり、残りを要約したりしがちです。
  • 行が捏造される。 表を完成したように見せるために、項目を足したり、もっともらしい価格を埋めたりすることがあります。ページにない情報でも、推測だと示す印はありません。
  • ファイルにならない。 結果はチャット上のテキストです。Excel に移すにはコピー＆ペーストが必要で、長い表は途中で途切れることもよくあります。

4つ目が最も危険です。表が短いのは面倒なだけですが、作り話の行が混じった表はもっと困ります。どの行を信じてよいかわからないからです。

なぜこうなるのか

AIチャットアシスタントは、質問に対して適度な長さで答えるように作られています。Webサイトを読むのは回答の途中で行う付随的な動作で、使うのはフルブラウザではなく簡易的な取得機能であり、保持できるページの量にも上限があります。

また、80行を正確に書き出すことも、得意分野ではありません。役に立つことと簡潔さを重視するため、内容を圧縮してしまいます。しかもページの一部が欠けている場合、欠けていると正直に伝えるより、もっともらしい文章で答えるほうが簡単なのです。

自分で試す方法

項目数を数えられるページを選びます。たとえば「48件」と表示されているカテゴリページなどです。

  1. チャットボットにアドレスを渡し、名前・価格・リンクを含む表として、すべての項目を出すよう頼みます。
  2. 返ってきた行数を数えます。
  3. 5行を選んで、ページと照合します。名前、価格、そしてリンクがその項目を開くかどうかを確認します。

件数が一致し、5行が正しければ、そのページはチャットボットが処理できたことになります。行が足りない、価格が違う、リンクがどこにもつながらない、という場合は処理できておらず、表の残りの部分も疑わしいと言えます。

代わりに使うもの

実際のブラウザでページを開き、すべての項目を返すよう設計されたツールを使いましょう。当社の Webスクレイパー は、ページのアドレスを受け取り、Chrome で描画して JavaScript のコンテンツも含め、繰り返し現れる項目を、各項目の URL も含めて1項目1行の表にします。「各商品の名前・価格・評価」のように、普通の言葉で指示を加えることもできます。コードを書く必要も、拡張機能をインストールする必要もありません。

最初の10行は無料で、アカウントも不要です。ご自分のページで、先ほどと同じ件数のテストができます。表の全体を Excel または CSV で受け取る場合は $5、一回払いのみです。

知っておきたい制限もあります。読み取るのは指定したページのみで、次のページへ自動で進むことはありません。結果ページが複数ある場合は、各ページのアドレスをそれぞれ入力してください。ログインが必要なページは開けず、自動アクセスをブロックしているサイトもあります。また、データを収集するサイトの利用規約を守る責任はご自身にあります。

データではなくページそのもののコピーが必要な場合は、WebページをPDFに変換 をご覧ください。