コード不要で、WebページをスプレッドシートにするWebスクレイパー

汎用AIアシスタントがWebスクレイピングでつまずく理由

AIチャットアシスタントは質問に答えるために作られており、Webサイトの読み取りは、そのための寄り道にすぎません。この寄り道は不安定です。AIアシスタントからのアクセスを断るサイトは多く、読み込み後にJavaScriptでページが組み立てられるサイトも多いため、元のページを取得するアシスタントには、商品が1つもない空の枠しか見えないことがよくあります。しかも、どれが起きたのかは、回答を見てもたいていわかりません。

アシスタントがページを取得できたとしても、次の問題は件数です。80件すべての掲載情報を頼んでも、10件ほどと「など」の一言、あるいは残りの要約が返ってきがちです。さらに悪い場合は、それらしく見えても、ページには存在しない項目で表が埋められます。作り話の行が混じった表は、表がないよりも使いにくいものです。どの行を信頼してよいかわからなくなるからです。

このツールは、この2つの工程を分けて行います。まず、実際のChromeブラウザがアドレスを開き、ページのスクリプトを実行して、訪問者に見えるテキストとリンクを集めます。次に、そのテキストをAIモデルに渡し、繰り返される項目をすべて行にまとめ、値は正確にコピーし、ないものは何も加えない、という1つの仕事だけを任せます。結果はチャットのメッセージではなく、ファイルで届きます。

主な使い道

• カテゴリーページや検索ページから、商品名・価格・評価を取得
• 比較シート用に、不動産・車・賃貸の掲載情報を取得
• 職種、企業名、勤務地つきの求人情報
• 企業ディレクトリや仕入れ先リスト
• ブログやニュース一覧から、記事のタイトル・日付・リンクを取得
• 日付と会場つきのイベント情報

コード不要、拡張機能不要、セレクター不要

従来のスクレイピングでは、スクリプトを書くか、設定画面で操作して、名前や価格がどの要素にあるかをツールに教える必要がありました。この設定は、サイトのレイアウトが変わると動かなくなります。ここでは設定するものは何もありません。アドレスと、必要なら欲しい内容を一文で伝えるだけです。ブラウザには何もインストールされず、パソコンでもスマートフォンでも同じように使えます。

きれいな表を得るために、そしてこのツールにできないこと

スクレイパーが読み取るのは、指定されたページのみで、1つのアドレスにつき1ページです。「次へ」のクリック、「もっと見る」の操作、ログインは行いません。複数ページの結果を集めたい場合は、ブラウザで各ページを開いてアドレスを貼り付けてください。1件の作業につき最大 25 件のアドレスを指定でき、列が一致すれば、それぞれの行は1つの表にまとめられます。欲しい列名を挙げた短い指示を添えると、ページごとに列をそろえやすくなります。

読み取れないページもあります。ログインが必要なページにはアクセスできず、自動アクセスをブロックしているサイトもあり、非常に長いページは最後まで読み込めず途中で途切れることがあります。スクロールやクリックをして初めて表示される項目は、含まれない場合があります。最初の数行は無料なので、ご利用のページからどのような結果が得られるかを、お支払い前にご確認いただけます。

表はページのテキストをもとにAIモデルが作成します。そのため、結果を利用する前に、いくつかの行をページの内容と照らし合わせてご確認ください。データを収集するサイトの利用規約や、お客様に適用される法令を守る責任はお客様にあります。このページは法的助言ではありません。