Что чат-бот делает хорошо

Если данные уже перед ним, чат-бот хорошо умеет придать им форму. Скопируйте неаккуратный список со страницы, вставьте его в ChatGPT, Claude или Gemini и попросите таблицу с названием, ценой и рейтингом — как правило, получится чистый результат. Для двадцати строк, которые можно вставить вручную, этого вполне достаточно.

Ещё чат-боты хорошо справляются с задачами вокруг скрейпинга: объясняют, как устроена страница, или пишут для вас скрипт, если вы готовы сами запускать и поддерживать код.

Где всё идёт не так

Проблемы начинаются, когда вы даёте чат-боту адрес и просите всё, что есть на странице.

  • Он не может открыть страницу. Многие сайты отклоняют запросы от ИИ-ассистентов. Одни ассистенты честно об этом говорят. Другие отвечают по памяти или по результату поиска, а это уже не та страница, о которой вы спрашивали.
  • Страница приходит пустой. Многие магазины и сайты с объявлениями формируют содержимое с помощью JavaScript уже после загрузки страницы. Ассистент, который получает «сырую» страницу, видит лишь оболочку без товаров.
  • Вы получаете выборку. Если попросить все объявления, чат-бот обычно выдаёт первые несколько, а затем пишет «и так далее» или кратко пересказывает остальное.
  • Строки выдуманы. Чтобы таблица выглядела полной, он может добавить позиции или подставить цены, которые правдоподобны, но на странице их нет. Ничто не отмечает их как догадки.
  • Нет файла. Результат — это текст в чате. Чтобы попасть в Excel, его нужно копировать и вставлять, а длинные таблицы часто обрываются на полуслове.

Четвёртый пункт — самый опасный. Короткая таблица раздражает. Таблица с несколькими выдуманными строками ещё хуже: вы не понимаете, каким строкам можно доверять.

Почему так происходит

Чат-ассистент создан, чтобы отвечать на вопрос разумным по объёму текстом. Чтение сайта — побочный шаг по пути: он выполняется простым загрузчиком, а не полноценным браузером, и с ограничением на то, какую часть страницы удастся сохранить.

Точно выписать 80 строк — тоже не то, на что он настроен. Он привык быть полезным и кратким, поэтому сжимает. А когда часть страницы отсутствует, гладкий ответ получить проще, чем честно признать пробел.

Как проверить самому

Выберите страницу, на которой можно пересчитать позиции, например страницу категории с видимой надписью «48 результатов».

  1. Дайте чат-боту адрес и попросите вывести все позиции таблицей: название, цена и ссылка.
  2. Посчитайте строки в ответе.
  3. Сверьте пять строк со страницей: название, цену и то, открывает ли ссылка именно эту позицию.

Если количество совпало и пять строк верны, с этой страницей чат-бот справился. Если строк не хватает, цены отличаются или ссылки никуда не ведут — не справился, и остальная таблица тоже под вопросом.

Что использовать вместо этого

Используйте инструмент, который открывает страницу в настоящем браузере и настроен возвращать каждую позицию. Наш веб-скрейпер принимает адрес страницы, отображает её в Chrome, чтобы содержимое на JavaScript тоже загрузилось, и выдаёт повторяющиеся позиции таблицей — по одной строке на каждую, включая URL каждой позиции. Можно добавить инструкцию простыми словами, например «название, цена и рейтинг каждого товара». Писать код и устанавливать расширение не нужно.

Первые 10 строк бесплатно и без регистрации, так что тот же тест с подсчётом можно провести на своей странице. Полная таблица в Excel или CSV стоит $5, разовый платёж.

У инструмента есть ограничения, о которых стоит знать. Он читает ту страницу, которую вы ему дали, и не переходит на следующую, поэтому для нескольких страниц результатов нужно вставлять адрес каждой. Страницы за логином открыть нельзя, некоторые сайты блокируют автоматические посещения, а соблюдать условия сайта, с которого вы собираете данные, предстоит вам самим.

Если вам нужна копия самой страницы, а не её данные, смотрите веб-страницу в PDF.