Waar een chatbot goed in is

Als de gegevens er al zijn, is een chatbot goed in het structureren ervan. Kopieer een rommelige lijst van een pagina, plak die in ChatGPT, Claude of Gemini en vraag om een tabel met naam, prijs en beoordeling, dan krijg je meestal een nette tabel terug. Voor twintig rijen die je met de hand kunt plakken is dat alles wat je nodig hebt.

Chatbots zijn ook goed in het werk rond scrapen: uitleggen hoe een pagina in elkaar zit, of een script voor je schrijven als je zelf code wilt draaien en onderhouden.

Waar het misgaat

De problemen beginnen als je een adres opgeeft en om alles op de pagina vraagt.

  • Hij kan de pagina niet openen. Veel sites weigeren verzoeken van AI-assistenten. Sommige assistenten zeggen dat ook. Andere antwoorden uit het geheugen of op basis van een zoekresultaat, en dat is niet de pagina waar je naar vroeg.
  • De pagina komt leeg binnen. Veel webshops en overzichtssites bouwen hun inhoud met JavaScript op nadat de pagina is geladen. Een assistent die de ruwe pagina ophaalt, ziet dan alleen een lege schil zonder producten.
  • Je krijgt een steekproef. Als je om alle advertenties vraagt, geeft een chatbot vaak de eerste paar en dan "enzovoort", of een samenvatting van de rest.
  • Er worden rijen verzonnen. Om de tabel compleet te laten lijken, kan hij items toevoegen of prijzen invullen die aannemelijk zijn maar niet op de pagina staan. Niets wijst erop dat het gokjes zijn.
  • Geen bestand. Het resultaat is tekst in een chat. Het in Excel krijgen is kopiëren en plakken, en lange tabellen worden vaak halverwege afgekapt.

Het vierde punt is het gevaarlijkste. Een korte tabel is vervelend. Een tabel met een paar verzonnen rijen is erger, want je weet niet welke rijen je kunt vertrouwen.

Waarom dit gebeurt

Een chatbot is gebouwd om een vraag te beantwoorden in een redelijke hoeveelheid tekst. Een website lezen is een zijstap die hij onderweg zet, met een eenvoudige ophaalmethode in plaats van een volwaardige browser, en met een limiet op hoeveel van de pagina hij bewaart.

Ook is hij er niet op afgestemd om 80 rijen exact uit te schrijven. Hij is gewend behulpzaam en beknopt te zijn, dus hij comprimeert. En als een deel van de pagina ontbreekt, is een vloeiend antwoord makkelijker te maken dan een eerlijke leemte.

Zo test je het zelf

Kies een pagina waarop je de items kunt tellen, zoals een categoriepagina met een zichtbaar "48 resultaten".

  1. Geef de chatbot het adres en vraag om elk item in een tabel, met naam, prijs en link.
  2. Tel de rijen die hij teruggeeft.
  3. Controleer vijf rijen aan de hand van de pagina: de naam, de prijs en of de link naar dat item leidt.

Klopt het aantal en zijn de vijf rijen juist, dan is de chatbot met die pagina uit de voeten gekund. Ontbreken er rijen, wijken prijzen af of leiden links nergens heen, dan niet, en dan is ook de rest van de tabel verdacht.

Wat je in plaats daarvan kunt gebruiken

Gebruik een tool die de pagina in een echte browser opent en is ingesteld om elk item terug te geven. Onze webscraper neemt een pagina-adres, geeft het weer in Chrome zodat ook JavaScript-inhoud aanwezig is, en levert de terugkerende items als tabel met één rij per item, inclusief de URL van elk item. Je kunt een instructie in gewone taal toevoegen, zoals "naam, prijs en beoordeling van elk product". Je hoeft geen code te schrijven en geen extensie te installeren.

De eerste 10 rijen zijn gratis en zonder account, dus je kunt dezelfde teltest op je eigen pagina doen. De volledige tabel als Excel of CSV kost $5, eenmalig betaald.

Er zijn beperkingen die je moet kennen. De tool leest de pagina die je opgeeft en klikt niet door naar de volgende pagina, dus bij meerdere resultaatpagina's plak je het adres van elke pagina. Pagina's achter een login kunnen niet worden geopend, sommige sites blokkeren geautomatiseerde bezoeken, en je bent zelf verantwoordelijk voor het naleven van de voorwaarden van de site waarvan je gegevens verzamelt.

Wil je een kopie van de pagina zelf in plaats van de gegevens, bekijk dan webpagina naar PDF.