Waar een chatbot goed in is

ChatGPT, Claude en Gemini zijn nuttig vóór en na de eigenlijke controle.

Voor de controle: ze kunnen uitleggen wat een dode link is, waarom een 404 iets anders is dan een 410, en waarom dode links ertoe doen voor bezoekers en voor zoekmachines.

Na de controle: heb je eenmaal een lijst met dode links, dan kan een chatbot je helpen beslissen wat je met elke link doet, redirectregels voor je server opstellen of een vervangende bron voorstellen voor een artikel dat is verdwenen. Plak je één adres, dan kan een assistent met browsefunctie het soms openen en je vertellen of het laadt.

Waar het misgaat

Vraag "zoek de dode links op mijn site" en het gat wordt meteen zichtbaar.

  • Hij kan niet crawlen. Een site is een web van pagina's die naar pagina's verwijzen. Een chatbot volgt dat web niet. Hij leest je homepage, misschien nog één pagina, en stopt.
  • Hij kan niet in volume testen. Een bescheiden site heeft honderden links, een oude blog duizenden. Elke link vraagt om een eigen verzoek.
  • Hij oordeelt op het uiterlijk. Zonder manier om te testen kan een assistent wijzen op links die verouderd of vreemd opgebouwd lijken. Een raar uitziend adres kan prima werken, en een net adres kan dood zijn.
  • Hij ziet je pagina misschien helemaal niet. Als je site AI-assistenten weigert, is het antwoord op niets gebaseerd.
  • Er is geen locatie. Zelfs een goede gok vertelt je niet op welke pagina de link staat of wat de linktekst is, en dat heb je nodig om hem te herstellen.

Sommige assistenten zijn hier eerlijk over en geven je instructies om zelf links te controleren. Dat is het juiste antwoord. Het risico zit in een stellige lijst "kapotte" links die niemand heeft opgevraagd.

Waarom dit gebeurt

Of een link werkt, is een feit over een andere server op dit moment. Je kunt het niet afleiden door het adres te lezen. Er moet iets een verzoek sturen en de status lezen die terugkomt: 200 voor in orde, 404 voor niet gevonden, 410 voor verwijderd, 5xx voor een serverfout, of stilte.

Een chatbot is gebouwd om met een klein aantal opzoekingen één antwoord te geven. Een linkcontrole is precies het tegenovergestelde: duizenden kleine, saaie verzoeken en aan het eind een tabel. Dat werk hoort bij een crawler.

Zo test je het zelf

  1. Kies een van je pagina's en noteer twee links daarop: een waarvan je weet dat hij werkt en een waarvan je weet dat hij dood is. Heb je geen dode link, tik dan op een testpagina een adres verkeerd in.
  2. Vraag de chatbot de dode links op die pagina op te sommen.
  3. Kijk of hij de dode link vindt, of hij de werkende link ten onrechte aanmerkt en of hij zegt hoe hij het heeft gecontroleerd.

Vraag hem daarna naar je hele site en tel hoeveel pagina's hij zegt te hebben bekeken.

Wat je in plaats daarvan gebruikt

Gebruik een crawler die de verzoeken echt doet. Onze dode-linkchecker begint bij het adres van je site, volgt de interne links van pagina naar pagina en test elke link die hij vindt, intern en extern, met een echt verzoek. Elke link die faalt, komt in de lijst met zijn status (404, 410, een serverfout of geen reactie), de pagina waarop hij staat en de linktekst. Je kunt de lijst exporteren als Excel of CSV en doorgeven aan wie de site beheert.

Hij houdt rekening met iets waar veel controles over struikelen. Sommige sites weigeren geautomatiseerde verzoeken en antwoorden met 401, 403 of 429. Die links staan apart in de lijst als geblokkeerd, omdat ze in een browser wel kunnen werken, en worden niet als dood geteld.

De eerste 25 pagina's van je site worden gratis gecrawld, zonder account. Een volledige crawl van maximaal 300 pagina's, met de complete lijst, kost $5, eenmalig betaald.

De beperkingen: hij leest de HTML waarmee elke pagina wordt geleverd, dus links die pas verschijnen nadat JavaScript draait, kunnen worden gemist, en hij meldt links alleen, hij repareert ze niet. Voor het repareren is een chatbot een goede hulp. Plak de lijst erin en vraag om redirectregels.