Un scraper web qui transforme une page web en tableur, sans code

Pourquoi le scraping fait trébucher les assistants IA généralistes

Un assistant de conversation est conçu pour répondre à une question ; lire un site web n'est qu'un détour qu'il prend pour y parvenir. Et ce détour est fragile. De nombreux sites refusent les requêtes des assistants IA. De nombreuses pages sont construites par JavaScript après leur chargement, et un assistant qui récupère la page brute voit souvent une coquille vide, sans aucun produit. Dans la plupart des cas, la réponse ne permet pas de savoir lequel de ces problèmes s'est produit.

Quand l'assistant parvient à récupérer la page, le problème suivant est la longueur. À qui demande les 80 annonces, il en donne souvent dix, suivies d'un « et ainsi de suite » ou d'un résumé du reste. Dans le pire des cas, il remplit le tableau d'éléments qui ont l'air vrais mais qui ne figurent pas du tout sur la page. Un tableau contenant quelques lignes inventées est plus difficile à exploiter que pas de tableau du tout, car vous ne savez plus quelles lignes croire.

Cet outil sépare les deux étapes. D'abord, un vrai navigateur Chrome ouvre l'adresse, exécute les scripts de la page et recueille le texte et les liens que verrait un visiteur. Ensuite, un modèle d'IA reçoit ce texte avec une seule mission : placer chaque élément répété dans une ligne, copier les valeurs à l'identique et n'ajouter rien qui ne s'y trouve pas. Le résultat est un fichier, pas un message de conversation.

À quoi cela sert

• Noms, prix et notes de produits à partir d'une page de catégorie ou de recherche
• Annonces immobilières, automobiles et de location pour un tableau comparatif
• Offres d'emploi avec intitulé, entreprise et lieu
• Annuaires d'entreprises et listes de fournisseurs
• Titres d'articles, dates et liens à partir d'un blog ou d'un index d'actualités
• Programmes d'événements avec dates et lieux

Sans code, sans extension, sans sélecteurs

Le scraping classique oblige à écrire un script ou à parcourir un écran de configuration pour indiquer à l'outil quel élément contient le nom et lequel contient le prix. Cette configuration casse dès que le site change de mise en page. Ici, il n'y a rien à configurer. Vous donnez une adresse et, si vous le souhaitez, une phrase sur ce que vous voulez. Rien n'est installé dans votre navigateur, et cela fonctionne aussi bien sur un téléphone que sur un ordinateur portable.

Obtenir un tableau propre, et ce que l'outil ne fait pas

Le scraper lit la page que vous lui donnez, une page par adresse. Il ne clique pas sur « suivant », n'appuie pas sur « charger plus » et ne se connecte pas à un compte. Pour recueillir plusieurs pages de résultats, ouvrez chaque page dans votre navigateur et collez son adresse : une même tâche accepte jusqu'à 25 adresses, et leurs lignes sont fusionnées en un seul tableau lorsque les colonnes correspondent. Une courte consigne qui nomme les colonnes voulues aide à les garder identiques d'une page à l'autre.

Certaines pages sont illisibles. Les pages protégées par une connexion sont inaccessibles, certains sites bloquent les visites automatisées, et une page très longue peut s'interrompre avant la fin. Les éléments qui n'apparaissent qu'après un défilement ou un clic peuvent manquer. Les premières lignes sont gratuites : vous voyez ce que votre page donne avant de payer.

Le tableau est construit par un modèle d'IA à partir du texte de la page. Vérifiez donc quelques lignes sur la page avant de vous y fier. Il vous appartient de respecter les conditions du site dont vous collectez les données et les lois qui vous sont applicables. Cette page ne constitue pas un conseil juridique.