Web-Scraper, der eine Webseite ohne Code in eine Tabelle verwandelt

Warum allgemeine KI-Assistenten beim Web-Scraping scheitern

Ein Chat-Assistent ist dafür gebaut, Fragen zu beantworten. Eine Website zu lesen ist nur ein Umweg auf diesem Weg, und dieser Umweg ist anfällig. Viele Websites weisen Anfragen von KI-Assistenten ab. Viele Seiten werden erst nach dem Laden per JavaScript aufgebaut, und ein Assistent, der die Rohseite abruft, sieht oft nur eine leere Hülle ohne Produkte. An der Antwort erkennen Sie meist nicht, was davon passiert ist.

Bekommt der Assistent die Seite doch, folgt das nächste Problem: die Länge. Bei der Bitte um alle 80 Anzeigen liefert er gern zehn und dazu ein „und so weiter“ oder eine Zusammenfassung des Rests. Im schlimmeren Fall füllt er die Tabelle mit Einträgen, die richtig aussehen, aber auf der Seite gar nicht vorkommen. Eine Tabelle mit ein paar erfundenen Zeilen ist schwerer zu gebrauchen als gar keine, denn Sie wissen nicht mehr, welchen Zeilen Sie trauen können.

Dieses Tool trennt die beiden Schritte. Zuerst öffnet ein echter Chrome-Browser die Adresse, führt die Skripte der Seite aus und sammelt Text und Links, die ein Besucher sehen würde. Danach bekommt ein KI-Modell diesen Text mit einer klaren Aufgabe: jeden wiederkehrenden Eintrag in eine Zeile übertragen, Werte exakt kopieren und nichts hinzufügen, was nicht dasteht. Das Ergebnis ist eine Datei, keine Chat-Nachricht.

Wofür das Tool genutzt wird

• Produktnamen, Preise und Bewertungen von einer Kategorie- oder Suchseite
• Immobilien-, Auto- und Mietanzeigen für eine Vergleichstabelle
• Stellenanzeigen mit Titel, Unternehmen und Ort
• Branchenverzeichnisse und Lieferantenlisten
• Artikeltitel, Datumsangaben und Links aus einem Blog oder einer Nachrichtenübersicht
• Veranstaltungslisten mit Terminen und Veranstaltungsorten

Kein Code, keine Erweiterung, keine Selektoren

Klassisches Scraping heißt, ein Skript zu schreiben oder sich durch einen Einrichtungsdialog zu klicken, um dem Tool zu sagen, welches Element den Namen und welches den Preis enthält. Diese Einrichtung geht kaputt, sobald die Website ihr Layout ändert. Hier gibt es nichts zu konfigurieren. Sie geben eine Adresse ein und, wenn Sie möchten, einen Satz dazu, was Sie brauchen. In Ihrem Browser wird nichts installiert, und es funktioniert auf dem Smartphone genauso wie auf dem Laptop.

So erhalten Sie eine saubere Tabelle, und was das Tool nicht tut

Der Scraper liest die Seite, die Sie angeben, eine Seite pro Adresse. Er klickt nicht auf „Weiter“, nicht auf „Mehr laden“ und meldet sich nirgends an. Um mehrere Ergebnisseiten zu erfassen, öffnen Sie jede Seite in Ihrem Browser und fügen deren Adresse ein: In einem Auftrag haben bis zu 25 Adressen Platz, und ihre Zeilen werden zu einer Tabelle zusammengeführt, wenn die Spalten übereinstimmen. Eine kurze Anweisung, die die gewünschten Spalten nennt, hilft dabei, dass sie von Seite zu Seite gleich bleiben.

Manche Seiten lassen sich nicht auslesen. Seiten hinter einem Login sind nicht zugänglich, manche Websites blockieren automatisierte Besuche, und eine sehr lange Seite kann vor dem Ende abgeschnitten werden. Inhalte, die erst nach dem Scrollen oder Klicken erscheinen, können fehlen. Die ersten Zeilen sind kostenlos, so sehen Sie vor dem Bezahlen, was Ihre Seite liefert.

Die Tabelle wird von einem KI-Modell aus dem Seitentext erstellt. Prüfen Sie daher ein paar Zeilen anhand der Seite, bevor Sie sich darauf verlassen. Sie sind selbst dafür verantwortlich, die Nutzungsbedingungen der Website, von der Sie Daten sammeln, und die für Sie geltenden Gesetze einzuhalten. Diese Seite ersetzt keine Rechtsberatung.