Bir web sayfasını kod yazmadan e-tabloya dönüştüren web veri toplayıcı

Web'den veri toplama, genel amaçlı yapay zekâ asistanlarını neden zorlar

Bir sohbet asistanı soruyu yanıtlamak için tasarlanmıştır; bir web sitesini okumak ise yanıta giderken yaptığı küçük bir yan görevdir. Bu yan görev kırılgandır. Birçok site yapay zekâ asistanlarından gelen istekleri geri çevirir. Birçok sayfa da yüklendikten sonra JavaScript ile oluşturulur ve ham sayfayı alan bir asistan çoğu zaman içinde hiç ürün olmayan boş bir iskelet görür. Bunlardan hangisinin yaşandığını yanıttan genellikle anlayamazsınız.

Asistan sayfayı alabildiğinde sıradaki sorun uzunluktur. 80 ilanın tamamını istediğinizde çoğunlukla size on tanesini ve "vb." gibi bir satırı ya da geri kalanın bir özetini verir. Daha kötü durumda tabloyu doğru görünen ama sayfada hiç olmayan öğelerle doldurur. Birkaç uydurma satır içeren bir tablo, tablo olmamasından daha zordur; çünkü hangi satırlara güveneceğinizi artık bilemezsiniz.

Bu araç iki adımı ayrı ayrı yapar. Önce gerçek bir Chrome tarayıcısı adresi açar, sayfanın betiklerini çalıştırır ve bir ziyaretçinin göreceği metni ve bağlantıları toplar. Ardından bir yapay zekâ modeline bu metin tek bir görevle verilir: tekrar eden her öğeyi bir satıra koy, değerleri olduğu gibi kopyala ve orada olmayan hiçbir şey ekleme. Sonuç bir sohbet mesajı değil, bir dosyadır.

İnsanlar bunu ne için kullanıyor

• Bir kategori veya arama sayfasındaki ürün adları, fiyatlar ve puanlar
• Karşılaştırma tablosu için emlak, araç ve kiralık ilanları
• Pozisyon, şirket ve konum bilgisiyle iş ilanları
• İşletme rehberleri ve tedarikçi listeleri
• Bir blog veya haber dizinindeki makale başlıkları, tarihler ve bağlantılar
• Tarih ve mekân bilgisiyle etkinlik listeleri

Kod yok, eklenti yok, seçici yok

Klasik veri toplamada bir betik yazmanız ya da bir kurulum ekranında tıklayarak aracın hangi öğenin adı, hangisinin fiyatı tuttuğunu öğrenmesini sağlamanız gerekir. Site tasarımını değiştirdiğinde bu kurulum bozulur. Burada ayarlanacak hiçbir şey yok. Bir adres verirsiniz, isterseniz ne istediğinizi anlatan bir cümle eklersiniz. Tarayıcınıza hiçbir şey kurulmaz ve telefonda da dizüstü bilgisayarda da aynı şekilde çalışır.

Temiz bir tablo elde etmek ve aracın yapmadıkları

Araç, verdiğiniz sayfayı okur; her adres için tek sayfa. "Sonraki"ye tıklamaz, "daha fazla yükle"ye basmaz, oturum açmaz. Birden fazla sonuç sayfasını toplamak için her sayfayı tarayıcınızda açıp adresini yapıştırın: tek bir işe en fazla 25 adres sığar ve sütunlar eşleştiğinde satırlar tek tabloda birleştirilir. İstediğiniz sütunları adlandıran kısa bir yönerge, sütunların sayfadan sayfaya aynı kalmasına yardımcı olur.

Bazı sayfalar okunamaz. Giriş yapılması gereken sayfalara erişilemez, bazı siteler otomatik ziyaretleri engeller ve çok uzun bir sayfa sonuna varmadan yarıda kesilebilir. Yalnızca kaydırınca veya tıklayınca görünen öğeler eksik kalabilir. İlk satırlar ücretsiz olduğundan, ödeme yapmadan önce sayfanızdan neyin geldiğini görebilirsiniz.

Tabloyu bir yapay zekâ modeli sayfa metninden oluşturur; bu yüzden tabloya güvenmeden önce birkaç satırı sayfayla karşılaştırın. Veri topladığınız sitenin kullanım koşullarına ve size uygulanan yasalara uymak sizin sorumluluğunuzdadır. Bu sayfa hukuki tavsiye değildir.