أداة استخراج بيانات المواقع: تحوّل صفحة الويب إلى جدول بيانات بلا كتابة كود

لماذا يتعثر مساعدو الذكاء الاصطناعي العامون في استخراج بيانات المواقع

روبوت الدردشة مصمَّم للإجابة عن سؤال، وقراءة موقع ما هي إلا رحلة جانبية يقوم بها ليصل إلى الإجابة، وهذه الرحلة هشّة. فكثير من المواقع ترفض الطلبات الآتية من مساعدي الذكاء الاصطناعي. وكثير من الصفحات تُبنى بواسطة JavaScript بعد تحميلها، فيرى المساعد الذي يجلب الصفحة الخام هيكلًا فارغًا بلا منتجات. وغالبًا لا يمكنك أن تعرف من الإجابة أيّ هذه الحالات حدثت.

وحتى حين ينجح المساعد في الوصول إلى الصفحة، تظهر المشكلة التالية: الطول. فإذا طلبت منه الإعلانات الـ 80 كلها، فغالبًا ما يعطيك عشرة منها وعبارة مثل "وهكذا"، أو ملخصًا للباقي. وفي الحالة الأسوأ يملأ الجدول بعناصر تبدو صحيحة وهي غير موجودة في الصفحة أصلًا. والجدول الذي فيه بضعة صفوف مختلقة أصعب استخدامًا من عدم وجود جدول، لأنك لم تعد تعرف أي الصفوف يمكن الوثوق بها.

هذه الأداة تفصل بين الخطوتين. أولًا يفتح متصفح Chrome حقيقي العنوان، وينفّذ سكربتات الصفحة، ويجمع النص والروابط التي يراها الزائر. ثم يُعطى نموذج ذكاء اصطناعي هذا النص بمهمة واحدة: ضع كل عنصر متكرر في صف، وانسخ القيم كما هي، ولا تضف أي شيء غير موجود. والنتيجة ملف، لا رسالة دردشة.

فيمَ يستخدمها الناس

• أسماء المنتجات وأسعارها وتقييماتها من صفحة تصنيف أو نتائج بحث
• إعلانات العقارات والسيارات والإيجارات لإعداد جدول مقارنة
• إعلانات الوظائف مع المسمى الوظيفي والشركة والموقع
• أدلة الشركات وقوائم الموردين
• عناوين المقالات وتواريخها وروابطها من مدونة أو فهرس أخبار
• قوائم الفعاليات مع تواريخها وأماكنها

بلا كود، بلا إضافة، بلا محددات

الاستخراج التقليدي يعني كتابة سكربت أو التنقل بين شاشات إعداد لتخبر الأداة أي عنصر يحمل الاسم وأي عنصر يحمل السعر. ويتعطل هذا الإعداد حين يغيّر الموقع تصميمه. أما هنا فلا شيء يحتاج إلى ضبط: تعطي عنوانًا، ثم جملة واحدة عمّا تريد إن شئت. لا يُثبَّت شيء في متصفحك، وتعمل الأداة بالطريقة نفسها على الهاتف وعلى الحاسوب المحمول.

كيف تحصل على جدول نظيف، وما الذي لا تفعله الأداة

تقرأ الأداة الصفحة التي تعطيها إياها، صفحة واحدة لكل عنوان. ولا تضغط على "التالي" ولا على "تحميل المزيد" ولا تسجّل الدخول. ولجمع عدة صفحات من النتائج، افتح كل صفحة في متصفحك والصق عنوانها: يتسع للمهمة الواحدة حتى 25 عنوانًا، وتُدمج صفوفها في جدول واحد عندما تتطابق الأعمدة. وتساعد التعليمة القصيرة التي تسمّي الأعمدة المطلوبة على إبقائها متطابقة من صفحة إلى أخرى.

لا يمكن قراءة بعض الصفحات. فالصفحات المحمية بتسجيل الدخول لا يمكن الوصول إليها، وبعض المواقع تحظر الزيارات الآلية، وقد تُقتطع الصفحة الطويلة جدًا قبل نهايتها. وقد تغيب العناصر التي لا تظهر إلا بعد التمرير أو النقر. الصفوف الأولى مجانية، فتستطيع رؤية ما تعيده صفحتك قبل الدفع.

يُنشئ نموذج ذكاء اصطناعي الجدول من نص الصفحة، لذا قارن بضعة صفوف مع الصفحة قبل أن تعتمد عليه. أنت المسؤول عن الالتزام بشروط الموقع الذي تجمع منه البيانات وبالقوانين السارية عليك. هذه الصفحة ليست استشارة قانونية.