تعبت من تجريف الويب؟ اجعل الذكاء الاصطناعي يفعل ذلك

[جيمس تورك] لديه نهج جديد لمشكلة تجريف محتوى الويب بطريقة منظمة دون الحاجة إلى كتابة نوع الشفرة الخاصة بالصفحة التي يتعين على أدوات كشط الويب التعامل معها عادةً. كيف؟ فقط اطلب المساعدة من لغة طبيعية AI. يعتمد Scrapeghost على GPT API الخاصة بـ OpenAI لتحليل محتوى صفحة الويب ، واستخراج وتصنيف جميع العناصر البارزة وتنسيقها بطريقة مفيدة.

ما يجعل Scrapeghost مختلفًا هو كيفية تنظيم البيانات. على سبيل المثال ، عند إنشاء ملف Scrapeghost ، نحدد البيانات التي نريد استخراجها. على سبيل المثال: من SchemaScraper استيراد Scrapeghost scrape_legislators = SchemaScraper ( المخطط = { "الاسم": "سلسلة"، "url": "url"، "المنطقة": "سلسلة"، "الجزء": "سلسلة"، "photo_url": "url"، "المكاتب": [{"الاسم": "السلسلة" ، "العنوان": "السلسلة" ، "الهاتف": "السلسلة"}] ، } )

الأهم من ذلك ، أن هذا التنسيق متروك لك تمامًا! تعد قوالب GPT جيدة جدًا جدًا في معالجة اللغة الطبيعية ، ويستخدم Scrapeghost GPT لمعالجة البيانات المستردة والعثور (باستخدام المثال أعلاه) على أي شيء يشبه الاسم والمقاطعة والحزب والصورة وعنوان المكتب وتنسيقه تمامًا كما هو مطلوب.

إنها أداة تجريبية وستحتاج إلى مفتاح OpenAI API لاستخدامها ، ولكنها تحتوي على بعض الميزات المفيدة وهي بالتأكيد طريقة جديدة. هناك برنامج تعليمي وحتى واجهة سطر أوامر ، لذا تحقق من ذلك.