مقدمة
بعض مشاريع بيانات الويب العامة تحتاج إلى لقطة واحدة فقط. لكن مشاريع أخرى تصبح أكثر قيمة عندما تعمل وفق جدول متكرر، مثل متابعة الأسعار، وتوفر المنتجات، والوظائف العامة، والسجلات، والمراجعات، وتحركات السوق.
تدعم سكرابينج جيك سير عمل متكرر للمصادر العامة المقبولة، مثل استخراج بيانات مراقبة الأسعار واستخراج بيانات منتجات التجارة الإلكترونية.
متى تكون الاستمرارية مفيدة
يناسب الاستخراج المتكرر الحالات التي تعتمد فيها القيمة على التغير عبر الوقت.
الأسعار والمنتجات
تتابع فرق التجارة الإلكترونية الأسعار، والتوفر، والبائعين، والمراجعات، وتغيرات الكتالوج. يفيد ذلك فرق التجارة الإلكترونية.
مراقبة السوق والمصادر
قد تتابع فرق البحث أدلة عامة، أو مصادر أخبار، أو لوحات وظائف، أو صفحات تقييمات. يمكن جدولة جمع بيانات أبحاث السوق عندما تكون المصادر العامة مستقرة.
التقارير التشغيلية
ينبغي أن تبقى بنية الحقول وأسماء الملفات والتواريخ مستقرة حتى يمكن مقارنة التسليمات.
أمثلة عملية للأعمال
- فريق منتجات يستلم ملفا أسبوعيا لأسعار المنافسين وتوفر المنتجات.
- فريق بحث يتابع إشارات عامة من عدة مصادر.
- فريق عمليات يرصد السجلات العامة الجديدة أو المحذوفة.
تخطيط ملف متكرر
حدد التكرار، والمصادر، والحقول، والمنطقة الزمنية، والصيغة، وطريقة تتبع التغيرات، وما إذا كان التسليم ملفا كاملا أو فروقا فقط أو الاثنين معا.
ملاحظة الامتثال
تخضع الأعمال المتكررة أيضا للمراجعة قبل القبول. يجب استخدام مصادر عامة ومشروعة، وقد يتم تقييد الطلب بحسب شروط المصدر أو الحقول أو الاستخدام. البيانات الخاصة أو المحمية بتسجيل دخول أو المقيدة أو الحساسة مستبعدة.