ویب پر گرفت اور تبدیل کرنے کے اوزار

کیا GrabzIt کی ویب کھرچنی روبوٹس ڈاٹ ٹیکسٹ فائلوں کا احترام کرتی ہے؟

ہمارے ویب سکریپر کو ویب سائٹس کی robots.txt فائل میں پائے جانے والے قوانین کا احترام کرنا ہوگا۔ اس کی ایک اہم وجہ، اچھا ہونے کے علاوہ، یہ ہے کہ ویب اسکریپر جو robots.txt فائل کی پیروی نہیں کرتے ہیں وہ اپنے آپ کو ہنی پاٹ سروس کے ذریعے بلیک لسٹ میں پا سکتے ہیں۔

یہ خدمات ویب سکریپر کو یہ بتانے کے لیے robots.txt کا استعمال کرتی ہیں کہ ویب سائٹ سے منسلک کسی مخصوص فائل کو نہ دیکھیں۔ اگر ویب سکریپر اب بھی فائل کو وزٹ کرتا ہے تو ویب سکریپر کا IP ایڈریس بلیک لسٹ کر دیا جاتا ہے، جس سے ویب سکریپر کو مستقبل میں ویب سائٹ پر جانے سے روکا جاتا ہے۔