ویب پر گرفت اور تبدیل کرنے کے اوزار

کیا GrabzIt کی ویب کھرچنی روبوٹس ڈاٹ ٹیکسٹ فائلوں کا احترام کرتی ہے؟

ہمارے ویب سکریپر کو ویب سائٹ روبوٹ ڈاٹ ٹی ایس ٹی فائل میں پائے جانے والے قواعد کا احترام کرنا پڑتا ہے۔ اچھ beingے ہونے کے علاوہ ، اس کی ایک بنیادی وجہ یہ ہے کہ وہ ویب کھرچنے والے جو روبوٹ ڈاٹ ٹی ایس ٹی فائل کی پیروی نہیں کرتے ہیں وہ خود کو ہنی پاٹ سروس کے ذریعہ بلیک لسٹ ہونے کا پتہ لگاسکتے ہیں۔

یہ خدمات روبوٹس ڈاٹ ٹی ٹی ایس کا استعمال ویب سکریپر کو یہ بتانے کے لئے کرتی ہیں کہ ویب سائٹ سے منسلک کسی خاص فائل کا دورہ نہ کریں۔ اگر ویب کھرچنے والا پھر بھی فائل ملاحظہ کرتا ہے تو پھر ویب سکریپر کا IP پتا بلیک لسٹ ہوجاتا ہے ، جو مستقبل میں ویب سکریپر کو ویب سائٹ پر جانے سے روکتا ہے۔