可搜索,可注册,可登录,致敬逗比大佬!尽在救援版逗比根据地 dbgjd.com
投稿文章 | 广告合作 | Telegram 群组 / 公告频道 / 使用教程

禁止sogou spider搜狗蜘蛛恶意抓取导致垃圾流量

由于搜狗蜘蛛优化较差,不按规则抓取,且抓取时会对服务器造成类似DDOS攻击的假象。

我们建议在robots.txt文件里写上

User-agent: Sogou web spider
Disallow: /
User-agent: sogou spider
Disallow: /
User-agent: *
Disallow:

另外可以在cpanel错误日志和最近的访客中查看导致出错较多的IP地址,在IP拒绝管理器中将其屏蔽。

转载请注明:逗比根据地 » 禁止sogou spider搜狗蜘蛛恶意抓取导致垃圾流量

喜欢 (0)
发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址