robots已经屏蔽了动态url,为什么蜘蛛还在抓

首先跟技术沟通过动态url做跳转,但是忘记技术说什么原因了,好像是说现在这些动态url其实都是空的没办法做,我就把动态url都屏蔽了,但是蜘蛛缺每天还在大量的抓,是何解,为什么不尊重我的robots协议

请先 登录 后评论

4 个回答Askanything温馨提示您:回答为网友贡献,仅供参考。

Aquarius

需要时间来沉淀啊

请先 登录 后评论
金牌男士

要不跟百度那边反馈一下,生效了呀

请先 登录 后评论
萌晴

需要时间

请先 登录 后评论
淡淡芬芳

aspx后缀的文件也用Robots屏蔽了,也是每天都抓,非常奇怪,应该如何操作,求大神讲解下

请先 登录 后评论