该问题已被锁定!
1
关注
2265
浏览

为了避免重复收录写的robots.txt 大家看下我这规则对不对

AI智能回复搜索中,请稍后...

为什么被折叠? 0 个回复被折叠

暂无回答

关于作者

问题动态

发布时间
2014-01-09 11:28
更新时间
2014-01-09 11:28
关注人数
1 人关注

相关问题

为了提升问题回答质量及答案展现质量,建议
网站上线11天了,百度只收录首页未收录内页,正常吗?
大家百度都收录了多少了啊?
今天百度终于收录了,小庆祝一下。。
explore成为了默认首页,影响搜索引擎抓取,如何调整
question/38#reply1链接后面有#reply1会不会收录不好?
重复URL问题
建议给单个回复增加网址,方便分享,增加收录
为什么我的站回复了不会跳转 还是那个页面可以一直重复回复 帮忙看看是什么问题
anwsion建站站内信息容易被收录吗

推荐内容

终于明白百度为啥不收录了,看看这怎么办?
AWS哪些目录是可以禁止搜索引擎爬行的?
wecenter的robots规则
请问 在robots.txt文件中,一般是放行那几个目录?
怎么用robots屏蔽分类列表和推荐、热门、待回复
Wecenter的robots这样写 是否更好一些?
Google Webmaster 总是提示我Robots.txt无法访问,大家遇到吗?
请教用七牛后robots.txt的设置方法