该问题已被锁定!
2
关注
3341
浏览

AWS哪些目录是可以禁止搜索引擎爬行的?

AI智能回复搜索中,请稍后...

查看全部 1 个回答

zhengqiang 超级管理员 用户来自于: 广东省深圳市
2012-10-12 12:55
只要服务器把列目录的功能关闭,不能爬行的都不会被爬。

关于作者

问题动态

发布时间
2012-10-12 12:08
更新时间
2012-10-12 12:55
关注人数
2 人关注

推荐内容

wecenter 采用的是那种搜索技术
Wecenter的robots这样写 是否更好一些?
怎么用robots屏蔽分类列表和推荐、热门、待回复
请问 在robots.txt文件中,一般是放行那几个目录?
从dz转过来后,怎样应对搜索引擎?以前的收录怎么办?
从百度搜索不能直接链接到相关页面吗?
wecenter的robots规则
搜索引擎收录时的时间是错的,网站哪里出了问题?
如何看待周鸿祎对360搜索的定位?
为了避免重复收录写的robots.txt 大家看下我这规则对不对