该问题已被锁定!
2
关注
3166
浏览

AWS哪些目录是可以禁止搜索引擎爬行的?

AI智能回复搜索中,请稍后...

为什么被折叠? 0 个回复被折叠
zhengqiang 超级管理员 用户来自于: 广东省深圳市
2012-10-12 12:55
只要服务器把列目录的功能关闭,不能爬行的都不会被爬。

关于作者

问题动态

发布时间
2012-10-12 12:08
更新时间
2012-10-12 12:55
关注人数
2 人关注

相关问题

可以指定问题只允许特定的人回答吗?
测试是否可以删除自己帖子的回帖
3.1.9版本登录自跳转admin目录 无法登录
周末参加200km骑行,大家有坚持锻炼的么,分别锻炼哪些项目?
不要分类的话 分类就可以删除了吗?
有没有办法像知乎一样,可以隐藏提问者?
应用市场里的“手机注册插件”有没有人可以提供一下?
URL可不可以更优化
关于WC使用七牛进行CDN缓存服务,头像图片目录不更新的问题。
子目录的地址问题

推荐内容

Google Webmaster 总是提示我Robots.txt无法访问,大家遇到吗?
搜索引擎收录时的时间是错的,网站哪里出了问题?
如何看待周鸿祎对360搜索的定位?
终于明白百度为啥不收录了,看看这怎么办?
怎么用robots屏蔽分类列表和推荐、热门、待回复
从百度搜索不能直接链接到相关页面吗?
请教用七牛后robots.txt的设置方法
从dz转过来后,怎样应对搜索引擎?以前的收录怎么办?
我中招了,用模拟搜索引擎捉取网站,捉取一次就变一次。。。【已解决】
Wecenter的robots这样写 是否更好一些?