该问题已被锁定!
2
关注
3276
浏览

AWS哪些目录是可以禁止搜索引擎爬行的?

AI智能回复搜索中,请稍后...

为什么被折叠? 0 个回复被折叠
zhengqiang 超级管理员 用户来自于: 广东省深圳市
2012-10-12 12:55
只要服务器把列目录的功能关闭,不能爬行的都不会被爬。

关于作者

问题动态

发布时间
2012-10-12 12:08
更新时间
2012-10-12 12:55
关注人数
2 人关注

相关问题

编辑器插入图片功能可以参考下Discourse
如何做一个收费内容专区,支持付费用户才可以看
建议:增加一个点名 @功能,把这个问题@给别人看。可以在评论里@
可否设置游客第一个页面为登录页面,但是可以选择参观。
微信自动回复可以支持模糊匹配么
列表页可以显示图片么?
Anwsion 1.1 Beta 4更新了哪些内容?
现在可以自动增加话题了?测试一下,话题
wecenter 怎么设置用户登录才可以访问
新模板还有多久就可以见面了阿?

推荐内容

如何看待周鸿祎对360搜索的定位?
wecenter 采用的是那种搜索技术
怎么用robots屏蔽分类列表和推荐、热门、待回复
wecenter的robots规则
搜索问题怎么优化?官方的不能用,求方案
Google Webmaster 总是提示我Robots.txt无法访问,大家遇到吗?
请问 在robots.txt文件中,一般是放行那几个目录?
facebook推搜索引擎会有机会么?
搜索引擎收录时的时间是错的,网站哪里出了问题?
怎么增加搜索框中 搜索文章标题呢? 文章搜索不到