该问题已被锁定!
2
关注
3222
浏览

AWS哪些目录是可以禁止搜索引擎爬行的?

AI智能回复搜索中,请稍后...

为什么被折叠? 0 个回复被折叠
zhengqiang 超级管理员 用户来自于: 广东省深圳市
2012-10-12 12:55
只要服务器把列目录的功能关闭,不能爬行的都不会被爬。

关于作者

问题动态

发布时间
2012-10-12 12:08
更新时间
2012-10-12 12:55
关注人数
2 人关注

相关问题

哪些微信公众平台功能扩展是大家期望使用的?
wc 可以直接调用wordpress的内容吗?
wecenter 可以将附件上传到 七牛、又拍云等类似云储存的插件吗?
手机端发布问题可以显示小尾巴吗?
可不可以判断主页、问题、话题返回不同的meta?
可以增加一个标签的功能吗
wecenter后台左边栏列表目录在哪修改?
可以发图片吗?
德问网 wecenter很多地方可以参考
aws问题编缉上的一个重大漏洞

推荐内容

请教用七牛后robots.txt的设置方法
我中招了,用模拟搜索引擎捉取网站,捉取一次就变一次。。。【已解决】
Google Webmaster 总是提示我Robots.txt无法访问,大家遇到吗?
为了避免重复收录写的robots.txt 大家看下我这规则对不对
wecenter的robots规则
搜索问题怎么优化?官方的不能用,求方案
Wecenter的robots这样写 是否更好一些?
怎么增加搜索框中 搜索文章标题呢? 文章搜索不到
请问 在robots.txt文件中,一般是放行那几个目录?
wecenter 采用的是那种搜索技术