该问题已被锁定!
2
关注
3556
浏览

AWS哪些目录是可以禁止搜索引擎爬行的?

AI智能回复搜索中,请稍后...

为什么被折叠? 0 个回复被折叠
zhengqiang 超级管理员 用户来自于: 广东省深圳市
2012-10-12 12:55
只要服务器把列目录的功能关闭,不能爬行的都不会被爬。

关于作者

问题动态

发布时间
2012-10-12 12:08
更新时间
2012-10-12 12:55
关注人数
2 人关注

相关问题

anwsion可以安装watermark水印插件吗?
从WeCenter 2.1可以直接升到WeCenter 2.5 Beta 2吗?
建议:上传图片附件时,可以填写图片名字,图片ALT属性,优化SEO
wecenter 怎么设置用户登录才可以访问
aws和百度知道有什么区别?
登陆界面的LOGO图片在什么目录里改啊?
WeCenter 2.5.16 可以在sae上面升级直接使用吗?
同一个网站可以同时绑定两个微信公众账号吗?
如果上传图片的话,可以在列表页显示图片的缩略版吗
3.1.8验证码可以显示 3.1.9怎么不行

推荐内容

如何看待周鸿祎对360搜索的定位?
终于明白百度为啥不收录了,看看这怎么办?
Google Webmaster 总是提示我Robots.txt无法访问,大家遇到吗?
怎么用robots屏蔽分类列表和推荐、热门、待回复
为了避免重复收录写的robots.txt 大家看下我这规则对不对
facebook推搜索引擎会有机会么?
从百度搜索不能直接链接到相关页面吗?
请问 在robots.txt文件中,一般是放行那几个目录?
wecenter 采用的是那种搜索技术
从dz转过来后,怎样应对搜索引擎?以前的收录怎么办?