该问题已被锁定!
2
关注
3277
浏览

AWS哪些目录是可以禁止搜索引擎爬行的?

AI智能回复搜索中,请稍后...

为什么被折叠? 0 个回复被折叠
zhengqiang 超级管理员 用户来自于: 广东省深圳市
2012-10-12 12:55
只要服务器把列目录的功能关闭,不能爬行的都不会被爬。

关于作者

问题动态

发布时间
2012-10-12 12:08
更新时间
2012-10-12 12:55
关注人数
2 人关注

相关问题

We Center 默认帖子的上浮,下沉的规则是怎样的?这个规则是否可以由站长在后台直接定义、修改?or需要另外的程序支持(如插件)We Center 是否提供了对应的接口,使得模块可以相对独立?
wecenter 怎么设置用户登录才可以访问
百度编辑器本身支持远程图片本地化的,但是为什么我的网站升级之前可以,升级到3.3.3就不行了?
分享一个超牛逼的网站流量量子监控插件工具 可以监测进站访客的淘宝旺旺号码
什么网站有介绍网站或手机介面的使用者经验理论及案例可以参考?
新版能增加设定部分后缀的邮箱可以注册并验证吗
下一个版本几号出来?更新哪些内容呢?提前说说~嘿嘿
请问别人的提问我能收到邮件吗?或者我的回答对方能收到邮件吗?如果这个程序可以那应该怎么设置呢?
如果不能发帖选择分类,那么增加默认的“已收集”、“已解决”总可以吧!
出了1.1正式版,可以把认证功能加到手机版么?目前手机版没有认证图标,与PC版不同步。

推荐内容

wecenter的robots规则
搜索引擎收录时的时间是错的,网站哪里出了问题?
anwsion搜索是怎样的原理?
从百度搜索不能直接链接到相关页面吗?
从dz转过来后,怎样应对搜索引擎?以前的收录怎么办?
facebook推搜索引擎会有机会么?
为了避免重复收录写的robots.txt 大家看下我这规则对不对
Google Webmaster 总是提示我Robots.txt无法访问,大家遇到吗?
搜索问题怎么优化?官方的不能用,求方案
Wecenter的robots这样写 是否更好一些?