该问题已被锁定!
2
关注
3878
浏览

AWS哪些目录是可以禁止搜索引擎爬行的?

AI智能回复搜索中,请稍后...

为什么被折叠? 0 个回复被折叠
zhengqiang 超级管理员 用户来自于: 广东省深圳市
2012-10-12 12:55
只要服务器把列目录的功能关闭,不能爬行的都不会被爬。

关于作者

问题动态

发布时间
2012-10-12 12:08
更新时间
2012-10-12 12:55
关注人数
2 人关注

相关问题

Table 'wecenter.aws_topic_question' doesn't exist
微信订阅号可以第三方登陆吗?
可以直接通过微信发图片吗?
大家需要活动模块吗?对这个模块都有哪些功能需求?讲讲看!
wecenter的话题怎样可以让大家修改?
AWS怎么去防止会员刷赞同、感谢之类的啊?
电脑回调地址错误,手机却可以用
Discuz怎么转换到Anwsion?转换程序直接上传到dz目录下?是否有说明?
伪静态中的问题规则和分类规则可以这样自定义吗?
登陆界面的LOGO图片在什么目录里改啊?

推荐内容

搜索引擎收录时的时间是错的,网站哪里出了问题?
怎么增加搜索框中 搜索文章标题呢? 文章搜索不到
wecenter 采用的是那种搜索技术
终于明白百度为啥不收录了,看看这怎么办?
从百度搜索不能直接链接到相关页面吗?
请教用七牛后robots.txt的设置方法
Google Webmaster 总是提示我Robots.txt无法访问,大家遇到吗?
anwsion搜索是怎样的原理?
从dz转过来后,怎样应对搜索引擎?以前的收录怎么办?
wecenter的robots规则