AWS哪些目录是可以禁止搜索引擎爬行的？ - WeCenter 社交化知识问答社区程序

该问题已被锁定！

2: 关注

3593: 浏览

AWS哪些目录是可以禁止搜索引擎爬行的？

想写个robots.txt文件，不知道AWS哪些目录是可以禁止搜索引擎爬行的？

好问题 0 评论收藏举报

AI智能回复搜索中，请稍后...

1 回答

zhengqiang 超级管理员用户来自于: 广东省深圳市
2012-10-12 12:55

只要服务器把列目录的功能关闭，不能爬行的都不会被爬。

赞同 0 2评论

关于作者

: yangunbo 初级会员
这家伙很懒，还没有设置简介

136: 回答

0: 文章

61: 问题

问题动态

发布时间: 2012-10-12 12:08

更新时间: 2012-10-12 12:55

关注人数: 2 人关注

相关问题

数据库中没有aws_session这张表安装了好几次了: 2162 浏览 1 关注 0 回答 0 评论

IIS下伪静态目录下 XXX.COM/ASK/ 这种有没有搞定的: 3997 浏览 5 关注 2 回答 0 评论

添加专题保存领域后只能在全部话题那里显示10个领域吗？？？？？后天可以添加但是不显示: 2682 浏览 3 关注 1 回答 0 评论

可以做纯社区么？非问答网站: 2827 浏览 3 关注 1 回答 0 评论

官方说不愿意推荐360，要推猎豹等。没想到今天只有360可以访问官方。搜狗猎豹都将官方给毙了: 4308 浏览 7 关注 6 回答 0 评论

邀请功能也可以利用飞信的端口发送短信，手机接收邀请（短信）！: 3284 浏览 2 关注 1 回答 0 评论

可以用anwsion做什么站呢？: 3195 浏览 2 关注 2 回答 1 评论

上传附件的地方，提示支持哪些类型的文件: 3253 浏览 4 关注 3 回答 0 评论

在那个文件可以修改和设置，如果是ie6提示页面？: 2415 浏览 3 关注 1 回答 0 评论

如果我一定想实现可以发起一个问题，或发起一个分享，应该怎么做？: 2218 浏览 1 关注 0 回答 0 评论

推荐内容

问如何看待周鸿祎对360搜索的定位？: 4055 浏览 3 关注 2 回答 0 评论

问怎么增加搜索框中搜索文章标题呢？文章搜索不到: 2656 浏览 2 关注 0 回答 0 评论

问 Google Webmaster 总是提示我Robots.txt无法访问，大家遇到吗？: 4361 浏览 5 关注 3 回答 0 评论

问搜索引擎收录时的时间是错的，网站哪里出了问题？: 3474 浏览 2 关注 1 回答 0 评论

问 Wecenter的robots这样写是否更好一些？: 3861 浏览 3 关注 2 回答 0 评论

问为了避免重复收录写的robots.txt 大家看下我这规则对不对: 2443 浏览 1 关注 0 回答 1 评论

问我中招了，用模拟搜索引擎捉取网站，捉取一次就变一次。。。【已解决】: 4015 浏览 5 关注 3 回答 0 评论

问从dz转过来后，怎样应对搜索引擎？以前的收录怎么办？: 3816 浏览 2 关注 3 回答 2 评论

问请问在robots.txt文件中，一般是放行那几个目录？: 2741 浏览 2 关注 1 回答 0 评论

问搜索问题怎么优化?官方的不能用,求方案: 3497 浏览 2 关注 1 回答 0 评论

All Rights Reserved Powered BY WeCenter V4.1.0 © 2026 皖公网安备 34019202000400号