该问题已被锁定!
2
关注
3219
浏览

AWS哪些目录是可以禁止搜索引擎爬行的?

AI智能回复搜索中,请稍后...

为什么被折叠? 0 个回复被折叠
zhengqiang 超级管理员 用户来自于: 广东省深圳市
2012-10-12 12:55
只要服务器把列目录的功能关闭,不能爬行的都不会被爬。

关于作者

问题动态

发布时间
2012-10-12 12:08
更新时间
2012-10-12 12:55
关注人数
2 人关注

相关问题

aws_user_action_history_data这个表能清空不?
Wecenter 3.1.1的编辑器是什么版本,可以插入表格了吗?
wecenter可以设置成多用户版本不?
为什么不显示问题的关注量?怎么可以显示?
目前哪些网站形式是国内还没有出现的
官方能否考虑手机版可以绑定二级域名或者增加一个关闭和开启手机站点的功能
好复杂的页面,可不可以简单点。
我可以测试一条信息
测试一下可以吗
别人的问题可以进行重新编辑,编辑后出现待确认,请问这个权限是管理员控制的吗?

推荐内容

如何看待周鸿祎对360搜索的定位?
Google Webmaster 总是提示我Robots.txt无法访问,大家遇到吗?
怎么增加搜索框中 搜索文章标题呢? 文章搜索不到
facebook推搜索引擎会有机会么?
请问 在robots.txt文件中,一般是放行那几个目录?
wecenter的robots规则
为了避免重复收录写的robots.txt 大家看下我这规则对不对
anwsion搜索是怎样的原理?
怎么用robots屏蔽分类列表和推荐、热门、待回复
搜索问题怎么优化?官方的不能用,求方案