该问题已被锁定!
2
关注
3278
浏览

AWS哪些目录是可以禁止搜索引擎爬行的?

AI智能回复搜索中,请稍后...

为什么被折叠? 0 个回复被折叠
zhengqiang 超级管理员 用户来自于: 广东省深圳市
2012-10-12 12:55
只要服务器把列目录的功能关闭,不能爬行的都不会被爬。

关于作者

问题动态

发布时间
2012-10-12 12:08
更新时间
2012-10-12 12:55
关注人数
2 人关注

相关问题

在哪修改代码可以把话题的LOGO大小重新设定
wecenter最多可以支撑多少用户在线?
企业可以免费使用wecenter程序吗?保留版权情况
官方可以定制模版吗?
ask2 安装 提示./config.php 目录不存在
设置游客不能访问,只有注册用户可以访问这种模式。爬虫还能抓到内容页面吗?
3.1测试版现在可以下载了吗
bug 1 tmp目录未存在程序未自动创建,而且错误被屏蔽了,找他好辛苦啊
个人信息在哪里可以看到泥?
什么时候可以在后台增加新话题?

推荐内容

从百度搜索不能直接链接到相关页面吗?
如何看待周鸿祎对360搜索的定位?
anwsion搜索是怎样的原理?
wecenter 采用的是那种搜索技术
怎么增加搜索框中 搜索文章标题呢? 文章搜索不到
请问 在robots.txt文件中,一般是放行那几个目录?
怎么用robots屏蔽分类列表和推荐、热门、待回复
搜索问题怎么优化?官方的不能用,求方案
为了避免重复收录写的robots.txt 大家看下我这规则对不对
请教用七牛后robots.txt的设置方法