nofollow并不能阻止抓取，他的作用是不传递权重，蜘蛛依然会抓。
robots可以禁止效价比非常低的搜索蜘蛛抓取，还可以禁止不是搜索引擎的蜘蛛抓去，当然前提是这个蜘蛛遵守这个协议。比如这边禁止了某蜘蛛，此蜘蛛疯狂抓取，流量贡献却微乎其微，索性将其禁止。这样每个月至少节约了几个g的流量。
robots还可以引导蜘蛛，告诉他哪些可以抓，那些不能抓，这样也能节约一定的流量。
想增加索引量，robots可以做的是，告诉蜘蛛你网站的地图在哪里，让蜘蛛去抓取地图。
感觉质量高，数量多的内容才是提高索引量的根本。
有兴趣的话，可以继续探讨这个问题。
阅读全文
收起全文
