查看网站访问日志,发现有很多这样的路径被访问到了。
/account/login/account/find_password/question/1001
/explore/home/explore/topic/topic/people/question/1339
/explore/home/explore/feature/topic/question/question/1535
/explore/home/explore/question/people/topic/people/question/6285
.....
而且这些地址是可以访问的 这样就造成了大量重复的页面
爬虫还不断去爬这些页面 造成服务器资源吃紧 真是很头大。
另外感觉这样对搜索引擎也不友好,不知道是不是可以改进下?
阅读全文
收起全文