robots.txt - WeCenter 社交化知识问答社区程序

robots.txt

　　robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。　　当一个... 查看详情>

共 9 讨论,7天新增 1 个讨论,30天新增 1 个讨论

综合问题文章悬赏简介

唐三 发起了提问 2019-11-26 17:15 robots.txt: 问答 wecenter的robots规则

# # robots.txt for WeCenter # User-agent: * Disallow: /app/ Disallow: /cache/ Disallow: /install/ Disallow: /models/ Disallow: /system/ Disallow: /tm...:; 关注问题 1  0  0 评论

流落在黄昏 发起了提问 2015-10-17 09:21 robots.txt: 问答怎么用robots屏蔽分类列表和推荐、热门、待回复

Disallow: /exolore/ Disallow: /is_recommend-1* 这样可以吗:; 关注问题 1  0  0 评论

roger 发起了提问 2014-01-09 11:28 robots.txt: 问答为了避免重复收录写的robots.txt 大家看下我这规则对不对

要禁止收录类似如下所示url的！大家帮我看下我写的这个对不对哈,这些页面都是未登录页存在的url，会造成一定的重复内容。 Disallow: /*/is_recommend-1 Disallow: /*/sort_type-hot__day-30 Disallow: /*/sort_type-...:; 关注问题 1  0  1 评论

发讨论

写文章

话题日志

热门话题



: 系统安全
讨论:4 关注:0

: python
讨论:6 关注:0

: 广告位
讨论:20 关注:0

: 专题下的更多话题
讨论:8 关注:0

: 支付宝
讨论:4 关注:0

All Rights Reserved Powered BY WeCenter V4.1.0 © 2025 皖公网安备 34019202000400号