增加一个反爬虫的功能吧 - WeCenter 社交化知识问答社区程序

该问题已被锁定！

5: 关注

4280: 浏览

增加一个反爬虫的功能吧

上线之后，经常访问量突然暴增，想都不用想，是有人开始爬虫抓取了，辛辛苦苦原创写下来，却要被复制或模仿，相信大家也是不希望这样的吧

好问题 0 评论收藏举报

AI智能回复搜索中，请稍后...

3 回答

wander 注册会员用户来自于: 安徽省合肥市
2020-12-08 13:40

1.首先可以看看日志，抓取的爬虫是搜索引擎还是伪装为搜索引擎的爬虫。如果是搜索引擎且不想被对方抓取，可以通过robots.txt屏蔽，例如，屏蔽掉yandex、DotBot、Archiver等

#
# robots.txt for WeCenter
#
User-Agent: YandexBot
Disallow: /
User-Agent: DotBot
Disallow: /
User-Agent: trendictionbot
Disallow: /
User-Agent: ia_archiver
Disallow: /

2.如果是恶意抓取，可以分析IP地址，然后通过服务器端配置拒绝该IP的访问。

PS.反爬虫工作量、技术要求特别高，如果真有人可以针对，技术成本很高，看看大型站点在这方面的投入就知道了

赞同 2 0评论

小小123 初级会员用户来自于: 北京市海淀区
2020-12-02 12:47

确实有需要，怎么防止内容被技术人员窃取的问题，官方考虑一下

赞同 0 0评论

cooldev 初级会员用户来自于: 英国
2020-12-23 22:16

你可以简单通过iptables和fail2ban来控制用户的爬虫频率。
例如：如果一个ip地址在5秒钟内访问网站有20次，你就可以通过iptables和fail2ban 禁止掉这个ip的访问。

赞同 0 0评论

关于作者

: sunyang3721 初级会员
这家伙很懒，还没有设置简介

7: 回答

0: 文章

7: 问题

问题动态

发布时间: 2020-12-02 11:08

更新时间: 2020-12-23 22:16

关注人数: 5 人关注

相关问题

请问，3.0以后，可以在后台选择普通订阅号。但按照后台的要求填充完成后，微信功能依然没有变化。是不支持非认证的订阅号吗？: 4879 浏览 5 关注 3 回答 0 评论

wecenter2.5微信服务号功能将被剥离程序统一接入平台，保证wecenter核心问答功能持续开发完善。: 6185 浏览 12 关注 8 回答 3 评论

建议官方考虑打赏功能。: 3249 浏览 2 关注 1 回答 0 评论

发现一个小BUG: 2071 浏览 2 关注 1 回答 0 评论

请问wecenter整个框架是不是采用zend中MVC的方式？还是说只是个别功能，调用了zend模块？那么wecenter的框架是基于哪种规律而来？: 6155 浏览 6 关注 2 回答 0 评论

建议：增加文章搜索模块: 3161 浏览 2 关注 1 回答 0 评论

做了一个简单的开发anwsion的例子,方便上手.: 3753 浏览 8 关注 3 回答 0 评论

能否加上财富悬赏提问，以及相应的财富充值功能？: 2754 浏览 2 关注 0 回答 0 评论

一个设想：把设置为话题的关键词在全文自动关联，实现wiki功能: 3601 浏览 5 关注 2 回答 0 评论

建议加一个对话题的权限控制，就可以很灵活的做栏目分类了: 2894 浏览 1 关注 0 回答 0 评论

推荐内容

问这个搜索问题能不能改进一下，能不能更加智能点 (新倩女幽魂): 4018 浏览 4 关注 2 回答 0 评论

问不知道话题能不能自定义SEO标题: 2578 浏览 2 关注 1 回答 0 评论

问私信功能问题: 3253 浏览 3 关注 2 回答 0 评论

问类似话题的合并: 5209 浏览 6 关注 4 回答 0 评论

问数据批量导入的时候上传xlsx文件失败， upload_file_exceeds_form_limit: 5474 浏览 3 关注 2 回答 0 评论

问问题沉底刷新建议（更新）: 3000 浏览 2 关注 1 回答 0 评论

问 WC登陆验证码太难识别了...: 3646 浏览 3 关注 2 回答 0 评论

问代码能不能写的清爽点带上注释: 11968 浏览 13 关注 8 回答 2 评论

问发起文章的功能为什么不能关闭，我很好奇！？: 3623 浏览 3 关注 1 回答 0 评论

All Rights Reserved Powered BY WeCenter V4.1.0 © 2026 皖公网安备 34019202000400号