该问题已被锁定!
5
关注
3281
浏览

增加一个反爬虫的功能吧

AI智能回复搜索中,请稍后...

为什么被折叠? 0 个回复被折叠
cooldev 初级会员 用户来自于: 英国
2020-12-23 22:16

你可以简单通过iptables和fail2ban来控制用户的爬虫频率。
例如:如果一个ip地址在5秒钟内访问网站有20次, 你就可以通过iptables和fail2ban 禁止掉这个ip的访问。

wander 注册会员 用户来自于: 安徽省合肥市
2020-12-08 13:40

1.首先可以看看日志,抓取的爬虫是搜索引擎还是伪装为搜索引擎的爬虫。如果是搜索引擎且不想被对方抓取,可以通过robots.txt屏蔽,例如,屏蔽掉yandex、DotBot、Archiver等

#
# robots.txt for WeCenter
#
User-Agent: YandexBot
Disallow: /
User-Agent: DotBot
Disallow: /
User-Agent: trendictionbot
Disallow: /
User-Agent: ia_archiver
Disallow: /

2.如果是恶意抓取,可以分析IP地址,然后通过服务器端配置拒绝该IP的访问。


PS.反爬虫工作量、技术要求特别高,如果真有人可以针对,技术成本很高,看看大型站点在这方面的投入就知道了


小小123 初级会员 用户来自于: 北京市海淀区
2020-12-02 12:47

确实有需要,怎么防止内容被技术人员窃取的问题,官方考虑一下

关于作者

问题动态

发布时间
2020-12-02 11:08
更新时间
2020-12-23 22:16
关注人数
5 人关注

相关问题

WC文章功能换成博客就好了
怎样在seesion中保存一个自定义对象?
支持官方做类似Google+的一个功能,图片转移功能
AW的文章是否有RSS输出功能呢?
阅读功能很棒
话题功能问题
页面管理-增加页面配置有问
希望程序增加我的广播,就是写心情啦,这很简单啊!
希望哪位开发一个新用户使用手册之类的东西
阿里云电话说个人备案的不允许有注册功能,大伙有人收到吗

推荐内容

一个专业问答社区的模块结构 www.ixiangwen.com
3.0建议,从这次界面设计来看,wecenter是不是找了新的人?(提个小小建议)
Anwsion 若wiki化,话题至少应该有个一级父类吧,e.g. 百度百科分类频道 ?
用户上传头像的引导
建议很多页面用新窗口打开
WeCenter 的代理/分销机制是什么样的?
没认证回复问题都需要审核?
建议给发起提问,类别下拉菜单做个折叠菜单功能,否则二级三级类别多就拉得很长了
怎么没有资讯、图片、视频、招聘的插件啊?
一些 小建议