该问题已被锁定!
5
关注
3278
浏览

增加一个反爬虫的功能吧

AI智能回复搜索中,请稍后...

查看全部 3 个回答

wander 注册会员 用户来自于: 安徽省合肥市
2020-12-08 13:40

1.首先可以看看日志,抓取的爬虫是搜索引擎还是伪装为搜索引擎的爬虫。如果是搜索引擎且不想被对方抓取,可以通过robots.txt屏蔽,例如,屏蔽掉yandex、DotBot、Archiver等

#
# robots.txt for WeCenter
#
User-Agent: YandexBot
Disallow: /
User-Agent: DotBot
Disallow: /
User-Agent: trendictionbot
Disallow: /
User-Agent: ia_archiver
Disallow: /

2.如果是恶意抓取,可以分析IP地址,然后通过服务器端配置拒绝该IP的访问。


PS.反爬虫工作量、技术要求特别高,如果真有人可以针对,技术成本很高,看看大型站点在这方面的投入就知道了


关于作者

问题动态

发布时间
2020-12-02 11:08
更新时间
2020-12-23 22:16
关注人数
5 人关注

相关问题

删除内容发邮件这个功能 在哪里设置
建议改进添加话题的搜索功能
文章内容页侧边栏增加文章目录
官方出一个可以完全搞定的东西,帮助站长转换
刚才申请了一个公众微信账户:精选APP ,大家有一起玩的吗?
建议增加分享统计
希望增加勋章模块
有时候数据库链接出现出错,希望增加出错保护
修改了一个问题,“该修改待确认”这个确认是谁来确认的?管理员?提问者?
报告一个重大问题,建议有评论或有回答的帖子能否自动标题后加个new

推荐内容

【建议】回答弄上表情不知道行不行
通过Excel文件批量导入问题和答案,附件是怎么处理的?图片呢?
在本地制作了一个登录页面,上传到服务器覆盖后,样式出现问题
对于wecenter搜索框的建议
建议公告可以在未登陆首页显示
如果能对单个用户或者回复进行发放和扣分操作就好了
欣赏一下问答网站“祥细页”新人引导提示
建议回答除了按赞同反对排列,还多加个认证用户。赞同量相同的回答,认证用户排名优先。
wecenter两周年了,也正逢春节之时,wecenter是不是搞搞活动!?
qq登录回调地址错误