关于反爬虫，看这一篇就够了

　你被爬虫侵扰过么?当你看到“爬虫”两个字的时分，是不是现已有点血脉贲张的感觉了?千万要忍受，稍稍做点什么，就能够在名义上让他们成功，实际上让他们受丢失。
 

　　一、为什么要反爬虫

　　1. 爬虫占总PV份额较高，这样浪费钱(特别是三月份爬虫)

　　三月份爬虫是个什么概念呢?每年的三月份咱们会迎候一次爬虫高峰期。

　　开端咱们百思不得其解。直到有一次，四月份的时分，咱们删去了一个url，然后有个爬虫不断的爬取url，导致许多报错，测验开端找咱们费事。咱们只好特意为这个爬虫发布了一次站点，把删去的url又康复回去了。

　　可是其时咱们的一个组员表明很不服，说，咱们不能干掉爬虫，也就算了，还要专门为它发布，这实在是太没体面了。所以出了个主见，说：url能够上，可是，肯定不给实在数据。

　　所以咱们就把一个静态文件发布上去了。报错中止了，爬虫没有中止，也便是说对方并不知道东西都是假的。这个作业给了咱们一个很大的启示，也直接成了咱们反爬虫技术的中心：改变。

　　后来有个学生来恳求实习。咱们看了简历发现她爬过携程。后来面试的时分确认了下，公然她便是四月份害咱们发布的那个家伙。不过由所以个妹子，技术也不错，后来就被咱们招安了。现在现已快正式入职了。

　　后来咱们一同评论的时分，她说到了，有许多的硕士在写论文的时分会挑选爬取OTA数据，并进行舆情剖析。由于五月份交论文，所以嘛，咱们都是读过书的，你们懂的，前期各种DotA，LOL，到了三月份了，来不及了，赶紧抓数据，四月份剖析一下，五月份交论文。

　　便是这么个节奏。

　　2. 公司可免费查询的资源被批量抓走，丢失竞争力，这样少挣钱。

　　OTA的价格能够在非登录状况下直接被查询，这个是底线。假如强制登陆，那么能够经过封杀账号的办法让对方支付价值，这也是许多网站的做法。可是咱们不能强制对方登录。那么假如没有反爬虫，对方就能够批量仿制咱们的信息，咱们的竞争力就会大大削减。

　　竞争对手能够抓到咱们的价格，时刻长了用户就会知道，只需求去竞争对手那里就能够了，没必要来携程。这对咱们是晦气的。

　　3. 爬虫是否涉嫌违法?假如是的话，是否能够申述要求补偿?这样能够挣钱。

　　这个问题我特意咨询了法务，最终发现这在国内仍是个擦边球，便是有或许能够申述成功，也或许彻底无效。所以仍是需求用技术手法来做最终的保证。

　　二、反什么样的爬虫

　　1. 非常初级的应届毕业生

　　最初咱们说到的三月份爬虫，便是一个非常显着的比方。应届毕业生的爬虫一般简略粗犷，底子不论服务器压力，加上人数不行猜测，很简略把站点弄挂。

　　趁便说下，经过爬携程来获取offer这条路现已行不通了。由于咱们都知道，第一个说美丽女人像花的人，是天才。而第二个。。。你们懂的吧?

　　2. 非常初级的创业小公司

　　现在的创业公司越来越多，也不知道是被谁忽悠的然后咱们创业了发现不知道干什么好，觉得大数据比较热，就开端做大数据。

　　剖析程序全写差不多了，发现自己手头没有数据。

　　怎样办?写爬虫爬啊。所以就有了不行胜数的小爬虫，出于公司生死存亡的考虑，不断爬取数据。

　　3. 不当心写错了没人去中止的失控小爬虫

　　携程上的点评有的时分或许高达60%的拜访量是爬虫。咱们现已挑选直接封闭了，它们仍然孜孜不倦地爬取。

　　什么意思呢?便是说，他们底子爬不到任何数据，除了httpcode是200以外，一切都是不对的，可是爬虫仍然不中止这个很或许便是一些保管在某些服务器上的小爬虫，现已无人认领了，仍然在勤劳地作业着。

　　4. 成型的商业对手

　　这个是最大的对手，他们有技术，有钱，要什么有什么，假如和你死磕，你就只能硬着头皮和他死磕。

　　5. 抽风的查找引擎

　　咱们不要认为查找引擎都是好人，他们也有抽风的时分，并且一抽风就会导致服务器功用下降，恳求量跟网络进犯没什么差异。

　　三、什么是爬虫和反爬虫

　　由于反爬虫暂时是个较新的范畴，因而有些界说要自己下。咱们内部界说是这样的：

　　爬虫：运用任何技术手法，批量获取网站信息的一种办法。要害在于批量。

　　反爬虫：运用任何技术手法，阻挠别人批量获取自己网站信息的一种办法。要害也在于批量。

　　误伤：在反爬虫的进程中，过错的将普通用户辨认为爬虫。误伤率高的反爬虫战略，作用再好也不能用。

　　阻拦：成功地阻挠爬虫拜访。这儿会有阻拦率的概念。一般来说，阻拦率越高的反爬虫战略，误伤的或许性就越高。因而需求做个权衡。

　　资源：机器本钱与人力本钱的总和。

　　这儿要牢记，人力本钱也是资源，并且比机器更重要。由于，依据摩尔定律，机器越来越廉价。而依据IT职业的发展趋势，程序员薪酬越来越贵。因而，让对方加班才是王道，机器本钱并不是特别值钱。

　　四、知己知彼：怎样编写简略爬虫

　　要想做反爬虫，咱们首要需求知道怎样写个简略的爬虫。

　　现在网络上查找到的爬虫材料非常有限，一般都仅仅给一段python代码。python是一门很好的言语，可是用来针对有反爬虫办法的站点做爬虫，真的不是最优挑选。

　　更挖苦的是，一般搜到的python爬虫代码都会运用一个lynx的user-agent。你们应该怎样处理这个user-agent，就不必我来说了吧?

　　一般编写爬虫需求经过这么几个进程：

　　剖析页面恳求格局

　　创立适宜的http恳求

　　批量发送http恳求，获取数据

　　举个比方，直接检查携程出产url。在详情页点击“确认”按钮，会加载价格。假定价格是你想要的，那么抓出网络恳求之后，哪个恳求才是你想要的成果呢?

　　答案出人意料的简略，你只需求用依据网络传输数据量进行倒序摆放即可。由于其他的迷惑性的url再多再杂乱，开发人员也不会舍得加数据量给他。

　　五、知己知彼：怎样编写高档爬虫

　　那么爬虫进阶应该怎样做呢?一般所谓的进阶有以下几种：

　　1. 分布式

　　一般会有一些教材告知你，为了爬取功率，需求把爬虫分布式布置到多台机器上。这彻底是哄人的。分布式仅有的作用是：避免对方封IP。封IP是终极手法，作用非常好，当然，误伤起用户也是非常爽的。

　　2. 模仿JavaScript

　　有些教程会说，模仿javascript，抓取动态网页，是进阶技巧。可是其实这仅仅个很简略的功用。由于，假如对方没有反爬虫，你彻底能够直接抓ajax自身，而无需关怀js怎样处理的。假如对方有反爬虫，那么javascript必定非常杂乱，要点在于剖析，而不仅仅是简略的模仿。

　　换句话说：这应该是基本功。

　　3. PhantomJs

　　这个是一个极点的比方。这个东西原意是用来做自动测验的，成果由于作用很好，许多人拿来做爬虫。可是这个东西有个硬伤，便是：功率。此外PhantomJs也是能够被抓到的，出于多方面原因，这儿暂时不讲。

　　六、不同等级爬虫的优缺点

　　越是初级的爬虫，越简略被封闭，可是功用好，本钱低。越是高档的爬虫，越难被封闭，可是功用低，本钱也越高。

　　当本钱高到必定程度，咱们就能够无需再对爬虫进行封闭。经济学上有个词叫边际效应。支付本钱高到必定程度，收益就不是许多了。

　　那么假如对两边资源进行比照，咱们就会发现，无条件跟对方死磕，是不划算的。应该有个黄金点，超越这个点，那就让它爬好了。究竟咱们反爬虫不是为了体面，而是为了商业要素。

　　七、怎样规划一个反爬虫系统(惯例架构)

　　有个朋友从前给过我这样一个架构：

　　对恳求进行预处理，便于辨认;

　　辨认是否是爬虫;

　　针对辨认成果，进行恰当的处理;

　　其时我觉得，听起来好像很有道理，不愧是架构，主意便是和咱们不相同。后来咱们实在做起来反响过来不对了。由于：

　　假如能辨认出爬虫，哪还有那么多废话?想怎样搞它就怎样搞它。假如辨认不出来爬虫，你对谁做恰当处理?

　　三句话里边有两句是废话，只要一句有用的，并且还没给出详细施行办法。那么：这种架构(师)有什么用?

　　由于其时存在一个架构师崇拜问题，所以许多创业小公司以架构师名义招开发。给出的title都是：初级架构师，架构师自身便是个高档岗位，为什么会有初级架构。这就相当于：初级将军/初级司令。

　　最终去了公司，发现十个人，一个CTO，九个架构师，并且或许你自己是初级架构师，其别人仍是高档架构师。不过初级架构师还不算坑爹了，有些小创业公司还招CTO做开发呢。

　　传统反爬虫手法

　　1. 后台对拜访进行计算，假如单个IP拜访超越阈值，予以封闭。

　　这个尽管作用还不错，可是其实有两个缺点，一个是非常简略误伤普通用户，另一个便是，IP其实不值钱，几十块钱甚至有或许买到几十万个IP。所以整体来说是比较亏的。不过针对三月份呢爬虫，这点仍是非常有用的。

　　2. 后台对拜访进行计算，假如单个session拜访超越阈值，予以封闭。

　　这个看起来更高档了一些，可是其实作用更差，由于session彻底不值钱，从头恳求一个就能够了。

　　3. 后台对拜访进行计算，假如单个userAgent拜访超越阈值，予以封闭。

　　这个是大招，类似于抗生素之类的，作用出奇的好，可是杀伤力过大，误伤非常严峻，运用的时分要非常当心。至今停止咱们也就只时间短封杀过mac下的火狐。

　　4. 以上的组合

　　组合起来才能变大，误伤率下降，在遇到初级爬虫的时分，仍是比较好用的。

　　由以上咱们能够看出，其实爬虫反爬虫是个游戏，RMB玩家才最牛逼。

　　由于上面说到的办法，作用均一般，所以仍是用JavaScript比较靠谱。

　　或许有人会说：javascript做的话，不是能够跳掉BETWAY登录逻辑，直接拉服务吗?怎样会靠谱呢?由于啊，我是一个标题党啊。JavaScript不仅仅是做BETWAY登录。越过BETWAY登录不等于越过JavaScript。也便是说：咱们的服务器是nodejs做的。

　　思考题：咱们写代码的时分，最怕碰到什么代码?什么代码欠好调试?

　　eval

　　eval现已臭名远扬了，它功率低下，可读性糟糕。正是咱们所需求的。

　　goto

　　js对goto支撑并欠好，因而需求自己完结goto。

　　混杂

　　现在的minify东西一般是minify成abcd之类简略的姓名，这不契合咱们的要求。咱们能够minify成更好用的，比方阿拉伯语。为什么呢?由于阿拉伯语有的时分是从左向右写，有的时分是从右向左写，还有的时分是从下向上写。除非对方雇个阿拉伯程序员，不然非头疼死不行。

　　不稳定代码

　　什么bug不简略修?不简略重现的bug欠好修。因而，咱们的代码要充溢不确认性，每次都不相同。

　　代码演示

　　下载代码自身，能够更简略了解。这儿简略介绍下思路：

　　纯JAVASCRIPT反爬虫DEMO，经过更改衔接地址，来让对方抓取到过错价格。这种办法，简略，可是假如对方针对性的来检查，非常简略被发现。

　　纯JAVASCRIPT反爬虫DEMO，更改key。这种做法简略，不简略被发现。可是能够经过有意爬取过错价格的办法来完结。

　　纯JAVASCRIPT反爬虫DEMO，更改动态key。这种办法能够让更改key的价值变为0，因而价值更低。

　　纯JAVASCRIPT反爬虫DEMO，非常杂乱的更改key。这种办法，能够让对方很难剖析，假如加了后续说到的阅览器检测，更难被爬取。

　　到此停止。

　　前面咱们说到了边际效应，便是说，能够到此停止了。后续再投入人力就因小失大了。除非有专门的对手与你死磕。不过这个时分便是为了庄严而战，不是为了商业要素了。

　　阅览器检测

　　针对不同的阅览器，咱们的检测办法是不相同的。

　　IE，检测bug;

　　FF，检测对规范的严厉程度;

　　Chrome，检测强壮特性。

　　八、我抓到你了——然后该怎样办

　　不会引发出产事情——直接阻拦

　　或许引发出产事情——给假数据(也叫投毒)

　　此外还有一些发散性的思路。例如是不是能够在呼应里做SQL注入?究竟是对方先动的手。不过这个问题法务没有给详细回复，也不简略和她解说。因而暂时仅仅想象罢了。

　　1. 技术限制

　　咱们都知道，DotAAI里有个de指令，当AI被击杀后，它获取经历的倍数会进步。因而，前期杀AI太多，AI会一身神装，无法击杀。

　　正确的做法是，限制对方等级，可是不击杀。反爬虫也是相同的，不要一开端就搞太过分，逼人家和你死磕。

　　2. 心理战

　　寻衅、怜惜、嘲讽、鄙陋。

　　以上略过不提，咱们体会精力即可。

　　3. 放水

　　这个或许是是最高境地了。

　　程序员都不简略，做爬虫的特别不简略。不幸不幸他们给他们一小口饭吃吧。没准过几天你就由于反爬虫做得好，改行做爬虫了。

视频地址： 强裂主张点击回放，“现场”围观段子手攻城狮大崔，怎样高智商&高情商地完美碾压爬虫