前言
Python 爬虫是大数据时代的重要技能，广泛应用于兼职接单、数据收集等领域。业余玩玩容易，想要学精学深则需要系统学习。爬虫能力通常分为初级、中级、高级及更高一级四个水平。
一、初级爬虫
掌握 Python 的语法和一些常用库的使用。虽然是零基础上手编程，基础语法还是要认真去学。
【初级爬虫的技能要求】
- Python【语言基础】
- requests【请求相关】
- lxml【解析相关】
- XPath【解析相关】
- BeautifulSoup【解析相关】
- PyQuery【解析相关】
- MySQL【数据库】
- MongoDB【数据库】
- Elasticsearch
- Kafka【消息队列相关】
这个阶段最主要的就是掌握 Python 语法基础、常用库的使用。请求库的话一般 Requests 能应付大部分简单网站的爬取，当然是在没有反爬机制的前提下。Selenium 主要是用它来模拟真实浏览器对 URL 进行访问，从而对网页进行爬取，往往要配合 PhantomJS 使用。解析常用到 XPath、BeautifulSoup、PyQuery 或者正则表达式。初级的话能够熟练两三种解析库基本也够用了。正则一般用来满足特殊需求、以及提取其他解析器提取不到的数据。
除了 Python 之外，基础的计算机网络知识、CSS、HTML 等这些都是需要补充学习的。给零基础初学者的一点建议是：明确好自己的学习目标，掌握好自己的学习节奏！初级水平的爬虫主要重在基础，能爬着基本的网站玩玩，碰到有反爬的网站就不太行了。
二、中级爬虫
职业爬虫师的基本水平。
【中级爬虫的技能要求】
- Ajax【能通过 Ajax 接口获取数据】
- Puppeteer【基于 JS 的爬虫框架，可直接执行 JS】
- Pyppeteer【基于 Puppeteer 开发的 python 版本，需要 python 异步知识】
- Selenium【常见的自动化工具，支持多语言】
- Splash【JavaScript 渲染服务】
- 多进程【python 多任务基础】
- 多线程【python 多任务基础】
- 协程【python 多任务基础】
- fiddler【抓包工具】
- mitmproxy【中间人代理工具】
- appium【自动化工具】
- adb【安卓 adb 工具】
- Charles【抓包工具】
这个阶段就是爬虫技能的升级了，Ajax —多线程 —多进程等是重点的学习内容。现在很多网站的数据可能都是通过接口的形式传输的，或者即使不是接口那也是一些 JSON 的数据，然后经过 JavaScript 渲染得出来的。如果还是用 requests 来爬是行不通的，所以大多数情况需要分析 Ajax，知道这些接口的调用方式之后再用程序来模拟。但如果有些接口带着加密参数，比如 token、sign 的话，这时候就得去分析网站的 JavaScript 逻辑。
还有一种方法相对省事一点，就是用 Puppeteer、Selenium、Splash 来模拟浏览器的方式来爬取，这样就不用死抠 Ajax 和一些 JavaScript 逻辑的过程，提取数据自然就简单一点。单线程的爬虫简单是简单，但是速度慢啊！利用多进程、多线程、协程能大幅度提升爬虫的速度，相关的库有 threading 和 multiprocessing。不过需要注意的一点是别把人家网站搞挂了！用 aiohttp、gevent、tornado 等等，基本上你想搞多少并发就搞多少并发，速度是成倍提上了。同时也注意一下自己的爬虫别被反爬干掉了，总之悠着点爬！
三、高级爬虫
进一步提高爬取效率。
【高级爬虫的技能要求】
- RabbitMQ【消息队列相关】
- Celery【消息队列相关】
- Kafka【消息队列相关】
- Redis【缓存数据库 -----》其实 mongodb 也可以充当这个角色】
- Scrapy-Redis【scrapy 的 redis 组件】
- Scrapy-Redis-BloomFilter【scrapy 的布隆过滤器】
- Scrapy-Cluster【分布式解决方案】
- 验证码破解
- IP 代理池
- 用户行为管理
- cookies 池
- token 池
- sign
- 账号管理
能达到这个层次的话，一般赚外快是不在话下了。这个阶段主要是两个重点：分布式爬虫和应对反爬的处理技巧。
【分布式爬虫】
分布式爬虫通俗的讲就是多台机器多个 spider 对多个 url 的同时处理问题，分布式的方式可以极大提高程序的抓取效率。虽然听起来也很厉害，其实也是利用多线程的原理让多个爬虫同时工作，当你掌握分布式爬虫，实现大规模并发采集后，自动化数据获取会更便利。需要掌握 Scrapy +MongoDB + Redis 这三种工具，但是分布式爬虫对电脑的 CPU 和网速都有一定的要求。现在主流的 Python 分布式爬虫还是基于 Scrapy 的，对接 Scrapy-Redis、Scrapy-Redis-BloomFilter 或者用 Scrapy-Cluster 等等。他们都是基于 Redis 来共享爬取队列的，多少会遇到一些内存的问题。所以有些人也考虑对接到了其他的消息队列上面，比如 RabbitMQ、Kafka 等等，解决一些问题，效率也不差。
【应对反爬】
有爬虫就有反爬，什么滑块验证、实物勾选、IP 检测、封号…各种奇葩的反爬都有。这时候就得知道如何去应付这些常见的反爬了。常见的反爬虫措施包括字体反爬、基于用户行为反爬虫、基于动态页面的反爬虫、IP 限制、UA 限制、Cookie 限制等。应对反爬的处理手段有控制 IP 访问次数频率、增加时间间隔、Cookie 池保存与处理、用户代理池技术、字体反加密、验证码 OCR 处理、抓包等。这里提示一点：不要去挑战反爬，搞过了大家懂得哈！
四、更高一级的爬虫
需要掌握一下这几点技能。
- JS 逆向【分析目标站点 JS 加密逻辑】
- APP 逆向【xposed 可在不改变原应用代码基础上植入自己的代码】
- 智能化爬虫
- 运维
【JS 逆向】
这就回到了前面讲过的这个 Ajax 接口会带着一些参数的这个问题。现在随着前端技术的进步和网站反爬意识的增强，很多网站选择在前端上下功夫。那就是在前端对一些逻辑或代码进行加密或混淆。用 Selenium 等方式来爬行是行，效率还是低了，JS 逆向则是更高级别的爬取技术。但问题是难！JS 逆向的修炼掉头发是少不了的！
【APP 逆向】
现在越来越多的公司都选择将数据放到 App 上面，在一些兼职网站上 APP 数据爬取这一类的报价在几千左右，这块是酬劳比较高的。基本的就是利用抓包工具，Charles、Fiddler 等，抓到接口之后，直接拿来模拟。想实现自动化爬取的话，安卓原生的 adb 工具也行，现在 Appium 是比较主流的。APP 逆向听着好像很简单，实际跟 JavaScript 逆向一样的烧脑。
【智能化爬虫】
如果说我要爬取一万个新闻网站数据，要一个个写 XPath 的话我估计会见不到明天的太阳，如果用智能化解析技术，在不出意外的情况下，分分钟可以搞定。用智能化解析，不论是哪个网站，你只需要把网页的 url 传递给它，就可以通过算法智能识别出标题、内容、更新时间等信息，而不需要重复编写提取规则。简而言之就是爬虫与机器学习技术相结合，使得爬虫更加智能化。
【运维】
主要体现在部署和分发、数据的存储和监控这几个方面，Kubernetes、Prometheus、Grafana 是爬虫在运维方面用的比较多的技术。
最后我想说的是：学海无涯、学无止境，好好珍惜你的头发！
