Python 爬虫 XPath 语法详解与实战案例

代码实战

下面通过一段 HTML 文本进行热身，这里使用 lxml 库来构建 XPath 解析对象。

from lxml import etree

text = '''
<div>
    <ul id='ultest'>
        <li class="item-0"><a href="link1.html">first item</a></li>
        <li class="item-1"><a href="link2.html">second item</a></li>
        <li class="item-inactive"><a href="link3.html">third item</a></li>
        <li class="item-1"><a href="link4.html"><span>fourth item</span></a></li>
        <li class="item-0"><a href="link5.html">fifth item</a></li>
    </ul>
</div>
'''

# 调用 HTML 类进行初始化，构造 XPath 解析对象
page = etree.HTML(text)
print(type(page))  # <class 'lxml.etree._Element'>

可以看到打印结果已经变成 XML 元素。经过 etree.HTML 处理后，缺失的闭合标签会自动补全，还会自动添加 html、body 等根节点。

查找绝对路径

通过绝对路径获取 a 标签的所有内容：

a = page.xpath("/html/body/div/ul/li/a")
for i in a:
    print(i.text)

输出结果为：

first item
second item
third item
None
fifth item

注意：如果 HTML 结构不完整，绝对路径容易失效，实际开发中建议优先使用相对路径。

查找相对路径（常用）

查找所有 li 标签下的 a 标签内容：

html = etree.HTML(text)
a = html.xpath("//a/text()")
print(a)

输出：['first item', 'second item', 'third item', 'fifth item']

当前标签节点

. 表示选取当前标签的节点。我们先定位 ul 元素节点得到一个列表，接着打印 ul 节点的子节点 li，最后输出 text()。

page = etree.HTML(text)
ul = page.xpath("//ul")
print(ul[0].xpath("."))
print(ul[0].xpath("./li"))
print(ul[0].xpath("./li/a/text()"))

父节点与属性匹配

.. 表示选取当前标签的父节点。匹配时可以用 @ 符号进行属性过滤。

# 查找 a 标签下属性 href 值为 link2.html 的内容
html = etree.HTML(text)
a = html.xpath("//a[@href='link2.html']/text()")
print(a)  # ['second item']

常用函数应用

last() 可查找最后一个 li 标签里的 a 标签；contains() 可用于模糊匹配属性值。

# 查找最后一个 li 标签里的 a 标签的 href 属性
html = etree.HTML(text)
a = html.xpath("//li[last()]/a/text()")
print(a)  # ['fifth item']

# 查找 a 标签中属性 href 包含 link 的节点
a = html.xpath("//a[contains(@href, 'link')]/text()")
print(a)  # ['first item', 'second item', 'third item', 'fifth item']

实战案例

上面说完基本用法，接下来做几个实战案例练练手。

案例一：豆瓣读书

import requests
from lxml import etree

class DoubanBook:
    def __init__(self):
        self.base_url = 'https://book.douban.com/chart?subcat=all&icn=index-topchart-popular'
        self.headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.0.0 Safari/537.36'
        }

    def crawl(self):
        res = requests.get(self.base_url, headers=self.headers)
        lis = etree.HTML(res.text).xpath('//*[@id="content"]/div/div[1]/ul/li')
        books = []
        for li in lis:
            title = "".join(li.xpath(".//a[@class='fleft']/text()"))
            score = "".join(li.xpath(".//p[@class='clearfix w250']/span[2]/text()"))
            publishing = "".join(li.xpath(".//p[@class='subject-abstract color-gray']/text()")).strip()
            book = {'title': title, 'score': score, 'publishing': publishing}
            books.append(book)
        self.save_data(books)

    def save_data(self, datas):
        with open('books.txt', 'w', encoding='utf-8') as f:
            f.write(str(datas))

    def run(self):
        self.crawl()

if __name__ == '__main__':
    DoubanBook().run()

案例二：图片下载

import os
import requests
from lxml import etree

class BiAn:
    def __init__(self):
        self.url = 'https://pic.netbian.com'
        self.headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.0.0 Safari/537.36'
        }
        if not os.path.exists('BianPicture'):
            os.mkdir('BianPicture')

    def crawl(self):
        res = requests.get(self.url, headers=self.headers)
        res.encoding = 'gbk'
        uls = etree.HTML(res.text).xpath('//div[@class="slist"]/ul[@class="clearfix"]/li')
        for ul in uls:
            img_name = ul.xpath('.//a/b/text()')[0]
            img_src = ul.xpath('.//a/span/img/@src')[0]
            img_url = self.url + img_src
            img_res = requests.get(img_url, headers=self.headers).content
            img_path = "BianPicture/" + img_name + ".jpg"
            with open(img_path, 'wb') as f:
                f.write(img_res)

    def run(self):
        self.crawl()

if __name__ == '__main__':
    BiAn().run()

案例三：全国城市名称爬取

import os
import requests
from lxml import etree

class CityName:
    def __init__(self):
        self.url = 'https://www.aqistudy.cn/historydata/'
        self.headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.0.0 Safari/537.36'
        }
        if not os.path.exists('city_project'):
            os.mkdir('city_project')

    def crawl(self):
        res = requests.get(url=self.url, headers=self.headers).text
        uls = etree.HTML(res).xpath('//div[@class="all"]/div[2]/ul/div[2]/li')
        all_city_name = list()
        for ul in uls:
            city_name = ul.xpath('.//a/text()')[0]
            all_city_name.append(city_name)
        self.save_data(all_city_name)

    def save_data(self, data):
        with open('./city_project/city.txt', 'w') as f:
            f.write(str(data))

    def run(self):
        self.crawl()

if __name__ == '__main__':
    CityName().run()

辅助工具

Chrome 生成 XPath

在浏览器审查模式（F12）中，右键点击元素，选择 Copy -> Copy xpath，即可快速获得该元素的 XPath 表达式。

Xpath Helper 插件

安装 XPath Helper 插件后，可以在 Chrome 右上角调出界面，编辑 XPath 表达式，选中的元素会被标记为黄色，方便调试。