Python 爬虫入门：抓取豆瓣电影 Top250 数据

Python 爬虫入门：抓取豆瓣电影 Top250 数据

爬虫概述

网络爬虫（Web Crawler），又称网页蜘蛛或网络机器人，是一种按照一定规则自动抓取互联网信息的程序。它模拟浏览器发送网络请求，接收响应并解析数据。

原则上，只要是浏览器能做的事情，爬虫理论上都能做。在大数据时代，信息获取自由了，但同时也伴随着海量无效垃圾信息。如何从碎片化信息中筛选出有价值的内容？答案是利用技术手段进行自动化收集与分析。

准备工作

虽然多种语言（如 PHP, Java, C#, C++）都可以编写爬虫，但 Python 因其语法简洁、库丰富而成为首选。

1. 环境搭建：安装 Python 3.x 版本（推荐 3.8+）。
2. 开发工具：推荐使用 PyCharm 或 VS Code。
3. 依赖库：
   • urllib：标准库，用于发送 HTTP 请求。
   • BeautifulSoup4：用于 HTML/XML 解析。
   • re：标准库，用于正则表达式匹配。
   • xlwt：用于将数据写入 Excel 文件。
   • sqlite3：可选，用于数据库存储。

项目实战：爬取豆瓣电影 Top250

本案例以爬取豆瓣电影 Top250 榜单为例，目标是将电影详情链接、图片、名称、评分等信息保存至本地。

核心流程

1. 爬取网页：构造 URL 列表，循环请求页面源码。
2. 解析数据：使用 BeautifulSoup 和正则表达式提取关键信息。
3. 保存数据：将清洗后的数据存储为 Excel 文件或数据库。

代码实现

# -*- coding: utf-8 -*-
from bs4 import BeautifulSoup
import re
import urllib.request, urllib.error
import xlwt

# 定义正则表达式模式
findLink = re.compile(r'<a href="(.*?)">')
findImgSrc = re.compile(r'<img.*src="(.*?)"', re.S)
findTitle = re.compile(r'<span class="title">(.*)</span>')
findRating = re.compile(r'<span class="rating_num" property="v:average">(.*)</span>')
findJudge = re.compile(r'<span>(\d*)人评价</span>')
findInq = re.compile(r'<span class="inq">(.*)</span>')
findBd = re.compile(r'<p class="">(.*?)</p>', re.S)

def main():
    baseurl = "https://movie.douban.com/top250?start="
    datalist = getData(baseurl)
    savepath = "豆瓣电影 Top250.xls"
    saveData(datalist, savepath)

def getData(baseurl):
    datalist = []
    for i in range(0, 10):  # 共 10 页，每页 25 条
        url = baseurl + str(i * 25)
        html = askURL(url)
        soup = BeautifulSoup(html, "html.parser")
        for item in soup.find_all('div', class_="item"):
            data = []
            item_str = str(item)
            
            # 提取链接
            link = re.findall(findLink, item_str)[0]
            data.append(link)
            
            # 提取图片
            imgSrc = re.findall(findImgSrc, item_str)[0]
            data.append(imgSrc)
            
            # 提取标题
            titles = re.findall(findTitle, item_str)
            if len(titles) == 2:
                ctitle = titles[0]
                otitle = titles[1].replace("/", "")
                data.append(ctitle)
                data.append(otitle)
            else:
                data.append(titles[0])
                data.append(' ')
            
            # 提取评分
            rating = re.findall(findRating, item_str)[0]
            data.append(rating)
            
            # 提取评价数
            judgeNum = re.findall(findJudge, item_str)[0]
            data.append(judgeNum)
            
            # 提取简介
            inq = re.findall(findInq, item_str)
            if len(inq) != 0:
                inq = inq[0].replace("。", "")
                data.append(inq)
            else:
                data.append(" ")
            
            # 提取概况
            bd = re.findall(findBd, item_str)[0]
            bd = re.sub('<br(\s+)?/>(\s+)?', "", bd)
            bd = re.sub('/', "", bd)
            data.append(bd.strip())
            
            datalist.append(data)
    return datalist

def askURL(url):
    head = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36"
    }
    request = urllib.request.Request(url, headers=head)
    html = ""
    try:
        response = urllib.request.urlopen(request)
        html = response.read().decode("utf-8")
    except urllib.error.URLError as e:
        if hasattr(e, "code"):
            print(f"Error Code: {e.code}")
        if hasattr(e, "reason"):
            print(f"Reason: {e.reason}")
    return html

def saveData(datalist, savepath):
    book = xlwt.Workbook(encoding="utf-8", style_compression=0)
    sheet = book.add_sheet('豆瓣电影 Top250', cell_overwrite_ok=True)
    col = ("电影详情链接", "图片链接", "影片中文名", "影片外国名", "评分", "评价数", "概况", "相关信息")
    
    # 写入表头
    for i in range(0, 8):
        sheet.write(0, i, col[i])
    
    # 写入数据
    for i in range(0, 250):
        data = datalist[i]
        for j in range(0, 8):
            sheet.write(i + 1, j, data[j])
    
    book.save(savepath)

if __name__ == "__main__":
    main()

代码详解

1. 请求发送 (askURL)

使用 urllib.request 构建请求对象。关键点在于设置 User-Agent 头部信息。如果不设置，服务器可能识别出非浏览器流量而拒绝服务（例如返回 418 状态码）。

2. 数据解析 (getData)

• BeautifulSoup：将 HTML 字符串转换为可遍历的对象，通过 find_all 定位特定标签。
• 正则表达式：针对复杂的嵌套结构或属性提取，使用 re.compile 预编译模式以提高效率。
• 循环逻辑：豆瓣 Top250 分 10 页展示，通过 start 参数控制偏移量（0, 25, 50...）。

3. 数据存储 (saveData)

使用 xlwt 库创建 Excel 工作簿。注意编码格式设置为 utf-8 以防止中文乱码。数据按行列对应写入。

注意事项与最佳实践

在实际爬虫开发中，除了基础功能，还需考虑以下问题：

1. 反爬策略：

   • 设置合理的 User-Agent。
   • 添加随机延时 time.sleep()，避免请求过快被封禁 IP。
   • 必要时使用代理 IP 池。

2. 异常处理：

   • 捕获 URLError 和 HTTPError，确保程序在断网或服务器错误时不会崩溃。
   • 对解析到的数据进行空值检查，防止因页面结构变动导致程序报错。

3. 爬虫伦理：

   • 遵守网站的 robots.txt 协议。
   • 不要抓取个人隐私数据。
   • 控制访问频率，减轻目标服务器压力。

4. 技术选型优化：

   • 现代开发中，推荐使用 requests 库替代 urllib，API 更友好。
   • 对于动态加载页面，可能需要结合 Selenium 或 Playwright 等自动化工具。

总结

本文通过 Python 实现了基础的网页爬虫，完成了从请求、解析到存储的完整流程。掌握这一技能有助于快速收集公开数据，为数据分析、监控或研究提供支持。初学者应在此基础上进一步学习异步请求、验证码处理及更高级的反爬对抗技术。