Python算法
Python 网络爬虫基础教程：豆瓣电影 Top250 数据抓取实战
本文介绍 Python 网络爬虫的基本概念与工作原理，通过爬取豆瓣电影 Top250 的实战案例，详细讲解环境搭建、请求发送、HTML 解析及数据存储流程。内容涵盖 urllib、BeautifulSoup 等库的使用，正则表达式匹配技巧，以及异常处理机制，帮助初学者掌握从网页获取数据并保存为 Excel 或数据库的方法。同时补充了反爬策略、频率控制及合规性注意事项，提供完整的入门指南。
本文介绍 Python 网络爬虫的基本概念与工作原理，通过爬取豆瓣电影 Top250 的实战案例，详细讲解环境搭建、请求发送、HTML 解析及数据存储流程。内容涵盖 urllib、BeautifulSoup 等库的使用，正则表达式匹配技巧，以及异常处理机制，帮助初学者掌握从网页获取数据并保存为 Excel 或数据库的方法。同时补充了反爬策略、频率控制及合规性注意事项，提供完整的入门指南。
网络爬虫（Web Crawler），又称网页蜘蛛或网络机器人，是一种按照一定规则自动抓取互联网信息的程序。它模拟浏览器发送网络请求，接收响应数据，并从中提取所需信息。
原则上，只要是浏览器能做的事情，爬虫理论上都能做。爬虫广泛应用于数据采集、舆情监控、竞品分析等领域。
在互联网大数据时代，信息获取虽然自由，但海量数据中往往夹杂着大量无效垃圾信息。例如新浪微博每天产生数亿条状态更新，搜索引擎返回的结果也数以亿计。
如何从碎片化信息中筛选出对自己有用的内容？答案是数据清洗与分析。网络爬虫技术能够自动化完成这一过程，无论是生活服务、出行旅行、金融投资还是制造业产品需求，都可以通过爬虫获取精准有效的信息加以利用。
虽然 PHP、Java、C++ 等语言都可以编写爬虫，但 Python 因其语法简洁、库丰富且功能齐全，成为爬虫开发的首选语言。
建议下载官方最新稳定版本（如 Python 3.8+）。安装时请勾选 "Add Python to PATH"。
推荐使用 PyCharm 或 VS Code 作为集成开发环境（IDE）。
运行爬虫通常需要以下第三方库，可通过 pip 命令安装：
pip install beautifulsoup4 xlwt requests
urllib。本项目目标是从豆瓣电影官网爬取 Top250 榜单的详细信息，包括电影链接、评分、简介等，并保存为 Excel 文件。
爬取字段:
以下是完整的爬虫代码，包含注释说明。
# -*- coding: utf-8 -*-
import re
from bs4 import BeautifulSoup
import urllib.request
import urllib.error
import xlwt
# 定义正则表达式对象
findLink = re.compile(r'<a href="(.*?)">')
findImgSrc = re.compile(r'<img.*src="(.*?)"', re.S)
findTitle = re.compile(r'<span class="title">(.*)</span>')
findRating = re.compile(r'<span class="rating_num" property="v:average">(.*)</span>')
findJudge = re.compile(r'<span>(\d*)人评价</span>')
findInq = re.compile(r'<span class="inq">(.*)</span>')
findBd = re.compile(r'<p class="">(.*?)</p>', re.S)
def main():
baseurl = "https://movie.douban.com/top250?start="
# 1. 爬取网页
datalist = getData(baseurl)
savepath = "豆瓣电影 Top250.xls"
# 2. 保存数据
saveData(datalist, savepath)
print("爬取完毕！")
def getData(baseurl):
datalist = []
for i in range(0, 10): # 共 10 页，每页 25 条
url = baseurl + str(i * 25)
html = askURL(url)
soup = BeautifulSoup(html, "html.parser")
for item in soup.find_all('div', class_="item"):
data = []
item = str(item)
# 提取链接
link = re.findall(findLink, item)[0]
data.append(link)
# 提取图片
imgSrc = re.findall(findImgSrc, item)[0]
data.append(imgSrc)
# 提取标题
titles = re.findall(findTitle, item)
if len(titles) == 2:
ctitle = titles[0]
otitle = titles[1].replace("/", "")
data.append(ctitle)
data.append(otitle)
else:
data.append(titles[0])
data.append(' ')
# 提取评分
rating = re.findall(findRating, item)[0]
data.append(rating)
# 提取评价数
judgeNum = re.findall(findJudge, item)[0]
data.append(judgeNum)
# 提取剧情简介
inq = re.findall(findInq, item)
if len(inq) != 0:
inq = inq[0].replace("。", "")
data.append(inq)
else:
data.append(" ")
# 提取其他信息
bd = re.findall(findBd, item)[0]
bd = re.sub('<br(\s+)?/>(\s+)?', "", bd)
bd = re.sub('/', "", bd)
data.append(bd.strip())
datalist.append(data)
return datalist
def askURL(url):
head = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36"
}
request = urllib.request.Request(url, headers=head)
html = ""
try:
response = urllib.request.urlopen(request)
html = response.read().decode("utf-8")
except urllib.error.URLError as e:
if hasattr(e, "code"):
print(f"错误代码：{e.code}")
if hasattr(e, "reason"):
print(f"错误原因：{e.reason}")
return html
def saveData(datalist, savepath):
print("save.......")
book = xlwt.Workbook(encoding="utf-8", style_compression=0)
sheet = book.add_sheet('豆瓣电影 Top250', cell_overwrite_ok=True)
col = ("电影详情链接", "图片链接", "影片中文名", "影片外国名", "评分", "评价数", "概况", "相关信息")
for i in range(0, 8):
sheet.write(0, i, col[i])
for i in range(0, 250):
data = datalist[i]
for j in range(0, 8):
sheet.write(i + 1, j, data[j])
book.save(savepath)
if __name__ == "__main__":
main()
文件头部 # -*- coding: utf-8 -*- 确保脚本以 UTF-8 编码运行，防止中文乱码。
使用 re 模块编译正则对象，用于从 HTML 源码中提取特定标签内的文本。例如 findTitle 匹配 <span class="title"> 中的内容。
askURL 函数发送 HTTP 请求，获取网页源码。BeautifulSoup 解析 HTML 树结构，结合正则表达式提取具体字段。xlwt 库将列表数据写入 Excel 表格。在 askURL 函数中设置了 User-Agent 头信息。如果不设置，服务器可能识别出是爬虫请求而拒绝服务（例如返回 418 I'm a teapot 错误）。伪装成主流浏览器（Chrome）可以有效降低被反爬机制拦截的风险。
代码默认将数据保存为 .xls 格式。如果需要持久化存储，可取消注释数据库操作部分（需安装 sqlite3），将数据存入本地 SQLite 数据库。
实际开发中应增加更完善的异常捕获机制，例如处理网络超时、连接重置等情况，保证程序的健壮性。
在爬取任何网站前，建议查看其 robots.txt 协议（如 https://movie.douban.com/robots.txt），确认是否允许爬取相关路径，尊重版权与网站规则。
避免在短时间内发送过多请求导致服务器压力过大。建议在循环中加入 time.sleep() 延时，例如每次请求间隔 1 秒。
大型网站通常有 IP 限制、验证码等反爬措施。对于复杂场景，可能需要使用代理 IP 池或 Selenium 等自动化工具进行应对。
本文通过豆瓣电影 Top250 案例，完整演示了 Python 爬虫的开发流程。掌握了 urllib 请求、BeautifulSoup 解析及 xlwt 存储后，即可举一反三，应用于各类数据采集任务。学习 Python 爬虫不仅能提升数据处理能力，也为后续从事数据分析、人工智能等工作打下坚实基础。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online
将 HTML 片段转为 GitHub Flavored Markdown，支持标题、列表、链接、代码块与表格等；浏览器内处理，可链接预填。 在线工具，HTML转Markdown在线工具，online