本文介绍如何使用 Python 编写网络爬虫，以抓取豆瓣电影 Top250 数据为例。内容涵盖爬虫基本概念、环境搭建、核心代码解析（包括请求发送、HTML 解析、数据存储）以及反爬策略应对。通过 BeautifulSoup 和正则表达式提取信息，并将结果保存至 Excel 文件，适合零基础学习者参考。重点讲解了 User-Agent 伪装、异常处理及爬虫伦理规范。
网络爬虫（Web Crawler），又称网页蜘蛛或网络机器人，是一种按照一定规则自动抓取互联网信息的程序。它模拟浏览器发送网络请求，接收响应并解析数据。
原则上，只要是浏览器能做的事情，爬虫理论上都能做。在大数据时代，信息获取自由了，但同时也伴随着海量无效垃圾信息。如何从碎片化信息中筛选出有价值的内容？答案是利用技术手段进行自动化收集与分析。
虽然多种语言（如 PHP, Java, C#, C++）都可以编写爬虫，但 Python 因其语法简洁、库丰富而成为首选。
urllib：标准库，用于发送 HTTP 请求。BeautifulSoup4：用于 HTML/XML 解析。re：标准库，用于正则表达式匹配。xlwt：用于将数据写入 Excel 文件。sqlite3：可选，用于数据库存储。本案例以爬取豆瓣电影 Top250 榜单为例，目标是将电影详情链接、图片、名称、评分等信息保存至本地。
# -*- coding: utf-8 -*-
from bs4 import BeautifulSoup
import re
import urllib.request, urllib.error
import xlwt
# 定义正则表达式模式
findLink = re.compile(r'<a href="(.*?)">')
findImgSrc = re.compile(r'<img.*src="(.*?)"', re.S)
findTitle = re.compile(r'<span class="title">(.*)</span>')
findRating = re.compile(r'<span class="rating_num" property="v:average">(.*)</span>')
findJudge = re.compile(r'<span>(\d*)人评价</span>')
findInq = re.compile(r'<span class="inq">(.*)</span>')
findBd = re.compile(r'<p class="">(.*?)</p>', re.S)
def main():
baseurl = "https://movie.douban.com/top250?start="
datalist = getData(baseurl)
savepath = "豆瓣电影 Top250.xls"
saveData(datalist, savepath)
def getData(baseurl):
datalist = []
for i in range(0, 10): # 共 10 页，每页 25 条
url = baseurl + str(i * 25)
html = askURL(url)
soup = BeautifulSoup(html, "html.parser")
for item in soup.find_all('div', class_="item"):
data = []
item_str = str(item)
# 提取链接
link = re.findall(findLink, item_str)[0]
data.append(link)
# 提取图片
imgSrc = re.findall(findImgSrc, item_str)[0]
data.append(imgSrc)
# 提取标题
titles = re.findall(findTitle, item_str)
if len(titles) == 2:
ctitle = titles[0]
otitle = titles[1].replace("/", "")
data.append(ctitle)
data.append(otitle)
else:
data.append(titles[0])
data.append(' ')
# 提取评分
rating = re.findall(findRating, item_str)[0]
data.append(rating)
# 提取评价数
judgeNum = re.findall(findJudge, item_str)[0]
data.append(judgeNum)
# 提取简介
inq = re.findall(findInq, item_str)
if len(inq) != 0:
inq = inq[0].replace("。", "")
data.append(inq)
else:
data.append(" ")
# 提取概况
bd = re.findall(findBd, item_str)[0]
bd = re.sub('<br(\s+)?/>(\s+)?', "", bd)
bd = re.sub('/', "", bd)
data.append(bd.strip())
datalist.append(data)
return datalist
def askURL(url):
head = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36"
}
request = urllib.request.Request(url, headers=head)
html = ""
try:
response = urllib.request.urlopen(request)
html = response.read().decode("utf-8")
except urllib.error.URLError as e:
if hasattr(e, "code"):
print(f"Error Code: {e.code}")
if hasattr(e, "reason"):
print(f"Reason: {e.reason}")
return html
def saveData(datalist, savepath):
book = xlwt.Workbook(encoding="utf-8", style_compression=0)
sheet = book.add_sheet('豆瓣电影 Top250', cell_overwrite_ok=True)
col = ("电影详情链接", "图片链接", "影片中文名", "影片外国名", "评分", "评价数", "概况", "相关信息")
# 写入表头
for i in range(0, 8):
sheet.write(0, i, col[i])
# 写入数据
for i in range(0, 250):
data = datalist[i]
for j in range(0, 8):
sheet.write(i + 1, j, data[j])
book.save(savepath)
if __name__ == "__main__":
main()
使用 urllib.request 构建请求对象。关键点在于设置 User-Agent 头部信息。如果不设置，服务器可能识别出非浏览器流量而拒绝服务（例如返回 418 状态码）。
find_all 定位特定标签。re.compile 预编译模式以提高效率。start 参数控制偏移量（0, 25, 50...）。使用 xlwt 库创建 Excel 工作簿。注意编码格式设置为 utf-8 以防止中文乱码。数据按行列对应写入。
在实际爬虫开发中，除了基础功能，还需考虑以下问题：
反爬策略：
User-Agent。time.sleep()，避免请求过快被封禁 IP。异常处理：
URLError 和 HTTPError，确保程序在断网或服务器错误时不会崩溃。爬虫伦理：
robots.txt 协议。技术选型优化：
requests 库替代 urllib，API 更友好。本文通过 Python 实现了基础的网页爬虫，完成了从请求、解析到存储的完整流程。掌握这一技能有助于快速收集公开数据，为数据分析、监控或研究提供支持。初学者应在此基础上进一步学习异步请求、验证码处理及更高级的反爬对抗技术。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online
将 HTML 片段转为 GitHub Flavored Markdown，支持标题、列表、链接、代码块与表格等；浏览器内处理，可链接预填。 在线工具，HTML转Markdown在线工具，online