本文探讨了大型语言模型在爬虫数据提取领域的应用与实践。通过豆瓣电影列表的实测案例，展示了如何利用 Prompt 工程替代传统的 XPath 或 JS 逆向技术，将非结构化 HTML 转换为 JSON 数据。文章对比了两种技术路线在开发难度、维护成本及准确率上的差异，并提供了基于 Python 的完整代码实现框架。同时分析了当前方案在稳定性、隐私合规及成本控制方面的局限性，提出了混合架构与数据校验的最佳实践。结论指出，大模型不会完全取代爬虫工程师，而是推动其向数据治理与架构设计转型，掌握 AI 工具将成为未来技术人员的核心竞争力。
随着人工智能技术的飞速发展，大型语言模型（LLM）在自然语言理解、代码生成及非结构化数据处理方面展现出了惊人的能力。最近在学习大模型相关知识时，我意识到 Prompt（提示词）工程不仅可以用于对话，还能高效地完成数据提取任务。如果让大模型直接处理 HTML 代码并输出结构化数据，传统的爬虫工程师是否还需要掌握复杂的 JS 逆向和 XPath 选择器？
为了验证这一想法，我们选取了豆瓣电影列表页面的 HTML 代码作为测试样本。传统爬虫需要编写 CSS 选择器或正则表达式来定位标题、评分、简介等字段，而使用大模型则只需提供清晰的指令。
以下是从目标页面获取的部分 HTML 结构（已做简化处理）：
<div class="indent">
<table width="100%" class="">
<tbody>
<tr class="item">
<td width="100" valign="top">
<a class="nbg" href="https://movie.douban.com/subject/34453198/" title="梦境">
<img src="https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2910694617.webp" width="75" alt="梦境" class="">
</a>
</td>
<td valign="top">
<div class="pl2">
<a href="https://movie.douban.com/subject/34453198/" class="">
梦境
/ <span style="font-size:13px;">仙境 / Wonderland</span>
</a>
<p class="pl">2024-06-05(韩国) / 汤唯 / 裴秀智 / ... / 剧情 / 爱情 / 科幻</p>
<div class="star clearfix">
<span class="rating_nums">6.4</span>
<span class="pl">(6899 人评价)</span>
</div>
</div>
</td>
</tr>
</tbody>
</table>
</div>
我们编写了一个简洁的 Prompt，要求模型提取特定字段并以 JSON 格式返回：
这是一段电影列表 HTML 代码，请解析并提取以下信息：
1. 电影名 (name)
2. 封面链接 (picture)
3. 简介 (info)
4. 评分 (score)
5. 评论人数 (commentsNumber)
请使用小写英文单词作为属性名，以 JSON 数组的格式返回，不要包含其他解释性文字。
将 HTML 与 Prompt 发送给主流大模型（如国内主流模型或 ChatGPT 系列），均能准确提取出结构化数据：
[
{
"name": "梦境",
"picture": "https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2910694617.webp",
"info": "2024-06-05(韩国) / 汤唯 / 裴秀智 / ... / 剧情 / 爱情 / 科幻",
"score": "6.4",
"commentsNumber": "6899 人评价"
},
{
"name": "犯罪都市 4",
"picture": "https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2903301473.webp",
"info": "2024-02-23(柏林电影节) / ... / 动作 / 犯罪 / 惊悚",
"score": "6.6",
"commentsNumber": "23916 人评价"
}
]
| 维度 | 传统爬虫 (XPath/CSS/JS 逆向) | 大模型辅助爬虫 |
|---|---|---|
| 开发难度 | 高，需熟悉 DOM 结构与反爬机制 | 低，主要依赖 Prompt 工程 |
| 维护成本 | 高，页面结构变动需重写规则 | 中，Prompt 可复用性强 |
| 准确率 | 极高（确定性逻辑） | 较高（存在幻觉风险） |
| 响应速度 | 快（毫秒级） | 慢（秒级至分钟级） |
| 成本 | 服务器资源为主 | API 调用费用 + Token 消耗 |
测试结果显示，对于非实时、非高频的结构化数据提取需求，大模型确实大幅降低了技术门槛。过去爬虫工程师需要花费大量时间研究 JS 逆向加密参数、Cookie 验证等复杂流程，而现在可能只需要关注如何获取干净的 HTML 内容以及优化 Prompt 质量。
但这并不意味着爬虫岗位会消失，而是角色发生了转变：
虽然大模型降低了规则编写的难度，但自动化流程仍需通过代码串联。以下是一个基于 Python 的简易实现框架，展示了如何集成 HTTP 请求与大模型 API。
pip install requests openai
import requests
import json
from openai import OpenAI
# 初始化客户端 (根据实际服务商配置)
client = OpenAI(
api_key="YOUR_API_KEY",
base_url="https://api.example.com/v1"
)
def fetch_html(url):
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
}
response = requests.get(url, headers=headers, timeout=10)
return response.text
def extract_with_llm(html_content):
prompt = """
这是一个电影列表的 HTML 片段，请提取每部电影的 name, picture, info, score, commentsNumber。
返回标准 JSON 数组格式，不要 Markdown 标记。
HTML:
{}""".format(html_content[:5000]) # 限制输入长度
try:
completion = client.chat.completions.create(
model="gpt-3.5-turbo", # 或国内模型 ID
messages=[{"role": "user", "content": prompt}]
)
content = completion.choices[0].message.content
# 清理可能的 Markdown 标记
content = content.replace("```json", "").replace("```", "")
return json.loads(content)
except Exception as e:
print(f"Error: {e}")
return []
if __name__ == "__main__":
url = "https://movie.douban.com/top250?start=0"
html = fetch_html(url)
data = extract_with_llm(html)
(json.dumps(data, ensure_ascii=, indent=))
尽管大模型展现了强大的潜力，但在生产环境中直接使用仍存在风险。
大模型的输出具有概率性，偶尔会出现字段缺失或格式错误。建议在代码层增加健壮性校验，例如使用 Pydantic 进行数据模型验证，失败后触发重试机制。
在使用第三方大模型服务时，需注意数据隐私政策。敏感数据不应明文传输给公共 API。对于企业级应用，建议部署私有化大模型或使用支持数据不出域的云服务。
大模型正在重塑数据采集的技术栈。它并非要完全取代传统爬虫，而是提供了一种更灵活、更低成本的补充方案。未来的爬虫工程师需要同时具备网络协议知识、前端分析能力以及 AI 应用能力。
对于个人开发者而言，利用 LLM 快速构建原型、处理非标准化数据源已成为提升效率的关键技能。而对于企业，探索'传统爬虫 + 大模型'的混合架构，将是应对日益复杂的网页结构和海量数据需求的重要方向。无论技术如何演进，对数据的理解与价值挖掘始终是核心所在。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online