本文对比了传统爬虫编程与基于 AI 大模型（如通义千问、OpenAI）的爬虫实现方式。通过豆瓣电影数据爬取示例，展示了使用 Cheerio 和 BeautifulSoup 的传统流程，以及利用 Prompt 工程让大模型解析 HTML 并提取结构化数据的方案。文章还分析了 Python 与 JavaScript 在异步处理、类型系统及生态上的差异，探讨了 AI 辅助编程如何提升开发效率及扩展情感分析等智能功能的可能性，并补充了提示词优化、安全合规及错误处理的最佳实践。
网络爬虫（Web Crawler）是自动化获取网页数据的核心技术，主要依靠编写代码解析网页结构并模拟浏览器行为。随着人工智能技术的发展，尤其是大型语言模型（LLM）的兴起，为爬虫技术带来了新的范式。与传统的硬编码模式不同，结合 AI 大模型与提示词工程（Prompt Engineering），可以显著提高开发效率，实现更智能的数据解析和提取。
在深入讲解之前，我们需要明确爬虫的基本流程。以爬取豆瓣电影 Top250 数据为例，目标是从 HTML 结构中定位并提取电影名称、评分、简介等信息。
传统编程方式通常遵循以下步骤：
requests 或 JavaScript 的 axios）向目标 URL 发送请求。以下是一个基于 Node.js 环境爬取豆瓣电影 Top250 的完整示例，使用了 request-promise 和 cheerio。
// 引入所需模块
const request = require('request-promise');
const cheerio = require('cheerio');
const fs = require('fs').promises;
// 存储电影信息的数组
let movies = [];
// 豆瓣电影 Top250 的基础 URL
const basicUrl = 'https://movie.douban.com/top250';
// 解析电影信息的函数
function getMovieInfo(node) {
const $ = cheerio.load(node);
// 选择标题元素
const titles = $('.info .hd span').map((i, el) => $(el).text()).get();
const bd = $('.info .bd');
// 提取电影信息
const info = bd.find('p').text().trim();
// 提取评分
const score = bd.find('.star .rating_num').text().trim();
return { titles: titles[0] || '', info, score };
}
// 获取页面数据的异步函数
async function getPage(url, num) {
try {
const html = await request({ url });
console.log(`正在爬取第${num + 1}页数据`);
const $ = cheerio.load(html);
const movieNodes = $('#content .article .grid_view .item');
const movieList = [];
movieNodes.each((i, node) => {
movieList.push(getMovieInfo(node));
});
return movieList;
} catch (error) {
console.error(`Page ${num} failed:`, error.message);
return [];
}
}
// 主函数
async function main() {
const count = 25; // 要爬取的页数
let list = [];
for (let i = 0; i < count; i++) {
const url = `${basicUrl}?start=${25 * i}`;
const pageData = await getPage(url, i);
list.push(...pageData);
// 建议添加延时以避免被封禁
await new Promise(resolve => setTimeout(resolve, 1000));
}
console.log(`共获取 ${list.length} 条数据`);
// 将结果写入到 JSON 文件
await fs.writeFile('./output.json', JSON.stringify(list, null, 2), 'utf-8');
console.log('生成 json 文件成功！');
}
main().catch(console.error);
利用大模型 API，可以将部分复杂的解析逻辑转化为自然语言指令，降低对 DOM 结构的依赖，提高灵活性。
此示例演示了如何结合 Python 爬虫与大模型 API 进行数据提取。
import requests
from bs4 import BeautifulSoup
import dashscope
import json
# 设置 API Key（请替换为您的实际密钥）
dashscope.api_key = 'YOUR_API_KEY'
def fetch_movie_list(url):
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'
}
response = requests.get(url, headers=headers, timeout=10)
if response.status_code == 200:
soup = BeautifulSoup(response.text, 'html.parser')
# 仅提取前几部电影作为上下文，节省 Token
movies = soup.select('#wrapper #content .article .item')[:2]
all_movies_text = ''.join([movie.prettify() for movie in movies])
return all_movies_text
else:
print("Failed to retrieve content")
return ""
url = 'https://movie.douban.com/chart'
movies_html = fetch_movie_list(url)
# 构建提示信息
prompt = f"""
这是一个电影列表的 HTML 片段：
{movies_html}
任务：从中提取电影名（name）、封面链接（picture）、简介（info）、评分（score）、评论人数（commentsNumber）。
要求：只返回一个标准的 JSON 数组，不要包含 Markdown 格式或其他解释性文字。
"""
def call_qwen_with_prompt():
messages = [
{'role': 'user', 'content': prompt}
]
try:
response = dashscope.Generation.call(
model=dashscope.Generation.Models.qwen_turbo,
messages=messages
)
if response.status_code == 200:
result = response.output.choices[].message.content
data = json.loads(result)
(data)
:
()
Exception e:
()
call_qwen_with_prompt()
除了数据提取，大模型还可以用于非结构化数据的分析，例如情感判断。
openai SDK 和 dotenv 管理密钥。const OpenAI = require('openai');
require('dotenv').config();
const client = new OpenAI({
apiKey: process.env.OPENAI_API_KEY,
baseURL: 'https://api.chatanywhere.tech/v1' // 代理地址示例
});
async function analyzeSentiment() {
const prompt = `
判断一下的用户情感是正面还是负面的
评论：买的银色版真的好看，一天就到了，晚上就开始拿起来玩，系统很丝滑流畅，做工扎实，手感细腻，很精致哦，华为一如既往好品质
情感：正面
评论：随意降价，不予保价，服务态度差
情感：负面
评论：小狗很可爱，但是动物毛发过敏
情感:
`;
const chatCompletions = await client.chat.completions.create({
model: 'gpt-3.5-turbo',
messages: [{ role: 'user', content: prompt }],
n: 1,
});
console.log(chatCompletions.choices[0].message.content);
}
analyzeSentiment();
在实际开发中，选择哪种语言取决于项目需求。以下是两者的主要区别：
| 特性 | Python | JavaScript |
|---|---|---|
| 语言类型 | 通用编程语言，语法简洁，适合脚本和数据分析 | Web 开发主导，全栈能力，前端交互必备 |
| 编程范式 | 支持多范式（面向过程、面向对象、函数式） | 面向对象为主，支持函数式编程 |
| 异步编程 | 使用 asyncio，模型相对复杂 | 原生支持 Promise 和 async/await，生态成熟 |
| 类型系统 | 动态强类型 | 动态弱类型，推断能力强 |
| 爬虫生态 | requests, scrapy, selenium 极其丰富 | axios, cheerio, puppeteer 表现优秀 |
对于 AI 集成场景，Python 拥有更丰富的 LLM 库（如 LangChain, HuggingFace），而 JavaScript 在 Web 端直接调用 API 更为便捷。
在使用大模型进行爬虫时，Prompt 的质量直接影响结果稳定性。
本文对比了传统爬虫编程与基于 AI 大模型的爬虫实现方式。通过豆瓣电影数据爬取示例，展示了使用 Cheerio 和 BeautifulSoup 的传统流程，以及利用 Prompt 工程让大模型解析 HTML 并提取结构化数据的方案。文章还分析了 Python 与 JavaScript 在异步处理、类型系统及生态上的差异，探讨了 AI 辅助编程如何提升开发效率及扩展情感分析等智能功能的可能性。未来，随着模型能力的增强，AI 将在数据清洗、反爬对抗等领域发挥更大作用。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online