Python 与大模型结合实现网页数据爬虫实战

第二步：HTML 解析与数据定位

使用 BeautifulSoup 解析返回的 HTML 文本。豆瓣电影榜单页面的结构相对固定，我们可以使用 CSS 选择器定位电影条目。

if movies_html:
    soup = BeautifulSoup(movies_html, 'html.parser')
    # 定位电影列表容器
    movie_items = soup.select('#wrapper #content .article .item')
    
    # 仅提取前两部电影作为示例
    target_movies = movie_items[:2]
    all_movies_text = ''.join([movie.prettify() for movie in target_movies])
    
    print("Extracted HTML Preview:")
    print(all_movies_text[:500])
else:
    print("No data retrieved.")

第三步：大模型 Prompt 设计

为了让大模型准确提取信息，我们需要设计清晰的 Prompt。Prompt 应包含原始数据、任务描述以及输出格式要求。

prompt = f"""
以下是豆瓣电影页面的部分 HTML 内容：
{all_movies_text}

请从中提取以下字段：
- name: 电影名称
- picture: 封面图片链接
- info: 剧情简介
- score: 评分
- commentsNumber: 评论人数

要求：
1. 只提取前两部电影的完整信息。
2. 属性名必须使用括号内的英文单词。
3. 以标准的 JSON 数组格式返回，不要包含 Markdown 标记。
"""
print(prompt)

第四步：调用 Qwen Turbo 模型

集成阿里云 Dashscope SDK，配置 API Key 并发起对话请求。注意在实际生产中，API Key 不应硬编码在代码中，建议使用环境变量管理。

# 替换为你的实际 API Key
# 建议通过 os.environ.get('DASHSCOPE_API_KEY') 获取
dashscope.api_key = 'sk-xxxxxxxxxxxxxxxxxxxxxx' 

def call_qwen_with_prompt():
    messages = [
        {'role': 'user', 'content': prompt}
    ]
    
    try:
        response = Generation.call(
            model=Generation.Models.qwen_turbo,
            messages=messages,
            result_format='message'
        )
        
        if response.status_code == 200:
            content = response.output.choices[0].message.content
            print("Model Response:")
            print(content)
            return content
        else:
            print(f"API Error: {response.code} - {response.message}")
            return None
    except Exception as e:
        print(f"Exception occurred: {e}")
        return None

llm_output = call_qwen_with_prompt()

第五步：结果清洗与存储

大模型返回的内容可能包含 Markdown 代码块标记（如 ```json），需要清洗后才能解析为 Python 对象。

if llm_output:
    import re
    # 移除 markdown 标记
    clean_json_str = re.sub(r'^```json\s*|\s*```$', '', llm_output.strip(), flags=re.MULTILINE)
    try:
        data = json.loads(clean_json_str)
        print("Parsed Data:")
        print(json.dumps(data, ensure_ascii=False, indent=2))
    except json.JSONDecodeError as e:
        print(f"JSON Parsing Error: {e}")

Python 与 JavaScript 爬虫对比

在 Web 爬虫开发领域，Python 和 Node.js (JavaScript) 是最常用的两种技术栈。以下是两者的详细对比：

1. 执行环境与生态

• Python：通用性强，拥有庞大的科学计算和数据科学生态（Pandas, NumPy）。爬虫库如 Scrapy, Requests 成熟稳定。
• JavaScript (Node.js)：原生异步支持好，适合高并发 I/O 场景。生态中有 Puppeteer, Playwright 等强大的无头浏览器控制库。

2. 语法特性

• Python：语法简洁，强调可读性，使用缩进表示代码块。动态类型，但支持类型注解。
• JavaScript：事件驱动，基于回调、Promise 和 Async/Await 处理异步操作。原型继承机制独特。

3. 异步编程

• Python：标准库 asyncio 支持异步 IO，配合 aiohttp 可实现高性能爬虫。多线程/多进程也常用于绕过 GIL 限制。
• JavaScript：单线程事件循环模型，天然适合处理大量并发连接，无需额外线程开销。

4. 类型系统

• Python：强类型语言，变量赋值即确定类型，转换需显式进行。
• JavaScript：弱类型语言，类型可动态改变，灵活性高但易引发运行时错误。

最佳实践与注意事项

1. 遵守 Robots 协议

在爬取任何网站前，请务必检查 robots.txt 文件，确认是否允许爬取特定路径。尊重网站的反爬策略是开发者的基本素养。

2. 请求频率控制

避免在短时间内发送大量请求导致 IP 被封禁。建议在请求间添加随机延时。

import random
import time

time.sleep(random.uniform(1, 3))

3. 异常处理与重试

网络请求具有不稳定性，应增加重试机制。可以使用 tenacity 库或自定义装饰器来实现自动重试。

4. 数据安全与隐私

提取的数据若涉及用户隐私，需严格遵守相关法律法规。不要在公开渠道传播敏感信息。

总结

本文详细介绍了如何利用 Python 结合大模型技术实现智能化的网页数据爬虫。通过 Google Colab 快速搭建环境，使用 requests 和 BeautifulSoup 获取原始数据，再借助 Qwen Turbo 模型将非结构化 HTML 转化为结构化 JSON。相比传统爬虫，这种方法在处理复杂页面结构时更加灵活高效。同时，我们也对比了 Python 与 JavaScript 的技术差异，帮助读者根据项目需求选择合适的技术栈。掌握这一流程，将大大提升数据获取与处理的效率。

在未来的开发中，可以进一步探索 Selenium 或 Playwright 等无头浏览器方案来处理动态渲染页面，并结合 LangChain 框架构建更复杂的大模型应用工作流。