基于 steamdt_crawler.py 项目学习 Python 爬虫实战

• 避免提取到环比数据等干扰项
• 通过位置判断数据类型

3. 多级板块数据解析

• 板块结构：热门板块 → 一级板块 → 二级板块 → 三级板块
• 数据格式：排名 + 名称 + 涨跌幅
• 去重机制：使用 set() 避免重复数据

四、错误处理与调试

1. 异常捕获

try:
    # 可能出错的操作
except PlaywrightTimeoutError:
    print("[WARNING] 页面加载超时")
except Exception as e:
    print(f"[ERROR] 其他错误：{e}")
    traceback.print_exc()

• 区分不同类型的异常
• 使用 traceback.print_exc() 打印完整堆栈

2. 调试信息输出

debug_filename = f"debug_page_{datetime.now().strftime('%Y%m%d_%H%M%S')}.txt"
with open(debug_filename, 'w', encoding='utf-8') as f:
    f.write(page_text)

• 将页面内容保存到文件，便于分析网页结构
• 使用时间戳命名，避免覆盖

五、数据存储与管理

1. JSON 格式存储

with open(filename, 'w', encoding='utf-8') as f:
    json.dump(data, f, ensure_ascii=False, indent=2)

• ensure_ascii=False：保留中文字符
• indent=2：格式化输出，便于阅读

2. 文件管理

old_files = glob.glob("steamdt_data_*.json")
old_files.sort(key=os.path.getmtime, reverse=True)

• 使用 glob 查找匹配的文件
• 按修改时间排序，保留最新文件
• 自动清理旧数据文件

六、代码结构与设计模式

1. 面向对象编程

• 类封装：SteamDTCrawler 类封装所有爬虫功能
• 上下文管理器：__enter__ 和 __exit__ 管理资源
• 类型注解：提高代码可读性和 IDE 提示

2. 模块化设计

• 分离关注点：
  • extract_market_stats()：提取大盘数据
  • extract_sections()：提取板块数据
  • save_to_json()：保存数据
• 辅助方法：_extract_numeric_candidates() 等私有方法

七、高级技巧与最佳实践

1. 多策略数据提取

# 方法 1：正则表达式匹配
# 方法 2：DOM 元素查找
# 方法 3：JavaScript 执行
# 方法 4：文本行分析

• 多种方法互补，提高爬虫健壮性
• 逐步降级策略

2. 等待与加载策略

• wait_for_load_state('networkidle')：等待网络空闲
• time.sleep(3)：显式等待 JS 执行
• window.scrollTo()：滚动页面触发懒加载

3. 防反爬虫策略

args = ['--disable-blink-features=AutomationControlled']

• 禁用自动化控制特征
• 模拟真实浏览器行为

学习建议

1. 先掌握基础：Requests + BeautifulSoup 处理静态页面
2. 再学动态爬虫：Playwright/Selenium 处理 JS 渲染页面
3. 重视正则表达式：数据清洗的关键工具
4. 学会调试：保存页面内容，分析网页结构
5. 注意反爬虫：合理设置请求间隔，尊重 robots.txt

代码亮点总结

这份代码是一个完整的生产级爬虫示例，涵盖了从爬取、解析、清洗到存储的全流程，非常适合作为学习爬虫的进阶案例。