Python 入门指南：基于爬虫技术的零基础学习路径

案例 2：B 站视频搜索接口分析

本例演示如何通过 API 接口获取视频列表信息。注意：实际开发中应动态获取参数，而非硬编码。

1. 接口分析

通过浏览器开发者工具（F12）的 Network 面板，定位到搜索相关的 AJAX 请求。观察 URL 参数，如 keyword（关键词）、page（页码）等。

2. 代码实现

import requests
import time
import random
import json

def fetch_video_data(keyword, page=1):
    url = "https://api.bilibili.com/x/web-interface/search/type"
    params = {
        'search_type': 'video',
        'keyword': keyword,
        'page': page,
        'page_size': 20
    }
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
    }
    
    try:
        response = requests.get(url, params=params, headers=headers, timeout=10)
        data = response.json()
        
        if data['code'] == 0:
            items = data['data']['result']
            for item in items:
                video_info = {
                    'title': item.get('title'),
                    'author': item.get('owner', {}).get('name'),
                    'play_count': item.get('stat', {}).get('view'),
                    'url': f"https://www.bilibili.com/video/{item.get('bvid')}"
                }
                print(json.dumps(video_info, ensure_ascii=False))
        else:
            print("API 返回错误")
    except Exception as e:
        print(f"请求异常：{e}")

# 循环抓取多页数据
if __name__ == '__main__':
    keyword = "Python 教程"
    for i in range(1, 3):  # 抓取前 2 页
        fetch_video_data(keyword, page=i)
        # 遵守反爬策略，随机延时
        time.sleep(random.uniform(1.0, 3.0))

四、进阶技巧与注意事项

1. 异常处理

网络请求受环境影响大，必须使用 try-except 捕获超时、连接拒绝等异常，保证程序健壮性。

2. 反爬应对

• User-Agent：每次请求更换不同的 UA。
• IP 代理：高频请求时可使用代理池切换 IP。
• Cookie 管理：部分接口需要登录态，需处理 Cookie 传递。

3. 道德与法律规范

• 遵守网站的 robots.txt 协议。
• 不抓取个人隐私数据。
• 控制请求频率，避免对目标服务器造成压力。
• 仅将数据用于合法合规的研究或业务场景。

五、总结

通过上述学习路径，初学者可以逐步掌握 Python 爬虫的核心技能。建议从简单的静态页面入手，再过渡到动态渲染页面和 API 接口。持续实践项目是巩固知识的关键，同时务必保持对法律法规和技术伦理的关注。