Python 爬虫实战：批量获取股票实时行情数据

代码实现

以下是完整的代码实现，包含数据库连接、列表解析、详情抓取及异常处理逻辑。

import requests
import re
import json
from pyquery import PyQuery
import pymysql
import time

# 数据库连接配置
def connect():
    try:
        conn = pymysql.connect(
            host='localhost',
            port=3306,
            user='root',
            password='password',  # 生产环境建议使用环境变量管理密码
            database='test',
            charset='utf8mb4'
        )
        cursor = conn.cursor()
        return {"conn": conn, "cursor": cursor}
    except Exception as e:
        print(f"数据库连接失败：{e}")
        return None

connection = connect()
if connection:
    conn, cursor = connection['conn'], connection['cursor']
else:
    exit()

# SQL 插入语句
sql_insert = "INSERT INTO stock(code, name, jinkai, chengjiaoliang, zhenfu, zuigao, chengjiaoe, huanshou, zuidi, zuoshou, liutongshizhi, create_date) VALUES (%(code)s, %(name)s, %(jinkai)s, %(chengjiaoliang)s, %(zhenfu)s, %(zuigao)s, %(chengjiaoe)s, %(huanshou)s, %(zuidi)s, %(zuoshou)s, %(liutongshizhi)s, NOW())"

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36'
}

def get_stock_list(stock_list_url):
    """获取股票代码列表"""
    r = requests.get(stock_list_url, headers=headers)
    r.encoding = 'utf-8'
    doc = PyQuery(r.text)
    stock_codes = []
    
    # 遍历表格中的链接节点
    for i in doc('.stockTable a').items():
        try:
            href = i.attr.href
            # 使用正则提取 6 位数字
            match = re.findall(r"\d{6}", href)
            if match:
                stock_codes.append(match[0])
        except Exception:
            continue
            
    return stock_codes

def get_stock_info(stock_codes, info_url):
    """获取单只股票详情并写入数据库"""
    count = 0
    for stock in stock_codes:
        try:
            url = f"{info_url}{stock}"
            r = requests.get(url, headers=headers)
            
            # 处理 JSONP 数据，去除首尾的 showStockDate(...) 包装
            text = r.text.strip()
            if text.startswith('showStockDate'):
                start_idx = text.find('(') + 1
                end_idx = text.rfind(')')
                json_str = text[start_idx:end_idx]
                dict1 = json.loads(json_str)
            else:
                dict1 = json.loads(text)
            
            # 提取关键数据
            data = dict1.get('data', {}).get(stock, {})
            insert_data = {
                "code": stock,
                "name": dict1['info'][stock]['name'],
                "jinkai": data.get('7'),
                "chengjiaoliang": data.get('13'),
                "zhenfu": data.get('526792'),
                "zuigao": data.get('8'),
                "chengjiaoe": data.get('19'),
                "huanshou": data.get('1968584'),
                "zuidi": data.get('9'),
                "zuoshou": data.get('6'),
                "liutongshizhi": data.get('3471914')
            }
            
            cursor.execute(sql_insert, insert_data)
            conn.commit()
            print(f"[{count+1}] 写入完成：{stock}")
            count += 1
            
            # 控制请求频率，避免被封 IP
            time.sleep(0.5)
            
        except Exception as e:
            print(f"写入异常 [{stock}]：{e}")
            continue

def main():
    stock_list_url = 'https://hq.gucheng.com/gpdmylb.html'
    stock_info_url = 'http://qd.10jqka.com.cn/quote.php?cate=real&type=stock&callback=showStockDate&return=json&code='
    
    print("正在获取股票代码列表...")
    list = get_stock_list(stock_list_url)
    print(f"共获取到 {len(list)} 个股票代码")
    
    print("开始抓取股票详情...")
    get_stock_info(list, stock_info_url)
    print("任务执行完毕")

if __name__ == '__main__':
    main()

优化建议与注意事项

1. 反爬策略：目标网站可能会检测 User-Agent 或请求频率。建议在代码中设置随机 User-Agent，并在循环中加入 time.sleep() 延迟。
2. 异常处理：网络波动可能导致请求失败，应使用 try-except 块捕获异常，确保程序不会因单个错误中断。
3. 数据安全：数据库密码等敏感信息不应硬编码在代码中，建议使用配置文件或环境变量管理。
4. 数据清洗：接口返回的数据可能包含空值或特殊字符，入库前需进行必要的清洗和类型转换。
5. 法律合规：爬虫仅用于学习研究，请勿用于商业用途，遵守目标网站的 robots.txt 协议及相关法律法规。

总结

本文详细讲解了如何使用 Python 结合 Requests 和 PyQuery 库完成股票数据的采集与存储。通过本案例，读者可以掌握基本的 HTTP 请求发送、HTML 元素解析、JSONP 数据解析以及 MySQL 数据库交互的核心技能。在实际应用中，可根据需求扩展更多功能，如定时任务调度、数据可视化展示等。