Python 网络爬虫原理与 Selenium 实战指南

代码实现

注意：实际生产中请勿硬编码敏感信息，并遵守网站的 robots.txt 协议。

import random
import time
import pymssql
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.options import Options

def main():
    # 配置 Chrome 无头模式
    options = Options()
    options.add_argument('--headless')
    driver = webdriver.Chrome(options=options)
    
    # 模拟请求头
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
    }
    
    # 连接数据库 (请根据实际情况修改配置)
    conn = pymssql.connect(host="localhost", user="sa", password="your_password", database="MySchool", charset="utf8")
    cur = conn.cursor()

    try:
        for n in range(10):
            count = n * 25
            url = f'https://movie.douban.com/top250?start={count}'
            
            driver.get(url)
            time.sleep(2) # 等待页面加载
            
            items = driver.find_elements(By.XPATH, "//ol/li")
            
            for i, item in enumerate(items):
                try:
                    name = item.find_element(By.XPATH, ".//div/div/div/a/span").text
                    ename = item.find_element(By.XPATH, ".//div/div/div/a/h3[@class='']").text.replace("/", "").replace(" ", "")
                    score = item.find_element(By.XPATH, ".//div/div/div/div/span[2]").text
                    
                    sql = f"INSERT INTO Movies(Name, EName, Score) VALUES('{name}', '{ename}', '{score}')"
                    cur.execute(sql)
                    conn.commit()
                    print(f"第{n+1}页，第{i+1}条成功")
                except Exception as e:
                    print(f"解析失败：{e}")
                
                time.sleep(1) # 控制频率，避免被封禁
        
    finally:
        driver.quit()
        conn.close()

if __name__ == '__main__':
    main()

注意事项与合规性

1. 频率控制：添加随机延时，避免对目标服务器造成压力。
2. User-Agent：定期更换，模拟真实用户。
3. 法律风险：仅抓取公开数据，不侵犯隐私，遵守《网络安全法》及相关平台条款。
4. 反爬策略：遇到验证码或 IP 封禁时，应停止尝试，寻求合法数据源。

总结

本文介绍了 Python 爬虫的基本原理，并通过 Selenium 实现了豆瓣电影数据的抓取。在实际应用中，建议结合 Scrapy 框架提高并发能力，同时始终将合规性放在首位。