Python 使用 Selenium 实现网页自动化操作指南

pip install selenium

三、核心代码实现

下面是一个基于 Selenium 的完整示例，演示如何初始化浏览器、定位元素并执行操作。

1. 基本结构

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time

def main():
    # 1. 初始化 WebDriver
    # 注意：如果 geckodriver 不在环境变量中，需指定 executable_path
    options = webdriver.FirefoxOptions()
    # 可选：设置为无头模式，不显示浏览器界面
    # options.add_argument('--headless') 
    driver = webdriver.Firefox(options=options)
    
    try:
        # 2. 设置隐式等待
        driver.implicitly_wait(10) 
        
        # 3. 打开目标网页
        url = "https://www.example.com"
        driver.get(url)
        
        # 4. 查找元素并操作
        # 示例：查找 ID 为 'username' 的输入框
        username_input = driver.find_element(By.ID, "username")
        username_input.clear()
        username_input.send_keys("test_user")
        
        # 示例：查找密码输入框
        password_input = driver.find_element(By.NAME, "password")
        password_input.send_keys("secure_password")
        
        # 示例：查找登录按钮
        login_button = driver.find_element(By.CSS_SELECTOR, "button[type='submit']")
        login_button.click()
        
        # 5. 等待页面加载或跳转
        time.sleep(3)
        
        # 6. 验证操作结果
        if "Welcome" in driver.title:
            print("登录成功")
        else:
            print("登录失败")
            
    except Exception as e:
        print(f"发生错误：{e}")
    finally:
        # 7. 关闭浏览器
        driver.quit()

if __name__ == "__main__":
    main()

2. 元素定位策略

Selenium 提供了多种元素定位方式，常用的包括：

• By.ID: 通过元素的 id 属性定位，速度最快。
• By.NAME: 通过 name 属性定位。
• By.CLASS_NAME: 通过 class 类名定位。
• By.XPATH: 使用 XPath 表达式，灵活但性能稍低。
• By.CSS_SELECTOR: 使用 CSS 选择器，推荐使用。

在实际开发中，建议使用 WebDriverWait 配合 expected_conditions 来处理动态加载的元素，避免因为页面未渲染完成导致的报错。

3. 高级操作

显式等待

wait = WebDriverWait(driver, 10)
element = wait.until(EC.presence_of_element_located((By.ID, "target_id")))

鼠标悬停与键盘操作

from selenium.webdriver.common.action_chains import ActionChains

actions = ActionChains(driver)
actions.move_to_element(element).perform()

截图功能

driver.save_screenshot("screenshot.png")

四、常见问题排查

1. 找不到元素 (NoSuchElementException)

• 检查元素是否已经加载完成，尝试增加等待时间。
• 确认定位策略是否正确，可以使用浏览器开发者工具（F12）查看元素的实际属性。

2. 元素不可交互 (ElementNotInteractableException)

• 元素可能被遮挡，需要调整布局或使用 JavaScript 强制点击。
• 元素可能处于禁用状态，需先激活。

3. 驱动版本不匹配

• 确保 Geckodriver 版本与 Firefox 浏览器版本兼容。如果不匹配，请更新浏览器或下载对应版本的驱动。

五、总结

通过本文的学习，您已经掌握了使用 Python 和 Selenium 进行网页自动化的基本流程。从环境搭建到代码编写，再到问题排查，这些技能对于 Web 测试、数据采集以及日常办公自动化都非常有用。

请注意，在使用自动化脚本时，应遵守相关法律法规及网站的服务条款，避免对目标服务器造成过大压力或进行恶意攻击。合理使用技术，才能发挥其最大价值。

六、扩展阅读

• Selenium 官方文档
• Python 官方教程
• W3Schools Selenium 教程