Python 爬虫实战：使用 Selenium 模拟登录与反爬策略

XPath 常用表达式：

• //input[@name='username']: 查找 name 属性为 username 的 input 标签。
• //div[@class='login-box']/button: 查找 class 为 login-box 的 div 下的 button。
• //*[@id='submit']: 查找 id 为 submit 的元素。
• //text()='Login': 查找文本内容为 Login 的元素。

CSS 选择器示例：

• input[name='username']
• .login-box button
• #submit

5. 常见交互操作

5.1 输入与点击

from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 等待元素出现并可见
element = WebDriverWait(driver, 10).until(
    EC.presence_of_element_located((By.ID, 'username'))
)
element.send_keys("test_user")
element.click()

5.2 鼠标操作

使用 ActionChains 类实现拖拽、悬停等操作。

from selenium.webdriver.common.action_chains import ActionChains

actions = ActionChains(driver)
actions.move_to_element(element).click().perform()
# 拖拽滑块
actions.drag_and_drop_by_offset(slider, 100, 0).perform()

5.3 键盘操作

from selenium.webdriver.common.keys import Keys
element.send_keys(Keys.ENTER)

6. 等待机制

等待是保证脚本稳定性的关键。

1. 隐式等待 (Implicit Wait): 设置全局等待时间，元素未找到时轮询查找。

   driver.implicitly_wait(10)
   

2. 显式等待 (Explicit Wait): 针对特定条件等待，推荐方式。

   WebDriverWait(driver, 10).until(EC.element_to_be_clickable((By.ID, 'btn')))
   

3. 强制等待 (Sleep): 暂停指定秒数，不推荐在生产环境大量使用，会阻塞线程。

   import time
   time.sleep(2)
   

7. 反爬对抗技巧

大型网站常检测 Selenium 特征。

7.1 隐藏 webdriver 属性

driver.execute_script("Object.defineProperty(navigator, 'webdriver', {get: () => undefined})")

7.2 插件欺骗

options.add_argument("--disable-blink-features=AutomationControlled")

7.3 处理 Frame

某些登录框位于 iframe 中，需切换上下文。

driver.switch_to.frame("iframe-id")
# 操作元素
driver.switch_to.default_content() # 切回主文档

7.4 处理 Alert

alert = driver.switch_to.alert
alert.accept()

8. Cookie 管理

登录成功后，提取 Cookie 可避免重复登录。

cookies = driver.get_cookies()
# 保存
import json
with open('cookies.json', 'w') as f:
    json.dump(cookies, f)
# 加载
for cookie in cookies:
    driver.add_cookie(cookie)

9. 错误处理与日志

建议引入 logging 模块记录运行状态，便于排查问题。

import logging
logging.basicConfig(level=logging.INFO)
logger = logging.getLogger(__name__)
try:
    # 业务逻辑
    pass
except Exception as e:
    logger.error(f"发生错误：{e}")
finally:
    driver.quit()

10. 总结

Selenium 模拟登录是解决动态页面抓取的有效手段。通过合理配置浏览器选项、优化元素定位、实施等待策略及反爬措施，可以显著提高脚本的成功率和稳定性。在实际项目中，建议结合 Requests 库（利用 Cookie）混合使用，以平衡效率与兼容性。