Python 数据采集与处理实战：从网络爬虫到 Excel 存储

3. 核心方法说明

• import pandas: 导入数据分析库。
• pd.DataFrame(): 创建二维表格数据结构，类似电子表格。
• to_excel(): 将 DataFrame 数据导出为 Excel 格式文件。

三、实用案例：API 数据抓取与存储

代码实现

import pandas as pd
import requests

def get_users_from_api():
    try:
        # 调用公开 API 获取用户数据
        response = requests.get('https://jsonplaceholder.typicode.com/users')
        users_data = response.json()
        
        processed_data = []
        for user in users_data:
            user_info = {
                "姓名": user.get('name', ''),
                "用户名": user.get('username', ''),
                "邮箱": user.get('email', ''),
                "城市": user.get('address', {}).get('city', ''),
                "电话": user.get('phone', ''),
                "公司": user.get('company', {}).get('name', '')
            }
            processed_data.append(user_info)
        return processed_data
    except Exception as e:
        print(f"获取数据失败：{e}")
        return []

# 执行抓取并保存
users = get_users_from_api()
if users:
    df = pd.DataFrame(users)
    df.to_excel("user_data.xlsx", index=False)
    print("数据已保存到 Excel 文件！")
else:
    print("未能获取到数据")

四、总结

本文详细讲解了使用 requests 模块进行网络爬虫和 pandas 模块进行数据处理的全流程。内容包括基础图片下载、结构化数据存储以及 API 数据获取与 Excel 导出，涵盖了从零开始的学习路径。这些技能在日常开发、数据分析及自动化办公中具有较高的实用价值。