Python Pandas 数据处理核心指南

3. 数据读取与写入

Pandas 支持多种文件格式的读写操作。

读取 CSV 文件

df = pd.read_csv('data.csv')

读取 Excel 文件

df = pd.read_excel('data.xlsx')

读取 SQL 数据库

import sqlite3
conn = sqlite3.connect('example.db')
df = pd.read_sql('SELECT * FROM table', conn)

读取 JSON 文件

df = pd.read_json('data.json')

写入数据

df.to_csv('output.csv', index=False)
df.to_excel('output.xlsx', index=False)

4. 数据清洗与预处理

数据清洗是数据分析中最耗时的步骤之一，Pandas 提供了丰富的工具。

缺失值处理

# 删除包含缺失值的行
df_clean = df.dropna()
# 填充缺失值为特定值
df_filled = df.fillna(0)
# 填充缺失值为均值
df_mean = df.fillna(df.mean())

重复值处理

# 删除重复行
df_unique = df.drop_duplicates()
# 统计重复次数
df.duplicated().sum()

数据类型转换

# 将某一列转换为浮点型
df['col'] = df['col'].astype(float)
# 时间格式转换
df['date'] = pd.to_datetime(df['date'])

异常值处理

# 筛选出特定范围的数据
df_filtered = df[(df['value'] > 0) & (df['value'] < 100)]

5. 数据筛选与索引

高效的索引选择是 Pandas 性能的关键。

基本索引

# 按列名获取
col_data = df['column_name']
# 按位置获取
data_at_pos = df.iloc[0]
# 按标签获取
data_at_label = df.loc[0]

布尔索引

# 筛选条件
df[df['age'] > 18]
# 多条件筛选
df[(df['age'] > 18) & (df['city'] == 'Beijing')]

排序

# 升序排序
df.sort_values(by='column_name', ascending=True)
# 降序排序
df.sort_values(by='column_name', ascending=False)

6. 数据聚合与分组

GroupBy 操作是数据分析中最重要的功能之一。

基础分组

# 按照某一列进行分组，并计算每组的和
grouped = df.groupby('category').sum()

多重聚合

# 对某几列进行聚合计算
df.agg({'col1': 'mean', 'col2': 'sum'})
# 自定义聚合函数
df.groupby('group')['value'].agg(['mean', 'std', 'count'])

透视表

# 创建透视表
pivot_df = pd.pivot_table(df, values='sales', index='region', columns='product', aggfunc='sum')

7. 数据合并与重塑

连接数据

# 纵向拼接
df_concat = pd.concat([df1, df2], axis=0)
# 横向拼接
df_concat = pd.concat([df1, df2], axis=1)

合并数据

# 类似 SQL 的 join
df_merged = pd.merge(df1, df2, on='key', how='inner')

重塑数据

# 长表转宽表
df_wide = df.pivot(index='date', columns='variable', values='value')
# 宽表转长表
df_long = df_wide.melt(var_name='variable', value_name='value')

8. 时间序列处理

Pandas 在时间序列分析方面表现卓越。

时间索引

# 设置日期为索引
df.set_index('date', inplace=True)
# 重采样
df_resampled = df.resample('M').mean()  # 按月重采样

滚动窗口

# 计算移动平均
df['rolling_mean'] = df['value'].rolling(window=3).mean()

日期偏移

# 添加一个月
df['next_month'] = df.index + pd.offsets.MonthEnd(1)

9. 数据可视化

虽然 Matplotlib 更强大，但 Pandas 内置了便捷的绘图接口。

import matplotlib.pyplot as plt

# 折线图
df.plot(x='date', y='value', kind='line')
# 柱状图
df.plot(kind='bar', x='category', y='value')
# 散点图
df.plot(kind='scatter', x='x_col', y='y_col')
# 饼图
df.plot(kind='pie', y='value')
plt.show()

10. 性能优化建议

1. 避免循环：尽量使用向量化操作代替 for 循环。
2. 类型优化：将不必要的对象类型转换为数值类型或分类类型以节省内存。
3. 分块读取：处理大文件时使用 chunksize 参数分块读取。
4. 缓存结果：避免重复计算中间变量。

总结

Python Pandas 模块是数据处理领域的标准工具。通过掌握其核心数据结构、IO 操作、清洗方法、分组聚合及时间序列处理功能，开发者能够高效完成从数据获取到分析可视化的全流程工作。结合 NumPy 的科学计算能力和 Matplotlib 的可视化能力，Pandas 构成了 Python 数据科学生态的基石。