Python 数据清理与准备最佳实践：清洗、合并与存储

确保每一列具有正确的数据类型至关重要，否则可能导致分析错误或意外行为。

类型转换

• 数值类型：使用 pd.to_numeric 处理可能包含非数字字符的列。
• 字符串类型：使用 astype('str')。
• 类别类型：对于有限取值的列（如支付方式），转换为 category 可节省内存。
• 布尔类型：基于条件生成标志位，注意缺失值处理。

df['PurchaseAmount'] = pd.to_numeric(df['PurchaseAmount'], errors='coerce')
df['PaymentMethod'] = df['PaymentMethod'].astype('category')

处理日期和时间

解析日期是理解趋势的基础。pd.to_datetime 支持多种格式，大数据集建议使用 infer_datetime_format=True 提升性能。

df['Timestamp3'] = pd.to_datetime(df['Timestamp'], format='%Y-%m-%d %H:%M:%S')

提取组件（年、月、日）有助于进行时间序列分析：

df['Day'] = df['Timestamp'].dt.day
df['Month'] = df['Timestamp'].dt.month
df['Year'] = df['Timestamp'].dt.year

计算时间差可使用 .diff()，处理时区则需使用 .dt.tz_localize 和 .dt.tz_convert。

数据合并与拼接

当数据分散在不同来源时，合并是获取全面视图的必要步骤。

连接策略

Pandas 提供多种连接方式，选择取决于业务逻辑：

• 内连接 (Inner)：仅保留两个表中都有匹配的行。
• 外连接 (Outer)：保留所有行，不匹配处填充 NaN。
• 左/右连接：分别保留左侧或右侧表的所有行。

merged_data = pd.merge(employee_data, project_data, on='employee_id', how='inner')

处理重复项

重复键可能导致笛卡尔积，扭曲结果。合并前务必处理重复项：

1. 删除重复行：使用 drop_duplicates。
2. 验证约束：使用 validate 参数强制执行唯一性。
3. 聚合：对重复键进行求和或平均。

拼接 DataFrame

结构相似的数据集可直接沿轴拼接：

concatenated_data = pd.concat([df1, df2], axis=0) # 按行
concatenated_data = pd.concat([df1, df2], axis=1) # 按列

分组、聚合与应用函数

分组是汇总数据的强大工具。

基础聚合

使用 groupby 配合 sum, mean, count 等函数快速统计：

grouped = df.groupby('Category')['Sales'].sum().reset_index()

自定义聚合

复杂指标需自定义函数，通过 agg 或 apply 应用：

def coefficient_of_variation(series):
    return series.std() / series.mean()

df.groupby('Region').agg({'Sales': ['sum', 'mean', coefficient_of_variation]})

筛选

根据条件过滤数据子集：

filtered_data = df[(df['Sales'] > 1000) & (df['Quantity'] < 30)]

数据存储架构选择

选择合适的接收端和文件格式直接影响系统性能。

关系型数据库 (RDBMS)

适合结构化数据，强一致性需求（ACID）。常见选项包括 PostgreSQL、MySQL。文件类型通常为专有格式。

NoSQL 数据库

适合灵活模式、高扩展性场景。MongoDB 使用 BSON/JSON，Redis 为键值存储。

数据仓库与数据湖

• 数据仓库：针对分析优化，支持复杂查询（如 Redshift, Snowflake）。
• 数据湖：存储原始数据，支持多模态（如 S3 + Parquet）。
• Lakehouse：结合两者优势，支持 ACID 事务（如 Delta Lake, Iceberg）。

分区策略

合理分区可显著提升查询效率：

• 水平分区：按行分片。
• 垂直分区：按列分片。
• 基于时间/地理分区：按日期或地区组织数据，便于裁剪扫描。

# 示例：基于时间的分区
for timestamp, group in df.groupby(df["timestamp"].dt.date):
    table = pa.Table.from_pandas(group)
    pq.write_table(table, f"path/{timestamp}")

总结

从列管理到存储架构，数据准备贯穿整个分析生命周期。掌握 pandas 的清洗技巧，理解不同存储系统的特性，并根据实际业务场景选择合适的方案，是构建高效数据管道的基础。