Pandas 数据清理实战：从合并到去重的常用技巧

处理策略：

• 时间序列数据：常用前向填充 df[col_name].fillna(method='ffill', inplace=True)。
• 不同列补不同值：df.fillna(value={col1:50, col2:67}, inplace=True)。
• 以均值弥补：df.where(pd.notna(df), df.mean(), axis='columns', inplace=True)。
• 删除含空值的行：df.dropna(subset=subset_list, inplace=True)。
• 删除空值过多的列：例如保留至少一半非空数据的列 df.dropna(thresh=len(df)*0.5, axis=1, inplace=True)。

3. 批量删除多列

当数据有很多无关列，手动复制粘贴列名删除太麻烦时，可以直接通过索引范围操作。

# 先查看列信息，确定起始和终止索引
df.info()

# 假设要删除第 2 列到第 4 列（索引 1 到 3），stop_index 应为 4
df.drop(df.columns[1:4], axis=1, inplace=True)

# 再次检查
df.info()

注意： df.info() 能高效返回行数、列数、列名、类型及内存占用。如果需要删除 2-4 列，切片结束索引应该是 5（因为 Python 切片不包含右边界）。第二个 info() 是为了 double check 清理结果是否符合预期。

4. 批量修改列名

除了常用的 rename，还可以利用字符串方法批量格式化列名，去除特殊字符或空格。

# 重命名指定列
df.rename(columns={'Order_No_1': 'OrderID', 'ItemNo': 'ItemID'}, inplace=True)

# 移除特殊字符
# 注意正则表达式中的括号需要转义
df.columns = df.columns.str.replace('[&,#,@,(,)]', '')

# 去除首尾空格，并将中间空格替换为下划线
df.columns = df.columns.str.strip().str.replace(' ', '_')

提示： 数据工作中，列名命名约定通常不留空格，建议使用 _ 或 - 连接，或采用 CamelCase。计算机在处理包含空格的列名时容易出错。

5. 批量更改数据格式

统一数据类型是清洗的基础步骤，特别是将数值转为字符串以便进行文本处理时。

for c in ['OrderID', 'ItemID', 'Class']:
    df[c] = df[c].astype('str')

6. 处理重复值

在去重前，先确认有多少重复数据，以及重复的具体内容。

len_df = len(df)
len_drop = len(df.drop_duplicates(subset=['subset_list']))
len_diff = len_df - len_drop
print(f'difference of length: {len_diff}')

if len_diff > 0:
    # keep=False 保证展示所有重复项，sort_values 方便观察
    dups = df[df.duplicated(keep=False)].sort_values(by=['sort_list'])
    print(dups.head())
    
    # 保留最后一项作为有效数据
    df_drop = df.drop_duplicates(subset=['subset_list'], keep='last')

解析： drop_duplicates 返回基于指定列去重后的 DataFrame。如果发现有重复值，使用 duplicated(keep=False) 可以确保所有重复行都被标记出来，配合 sort_values 能让重复值挨着出现，方便决策如何处理。

7. 处理日期和时间

当收到 dtype 为 object 的日期字符串时，需要先转换为 datetime 格式，再分离出日期、时间和小时。

# 分割字符串，取第一部分
df['date_com'] = df['date_com'].str.split(',', expand=True)[0]

# 转换格式，最终返回 YYYY-MM-DD HH:MM:SS
df['date_com'] = pd.to_datetime(df['date_com'], format='%Y-%m-%d %H:%M:%S')

# 进一步分离 Date, Time, Hour
df['Date'] = df['date_com'].dt.date
dt_lst = df['date_com'].str.split(' ', n=1, expand=True)
df['Time'] = dt_lst[1]
time_lst = df['date_com'].str.split(':', n=1, expand=True)
df['Hour'] = time_lst[0]

最后记得 double check 清理结果，确保数据逻辑正确。希望这些技巧能帮你在实际工作中提高效率。