Pandas 数据清理实用技巧速查

选哪种取决于数据和下游需求，没有万能方案。

批量删除列

面对一堆无关列，手写列名删太累。直接用索引范围删。

# 先看看列信息，确定要删的起始和终止索引
df.info()

# 假设要删除第 2 到第 4 列（索引 1 到 3），切片结束索引要加 1
df.drop(df.columns[1:5], axis=1, inplace=True)

# 再次检查
df.info()

df.info() 能快速列出列名、非空数量和类型。Python 切片是左闭右开，所以删索引 1、2、3 时，结束位置写 4。删完再 info() 一次确认，避免笔误。

批量修改列名

除了 rename，用字符串方法批量清洗列名更方便。去特殊字符、空格转下划线。

# 重命名指定列
df.rename(columns={'Order_No_1': 'OrderID', 'ItemNo': 'ItemID'}, inplace=True)

# 移除特殊字符（正则里的括号需要转义）
df.columns = df.columns.str.replace('[&,#,@,\(,\)]', '')

# 去除首尾空格，中间空格替换为下划线
df.columns = df.columns.str.strip().str.replace(' ', '_')

约定列名不留空格，用下划线或驼峰，后续处理时能少出很多莫名其妙的错误。

统一数据格式

把该是字符串的列转一遍，避免类型混乱。

for c in ['OrderID', 'ItemID', 'Class']:
    df[c] = df[c].astype('str')

处理重复值

去重前先看看有多少重复，以及它们长什么样，再决定保留策略。

len_df = len(df)
len_drop = len(df.drop_duplicates(subset=['subset_list']))
len_diff = len_df - len_drop
print(f'difference of length: {len_diff}')

if len_diff > 0:
    # keep=False 保证展示所有重复项，sort_values 让相同值挨着
    dups = df[df.duplicated(keep=False)].sort_values(by=['sort_list'])
    print(dups.head())
    
    # 保留最后一项
    df_drop = df.drop_duplicates(subset=['subset_list'], keep='last')

duplicated(keep=False) 把所有重复行标记出来，配合 sort_values 观察，再决定是留第一条、最后一条还是全删。

解析日期和时间

收到 object 类型的日期字符串，先转 datetime，再拆分需要的部分。

# 分割字符串，取第一部分
df['date_com'] = df['date_com'].str.split(',', expand=True)[0]

# 转换为 datetime 格式，返回 YYYY-MM-DD HH:MM:SS
df['date_com'] = pd.to_datetime(df['date_com'], format='%Y-%m-%d %H:%M:%S')

# 分离 Date, Time, Hour
df['Date'] = df['date_com'].dt.date
dt_lst = df['date_com'].str.split(' ', n=1, expand=True)
df['Time'] = dt_lst[1]
time_lst = df['date_com'].str.split(':', n=1, expand=True)
df['Hour'] = time_lst[0]

最后记得 double check 清理结果，别让格式问题悄悄溜进下一步分析。