Python 数据清洗实战：缺失值、异常值与特征工程

注意：填补会降低数据的变异性（标准差变小），可能扭曲分布。

3. 指示变量填补

有时候，"缺失"本身就是一个信号。我们可以创建一个二进制列标记缺失位置，再进行填补。

df['Age_missing'] = df['Age'].isnull().astype(int)
df['Age'].fillna(df['Age'].mean(), inplace=True)

这样模型既能学到数值信息，也能捕捉到缺失模式的影响。

识别和处理离群值

离群值不仅会扭曲统计量，还会误导可视化结果，甚至破坏模型训练。

单变量离群值检测

可视化方法

箱线图和小提琴图能直观展示极端值。箱线图中超出须部的点通常被视为离群值。

Z-Score 方法

基于正态分布假设，Z-Score 超过阈值（通常为 3）的点视为异常。

from scipy import stats
z_scores = np.abs(stats.zscore(df['Age'].dropna()))
outliers = z_scores > 3

IQR 方法（四分位距）

IQR 对异常值不敏感，更适合偏态分布。

Q1 = df['Age'].quantile(0.25)
Q3 = df['Age'].quantile(0.75)
IQR = Q3 - Q1
lower_bound = Q1 - 1.5 * IQR
upper_bound = Q3 + 1.5 * IQR
outliers = df[(df['Age'] < lower_bound) | (df['Age'] > upper_bound)]

多变量离群值检测

当多个变量共同作用产生异常时，单变量方法失效。马哈拉诺比斯距离考虑了变量间的相关性。

from scipy.spatial.distance import mahalanobis
mean = np.mean(df[['X1', 'X2']], axis=0)
cov_matrix = np.cov(df[['X1', 'X2']], rowvar=False)
inv_cov_matrix = np.linalg.inv(cov_matrix)

def get_mahalanobis(x):
    return np.sqrt(np.dot((x - mean), np.dot(inv_cov_matrix, (x - mean))))

df['Mahal_Dist'] = df.apply(lambda x: get_mahalanobis(x[['X1', 'X2']]), axis=1)

离群值处理技巧

• 修剪 (Trimming)：直接移除极端值，适合严重离群值。
• 温莎化 (Winsorizing)：将极端值替换为边界值，保留样本量。
• 变换：对数或平方根变换可压缩长尾分布，减少极端值影响。

特征缩放与编码

机器学习算法通常对特征尺度敏感，分类变量需要转换为数值。

特征缩放

• Min-Max 缩放：映射到 [0, 1] 区间，适合有明确边界的特征。
• Z-Score 标准化：均值为 0，标准差为 1，适合大多数线性模型。
• 稳健缩放：使用中位数和 IQR，抗异常值能力强。

from sklearn.preprocessing import RobustScaler
scaler = RobustScaler()
data_scaled = scaler.fit_transform(data)

分类特征编码

• 标签编码：适用于有序类别（如学历等级）。
• 独热编码：适用于无序类别，避免引入虚假顺序。
• 目标编码：用目标变量的均值替代类别，适合高基数特征，但需注意过拟合。
• 频率编码：用类别出现频率替代，保留分布信息。

时间序列数据处理

时间序列具有时间依赖性，处理逻辑与普通数据不同。

缺失值处理

• 前向/后向填充 (ffill/bfill)：保持时间连续性，适合短期缺失。
• 插值：线性、多项式或样条插值，适合平滑趋势。

df['close_ffill'] = df['close'].ffill()
df['close_interp'] = df['close'].interpolate(method='linear')

平稳性与差分

许多模型要求数据平稳。ADF 检验用于判断平稳性，差分可去除趋势。

from statsmodels.tsa.stattools import adfuller
result = adfuller(df['close'].dropna())
if result[1] < 0.05:
    print("序列平稳")
else:
    df['diff'] = df['close'].diff()

滞后特征

创建滞后特征（Lag Features）是将时间序列转化为监督学习问题的关键。

for lag in [1, 5, 10]:
    df[f'close_lag_{lag}'] = df['close'].shift(lag)

总结

数据清洗是机器学习中最耗时却最关键的一步。没有一种万能的方法，需要根据数据分布和业务场景灵活选择。无论是填补缺失、剔除离群，还是缩放编码，核心目标都是让数据更好地服务于模型。在实际项目中，建议结合领域知识，反复验证预处理后的效果，才能构建出鲁棒的预测系统。