Python 数据分析：数据预处理核心方法

2.3 一致性分析

数据不一致性是指数据的矛盾性、不相容性。直接对不一致的数据进行挖掘，可能会产生与实际相违背的挖掘结果。 在数据挖掘过程中，不一致数据的产生主要发生在数据集成的过程中，可能是由于被挖掘数据是来自于从不同的数据源、重复存放的数据未能进行一致性地更新造成的。例如两张表中都存储了用户的地址，在用户的地址发生改变时，如果只更新了一张表中的数据，那么这两张表中就有了不一致的数据。

2.4 相关性分析

绘制散点图矩阵并计算相关系数是分析变量间关系的重要手段。

• Pearson 相关系数

import pandas as pd
D = pd.DataFrame([range(1, 8), range(2, 9)])  # 生成样本 D，一行为 1~7，一行为 2~8
print(D.corr(method='spearman'))  # 计算相关系数矩阵
S1 = D.loc[0]  # 提取第一行
S2 = D.loc[1]  # 提取第二行
print(S1.corr(S2, method='pearson'))  # 计算 S1、S2 的相关系数

• 协方差系数

import numpy as np
D = pd.DataFrame(np.random.randn(6, 5))  # 产生 6×5 随机矩阵
print(D.cov())  # 计算协方差矩阵
print(D[0].cov(D[1]))  # 计算第一列和第二列的协方差

3. 数据预处理

3.1 数据清洗

3.1.1 缺失值处理

针对缺失值，常用的插补方法包括：

以下是使用拉格朗日插值法处理缺失值的示例代码：

import pandas as pd
from scipy.interpolate import lagrange

inputfile = '../data/catering_sale.xls'
outputfile = '../tmp/sales.xls'

data = pd.read_excel(inputfile)
# 过滤异常值，将其变为空值以便演示插值
data['销量'][(data['销量'] < 400) | (data['销量'] > 5000)] = None

# 自定义列向量插值函数
# s 为列向量，n 为被插值的位置，k 为取前后的数据个数，默认为 5
def ployinterp_column(s, n, k=5):
    y = s[list(range(n-k, n)) + list(range(n+1, n+1+k))]  # 取数
    y = y[y.notnull()]  # 剔除空值
    return lagrange(y.index, list(y))(n)  # 插值并返回插值结果

# 逐个元素判断是否需要插值
for i in data.columns:
    for j in range(len(data)):
        if (data[i].isnull())[j]:  # 如果为空即插值
            data[i][j] = ployinterp_column(data[i], j)

data.to_excel(outputfile)

3.1.2 异常值处理

针对异常值，处理方法包括：

3.2 数据集成

3.2.1 实体识别

实体识别是统一不同源数据的矛盾之处，主要包括：

1. 同名异义
2. 异名同义
3. 单位不统一

3.2.2 冗余属性识别

常见类型包括同一属性出现多次，或同一属性命名不一致导致重复。可以通过相关分析检测，根据两个数值型属性，根据其属性值，用相关系数度量一个属性在多大程度蕴含另一个属性。

3.2.3 数据变换

对数据转换为'适当'形式，比如常见的函数变换，将数据进行简单压缩，将非平稳序列转换为平稳序列等等。

3.2.4 规范化

规范化旨在消除量纲影响，使不同指标具有可比性。

• 最小 - 最大规范化：又称为离散标准化，对原始数据进行线性变换，将数值映射到 [0,1] 之间。

  (data - data.min()) / (data.max() - data.min())
  

• 零 - 均值规范化：标准差标准化，经过处理后的数据均值为 0，标准差为 1。

  (data - data.mean()) / data.std()
  

• 小数定标规范化：通过移动属性值的小数位数，将属性值映射到 [-1,1] 之间，移动的小数位数取决于属性值绝对值的最大值。

  data / 10 ** np.ceil(np.log10(data.abs().max()))
  

3.2.5 连续属性离散化

一些数据挖掘算法，特别是某些分类算法，如 ID3、Apriori 算法，要求数据是分类属性形式。离散化过程涉及确定分类数和如何将连续属性映射到这些分类值。

• 等宽法：将属性的值域划分为具有相同宽度的区间。

  k = 4  # k 为划分区间数
  d1 = pd.cut(data, k, labels=range(k))  # 等宽离散化
  

• 等频法：将相同数量的记录放进每个区间。

  w = [1.0*i/k for i in range(k+1)]
  w = data.describe(percentiles=w)[4:4+k+1]
  w[0] = w[0]*(1-1e-10)
  d2 = pd.cut(data, w, labels=range(k))
  

• 基于聚类分析的方法：首先将连续属性的值使用聚类算法（K-Means 算法）进行聚类，然后再将聚类得到的簇进行处理，合并到一个簇的连续属性值做同一标记。

3.2.6 属性构造

为了帮助用户获得更好的数据，需要利用抑制属性构造新的属性，并加入到现有的属性集中。这通常涉及领域知识的结合，例如从时间戳中提取星期几，或从经纬度计算距离等。

3.3 数据归约

数据规约是将海量数据进行规约，规约之后的数据仍接近于保持原数据的完整性，但数据量小得多。

3.3.1 属性归约

属性规约常用方法有：合并属性、逐步向前选择、逐步向后删除、决策树归纳、主成分分析。

主成分分析（PCA）示例：

import numpy as np
from sklearn.decomposition import PCA
D = np.random.rand(10, 4)
pca = PCA()  # n_components 默认为 4，代表选取几个特征向量
pca.fit(D)
print(pca.components_)  # 返回模型的各个特征向量

3.3.2 数值归约

数值归约主要通过减少数据量来降低计算成本，常用方法包括：

1. 直方图：将数据分布近似为直方图存储。
2. 聚类：将相似数据聚合成簇，用簇中心代表。
3. 抽样：从总体中抽取部分样本进行分析。

4. 总结

数据预处理是数据分析中最耗时但也最关键的一步。高质量的数据能够显著提升后续建模的效果。在实际项目中，应根据具体的业务场景和数据特点，灵活组合上述清洗、集成和归约策略。同时，注意保留数据处理的中间状态，以便于回溯和调试。