Pandas 数据统计包 6 种高效函数详解

代码示例

import numpy as np

# 创建 DataFrame
dframe = pd.DataFrame(np.random.randn(4, 3), columns=list('bde'), 
                      index=['India', 'USA', 'China', 'Russia'])

# 定义格式化函数
changefn = lambda x: '%.2f' % x

# 对特定列应用 map 函数
dframe['d'] = dframe['d'].map(changefn)
print(dframe)

注意事项

map() 仅适用于 Series 对象。如果需要在 DataFrame 上操作，通常配合 apply() 使用，或者先提取列再映射。

3. apply()：通用函数应用

功能说明

apply() 允许用户传递函数，并将其应用于 Pandas 序列中的每个值，也可以按行或按列应用。它是 Pandas 中最灵活的函数之一。

代码示例

# 定义最大值减最小值的函数
fn = lambda x: x.max() - x.min()

# 对每一列应用此函数
result = dframe.apply(fn)
print(result)

进阶用法

可以通过指定 axis 参数控制应用方向：

• axis=0：对每一列应用（默认）；
• axis=1：对每一行应用。

性能对比

虽然 apply() 很灵活，但在处理数值型数据时，向量化操作（Vectorization）通常比 apply() 更快。仅在逻辑复杂无法向量化时使用 apply()。

4. isin()：布尔索引过滤

功能说明

isin() 用于过滤数据帧。它有助于选择特定列中具有特定（或多个）值的行。返回一个布尔 Series，可用于筛选。

代码示例

# 假设 df 包含 value 和 time 列
filter1 = df["value"].isin([112])
filter2 = df["time"].isin([1949.000000])

# 组合条件筛选
df_filtered = df[filter1 & filter2]
print(df_filtered)

优势

相比传统的循环遍历，isin() 利用了底层 C 实现，速度极快，且代码简洁易读。

5. copy()：防止引用修改

问题背景

当一个数据帧分配给另一个数据帧时，如果对其中一个数据帧进行更改，另一个数据帧的值也将发生更改（浅拷贝行为）。为了防止这类问题，可以使用 copy() 函数。

代码示例

# 创建样本 Series
data = pd.Series(['India', 'Pakistan', 'China', 'Mongolia'])

# 直接赋值（引用）
data1 = data

# 修改 data1 会影响 data
data1[0] = 'USA'
print(data)  # 输出：USA, Pakistan...

# 使用 copy() 创建独立副本
data2 = data.copy()
data2[1] = 'Changed value'

print(data)    # 原始数据未变
print(data2)   # 副本已变

最佳实践

在进行数据清洗或预处理时，始终建议对关键数据集使用 .copy()，以避免 SettingWithCopyWarning 警告和数据意外污染。

6. select_dtypes()：按数据类型筛选列

功能说明

select_dtypes() 的作用是，基于 dtypes 的列返回数据帧列的一个子集。这个函数的参数可设置为包含所有拥有特定数据类型的列，亦或者设置为排除具有特定数据类型的列。

代码示例

# 使用之前的 dataframe
framex = df.select_dtypes(include="float64")

# 返回只有 float64 类型的列
print(framex.columns)

应用场景

常用于数据探索阶段，快速识别哪些列是数值型、对象型或日期型，从而决定后续的处理策略（如数值计算或文本处理）。

补充：pivot_table() 透视表

最后，pivot_table() 也是 Pandas 中一个非常有用的函数。如果对 Excel 中的透视表有所了解，那么就非常容易上手了。它可以用于汇总、平均、计数等聚合操作。

# 创建样本数据
school = pd.DataFrame({
    'A': ['Jay', 'Usher', 'Nicky', 'Romero', 'Will'],
    'B': ['Masters', 'Graduate', 'Graduate', 'Masters', 'Graduate'],
    'C': [26, 22, 20, 23, 24]
})

# 创建透视表
table = pd.pivot_table(
    school, 
    values='A', 
    index=['B', 'C'], 
    columns=['B'], 
    aggfunc=np.sum, 
    fill_value="Not Available"
)
print(table)

总结

本文详细介绍了 Pandas 数据统计包的 6 种高效函数：

1. read_csv(nrows=n)：优化大文件读取；
2. map()：Series 元素映射；
3. apply()：行列级函数应用；
4. isin()：高效布尔过滤；
5. copy()：数据副本隔离；
6. select_dtypes()：类型筛选。

熟练掌握这些函数，能够显著提升数据分析的效率与代码质量。在实际项目中，建议结合具体业务场景灵活运用，并注意内存管理与性能优化。