PythonAI算法
Pandas 数据统计包 6 种高效函数详解
Pandas 是 Python 核心数据分析库。介绍 read_csv 限制读取行数优化内存、map 映射替换值、apply 应用函数处理序列、isin 过滤特定值行、copy 防止引用修改、select_dtypes 按类型筛选列等 6 个高效函数。通过具体代码示例展示用法与注意事项，帮助提升数据处理效率与准确性。
Pandas 是 Python 核心数据分析库。介绍 read_csv 限制读取行数优化内存、map 映射替换值、apply 应用函数处理序列、isin 过滤特定值行、copy 防止引用修改、select_dtypes 按类型筛选列等 6 个高效函数。通过具体代码示例展示用法与注意事项，帮助提升数据处理效率与准确性。
Pandas 是 Python 环境下最强大的数据操作和分析库之一。它提供了快速、灵活且表达能力强的数据结构，旨在使处理结构化（表格化、多维、异构）和时间序列数据变得简单直观。在日常数据分析工作中，如果没有 Pandas 的支持，处理大规模数据集将变得异常困难。
然而，仅仅知道 Pandas 的存在是不够的，掌握其核心的高效函数能显著提升数据处理的速度和代码的可读性。本文将详细介绍 6 种在 Pandas 中极为常用且高效的函数，通过实际代码示例展示它们的应用场景及注意事项。
Pandas 适用于以下各类数据：
Pandas 擅长处理的特性包括：
大多数人都会犯的一个错误是，在不需要完整数据的情况下仍会完整地读取 CSV 文件。如果一个未知的 CSV 文件有 10GB，那么读取整个文件将会非常不明智，不仅要占用大量内存，还会花费很多时间进行 I/O 操作。
我们需要做的只是从 CSV 文件中导入几行预览数据，之后根据需要继续导入或使用 chunksize 参数分块读取。
import pandas as pd
import io
import requests
# 使用在线数据集作为示例
url = "https://raw.githubusercontent.com/vincentarelbundock/Rdatasets/master/csv/datasets/AirPassengers.csv"
s = requests.get(url).content
# 只读取前 10 行，节省内存
df = pd.read_csv(io.StringIO(s.decode('utf-8')), nrows=10, index_col=0)
print(df.head())
对于大型文件，建议结合 chunksize 参数进行迭代处理，避免一次性加载所有数据到内存。
map() 函数根据相应的输入来映射 Series 的值。它用于将一个 Series 中的每个值替换为另一个值，该值可能来自一个函数、也可能来自于一个 dict 或 Series。
import numpy as np
# 创建 DataFrame
dframe = pd.DataFrame(np.random.randn(4, 3), columns=list('bde'),
index=['India', 'USA', 'China', 'Russia'])
# 定义格式化函数
changefn = lambda x: '%.2f' % x
# 对特定列应用 map 函数
dframe['d'] = dframe['d'].map(changefn)
print(dframe)
map() 仅适用于 Series 对象。如果需要在 DataFrame 上操作，通常配合 apply() 使用，或者先提取列再映射。
apply() 允许用户传递函数，并将其应用于 Pandas 序列中的每个值，也可以按行或按列应用。它是 Pandas 中最灵活的函数之一。
# 定义最大值减最小值的函数
fn = lambda x: x.max() - x.min()
# 对每一列应用此函数
result = dframe.apply(fn)
print(result)
可以通过指定 axis 参数控制应用方向：
axis=0：对每一列应用（默认）；axis=1：对每一行应用。虽然 apply() 很灵活，但在处理数值型数据时，向量化操作（Vectorization）通常比 apply() 更快。仅在逻辑复杂无法向量化时使用 apply()。
isin() 用于过滤数据帧。它有助于选择特定列中具有特定（或多个）值的行。返回一个布尔 Series，可用于筛选。
# 假设 df 包含 value 和 time 列
filter1 = df["value"].isin([112])
filter2 = df["time"].isin([1949.000000])
# 组合条件筛选
df_filtered = df[filter1 & filter2]
print(df_filtered)
相比传统的循环遍历，isin() 利用了底层 C 实现，速度极快，且代码简洁易读。
当一个数据帧分配给另一个数据帧时，如果对其中一个数据帧进行更改，另一个数据帧的值也将发生更改（浅拷贝行为）。为了防止这类问题，可以使用 copy() 函数。
# 创建样本 Series
data = pd.Series(['India', 'Pakistan', 'China', 'Mongolia'])
# 直接赋值（引用）
data1 = data
# 修改 data1 会影响 data
data1[0] = 'USA'
print(data) # 输出：USA, Pakistan...
# 使用 copy() 创建独立副本
data2 = data.copy()
data2[1] = 'Changed value'
print(data) # 原始数据未变
print(data2) # 副本已变
在进行数据清洗或预处理时，始终建议对关键数据集使用 .copy()，以避免 SettingWithCopyWarning 警告和数据意外污染。
select_dtypes() 的作用是，基于 dtypes 的列返回数据帧列的一个子集。这个函数的参数可设置为包含所有拥有特定数据类型的列，亦或者设置为排除具有特定数据类型的列。
# 使用之前的 dataframe
framex = df.select_dtypes(include="float64")
# 返回只有 float64 类型的列
print(framex.columns)
常用于数据探索阶段，快速识别哪些列是数值型、对象型或日期型，从而决定后续的处理策略（如数值计算或文本处理）。
最后，pivot_table() 也是 Pandas 中一个非常有用的函数。如果对 Excel 中的透视表有所了解，那么就非常容易上手了。它可以用于汇总、平均、计数等聚合操作。
# 创建样本数据
school = pd.DataFrame({
'A': ['Jay', 'Usher', 'Nicky', 'Romero', 'Will'],
'B': ['Masters', 'Graduate', 'Graduate', 'Masters', 'Graduate'],
'C': [26, 22, 20, 23, 24]
})
# 创建透视表
table = pd.pivot_table(
school,
values='A',
index=['B', 'C'],
columns=['B'],
aggfunc=np.sum,
fill_value="Not Available"
)
print(table)
本文详细介绍了 Pandas 数据统计包的 6 种高效函数：
read_csv(nrows=n)：优化大文件读取；map()：Series 元素映射；apply()：行列级函数应用；isin()：高效布尔过滤；copy()：数据副本隔离；select_dtypes()：类型筛选。熟练掌握这些函数，能够显著提升数据分析的效率与代码质量。在实际项目中，建议结合具体业务场景灵活运用，并注意内存管理与性能优化。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online