Python Pandas DataFrame 常用方法精讲

pandas.DataFrame.describe 方法

语法

pandas.DataFrame.describe(percentiles=None, include=None, exclude=None)

参数

• percentiles (可选，默认值为 None)：列表，指定要计算的百分位数的列表，所有值应该在 [0, 1] 范围内。
• include (可选，默认值为 None)：指定要包含的数据类型，可以是数据类型的字符串 (如 'number', 'object', 'bool')，或者是数据类型的列表。
• exclude (可选，默认值为 None)：指定要排除的数据类型，使用方法与 include 相同。

功能

用于生成 DataFrame 各列的描述性统计信息，它提供了数据的汇总，包括计数、均值、标准差、最小值、四分位数和最大值等，该方法对于快速了解数据分布非常有用。

返回值

返回一个 DataFrame，其中包含描述性统计信息。对于数值型列，输出包括 count、mean、std、min、25%、50%、75%、max；对于分类 (object) 类型的列，输出包括 count、unique、top、freq。

说明

1. 缺失值：该方法会自动忽略缺失值 (NaN) 进行统计。
2. 数据类型：默认情况下，describe 会根据数据类型自动选择要计算的列。
3. 自定义百分位数：可以根据需求自定义百分位数，以便更好地理解数据分布。

用法

代码示例

import pandas as pd

data = {
    'A': [1, 2, 3, 4, 5],
    'B': [10, 20, 30, 40, 50],
    'C': ['a', 'b', 'a', 'b', 'c']
}
df = pd.DataFrame(data)

# 计算描述性统计
description = df.describe()
print(description)

# 仅对数字列进行描述
description_numeric = df.describe(include=['number'])
print(description_numeric)

# 仅对象列进行描述
description_object = df.describe(include=['object'])
print(description_object)

结果输出

          A         B
count  5.000000  5.000000
mean   3.000000 30.000000
std    1.581139 15.811388
min    1.000000 10.000000
25%    2.000000 20.000000
50%    3.000000 30.000000
75%    4.000000 40.000000
max    5.000000 50.000000

      A         B
count  5.000000  5.000000
mean   3.000000 30.000000
std    1.581139 15.811388
min    1.000000 10.000000
25%    2.000000 20.000000
50%    3.000000 30.000000
75%    4.000000 40.000000
max    5.000000 50.000000

   C
count  5
unique 3
top    a
freq   2

pandas.DataFrame.diff 方法

语法

pandas.DataFrame.diff(periods=1, axis=0)

参数

• periods (可选，默认值为 1)：整数，指定计算差异时的步长，默认是计算当前行与前一行的差异。
• axis (可选，默认值为 0)：{0 或 'index', 1 或 'columns'}，指定沿着哪个方向计算差异，axis=0 表示按行计算 (纵向)，axis=1 表示按列计算 (横向)。

功能

用于计算 DataFrame 中某一列值与前一个 (或指定间隔的) 值之间的差异，这对于时间序列数据分析非常有用，尤其是在需要了解数据如何变化时。

返回值

返回一个与原 DataFrame 同大小的 DataFrame，包含每个元素的差异，其中第一个元素将会是 NaN，因为没有前一个值可供计算。

说明

1. NaN 值：由于存在没有前一个值的情况，计算出的第一行/列会包含 NaN 值。
2. 适用数据：该方法主要适用于数值型数据，对于其他类型的数据 (如字符串) 可能未按预期工作。
3. 时间序列数据：在处理时间序列数据时，使用 diff 可以帮助了解数据的变化趋势。

用法

代码示例

import pandas as pd

data = {
    'A': [10, 20, 30, 25, 15],
    'B': [100, 200, 300, 250, 150]
}
df = pd.DataFrame(data)

# 计算差异 (默认是前一行)
diff_default = df.diff()
print("默认差异：\n", diff_default)

# 计算与前两行的差异
diff_two_periods = df.diff(periods=2)
print("\n与前两行的差异：\n", diff_two_periods)

# 沿列方向计算差异
diff_axis1 = df.diff(axis=1)
print("\n沿列方向的差异：\n", diff_axis1)

结果输出

默认差异：
     A      B
0  NaN    NaN
1 10.0  100.0
2 10.0  100.0
3 -5.0  -50.0
4 -10.0 -100.0

与前两行的差异：
     A      B
0  NaN    NaN
1  NaN    NaN
2 20.0  200.0
3  5.0   50.0
4 -15.0 -150.0

沿列方向的差异：
     A    B
0  NaN   90
1  NaN  180
2  NaN  270
3  NaN  225
4  NaN  135

pandas.DataFrame.eval 方法

语法

pandas.DataFrame.eval(expr, *, inplace=False, **kwargs)

参数

• expr (必须)：字符串，要评估的表达式，该表达式可以使用 DataFrame 的列名，支持各种运算符。
• inplace (可选，默认值为 False)：布尔值，如果为 True，则在原 DataFrame 上进行修改，而不是返回一个新的 DataFrame。
• ** kwargs (可选)：额外的关键字参数，可以用于传递其他变量和参数。

功能

用于在 DataFrame 上评估一个表达式，并返回一个新的 DataFrame 或对象，该方法能够利用 numexpr(如果可用的话) 来加速计算，适合处理大型数据集的情况。

返回值

返回一个新的 DataFrame(如果 inplace=False) 或原 DataFrame(如果 inplace=True)，表达式计算的结果。

说明

1. 表达式限制：在表达式中只允许使用 DataFrame 的列名，表达式不能使用 Python 语言中的特殊功能。
2. 运算符支持：支持基本的算术运算符和一些常见的数学函数。
3. 效率：eval 方法在处理大型 DataFrame 时通常比逐列计算要快，尤其是在 numexpr 可用的情况下。

用法

代码示例

import pandas as pd

data = {
    'A': [1, 2, 3],
    'B': [4, 5, 6]
}
df = pd.DataFrame(data)

# 使用 eval 计算新列 C = A + B
df['C'] = df.eval('A + B')
print("新列 C：\n", df)

# 或者在原地修改
df.eval('D = A * B', inplace=True)
print("\n新增列 D，原地修改后：\n", df)

# 使用额外的变量
factor = 10
df['E'] = df.eval('A + B + @factor')
print("\n使用额外变量后的列 E：\n", df)

结果输出

新列 C：
   A  B  C
0  1  4  5
1  2  5  7
2  3  6  9

新增列 D，原地修改后：
   A  B  C  D
0  1  4  5  4
1  2  5  7 10
2  3  6  9 18

使用额外变量后的列 E：
   A  B  C  D   E
0  1  4  5  4  15
1  2  5  7 10  17
2  3  6  9 18  19

pandas.DataFrame.kurt 方法

语法

pandas.DataFrame.kurt(axis=0, skipna=True, numeric_only=False, **kwargs)

参数

• axis (可选，默认值为 0)：{0 或 'index', 1 或 'columns'}，计算峭度的轴，0 或 'index' 表示按列计算峭度，1 或 'columns' 表示按行计算峭度。
• skipna (可选，默认值为 True)：布尔值，是否忽略缺失值 (NaNs)，如果设置为 False，将会计算缺失值。
• numeric_only (可选，默认值为 False)：布尔值，如果设置为 True，只计算数值列的峭度，其他类型的列将会被排除。
• ** kwargs (可选)：额外的关键字参数，供底层函数使用。

功能

用于计算 DataFrame 中每一列的峭度 (Kurtosis)，峭度是描述概率分布形状的一种统计量，主要用于评估分布的尾部厚度。

返回值

返回一个 Series 或 DataFrame，包含每一列或每一行的峭度值。

说明

1. 数值类型：峭度计算仅适用于数值类型的数据，非数值类型的数据将被忽略，或者如 numeric_only=True，将会被排除。
2. 缺失值：如果数据中存在缺失值，根据 skipna 参数的设置，峭度可能会受到影响。
3. 统计性质：峭度值可以用于判断数据的分布特征：较高的峭度值表示分布的尾部较重，较低的峭度值表示分布的尾部较轻。

用法

代码示例

import pandas as pd

data = {
    'A': [4, 5, 8, 9],
    'B': [1, 2, None, 4],
    'C': [1, 1, 1, 1]
}
df = pd.DataFrame(data)

# 计算每列的峭度
kurtosis = df.kurt()
print("每列的峭度：\n", kurtosis)

# 计算每行的峭度
kurtosis_axis1 = df.kurt(axis=1)
print("每行的峭度：\n", kurtosis_axis1)

结果输出

每列的峭度：
A   -4.3391
B        NaN
C    0.0000
dtype: float64

每行的峭度：
0    NaN
1    NaN
2    NaN
3    NaN
dtype: float64