详解 Python 数据处理库 Pandas 使用方法

三、数据查看和筛选

1. 查看数据

pandas 库提供了多种方法来查看数据，包括查看数据头部、尾部、摘要统计信息等。

import pandas as pd

# 查看数据头部（默认前 5 行）
print(df.head())

# 查看数据尾部（默认后 5 行）
print(df.tail())

# 查看摘要统计信息（数值列的统计描述）
print(df.describe())

# 查看数据结构信息（非数值列的信息）
print(df.info())

在上面的例子中，我们分别使用了 head()、tail()、describe() 和 info() 函数来查看数据的头部、尾部、摘要统计信息和结构信息。

2. 筛选数据

pandas 库提供了强大的功能来筛选数据，可以根据条件、索引等进行数据的筛选和提取。

import pandas as pd

# 根据条件筛选数据（布尔索引）
filtered_df = df[df['column_name'] > 10]

# 根据标签索引筛选数据
filtered_df = df.loc[1:5]

# 根据位置索引筛选数据
filtered_df = df.iloc[1:5]

# 根据列名筛选数据
selected_columns = ['column1', 'column2']
filtered_df = df[selected_columns]

在上面的例子中，我们分别根据条件、标签索引、位置索引和列名对数据进行了筛选。通过 pandas 提供的功能，我们可以方便地根据不同的需求进行数据的筛选和提取。

四、数据处理和分组操作

1. 数据处理

pandas 库提供了丰富的数据处理功能，包括数据清洗、缺失值处理、重复值处理等。

import pandas as pd

# 数据清洗（去除字符串空白字符）
df['column_name'] = df['column_name'].str.strip()

# 缺失值处理（删除包含缺失值的行）
df.dropna(inplace=True)

# 重复值处理（删除重复行）
df.drop_duplicates(inplace=True)

# 填充缺失值
df.fillna(0, inplace=True)

在上面的例子中，我们分别对数据进行了清洗、缺失值处理和重复值处理。通过 pandas 提供的功能，我们可以方便地对数据进行各种处理，使数据更加干净和规范。

2. 分组操作

pandas 库支持数据的分组操作，可以根据某些列进行分组，并进行聚合计算。

import pandas as pd

# 按列进行分组并计算平均值
grouped_df = df.groupby('column_name').mean()

# 多列分组并计算总和
grouped_df = df.groupby(['column1', 'column2']).sum()

# 多重聚合计算
grouped_df = df.groupby('category')['value'].agg(['mean', 'sum', 'count'])

在上面的例子中，我们分别按列进行了分组，并计算了平均值；另外，我们还进行了多列分组，并计算了总和。pandas 的分组操作提供了强大的功能，可以方便地进行数据聚合和分析。

五、数据合并与重塑

除了基础操作外，pandas 还支持数据合并与透视表操作，这对于复杂数据分析至关重要。

1. 数据合并

可以使用 merge 或 concat 函数合并多个 DataFrame。

import pandas as pd

# 基于键合并（类似 SQL JOIN）
merged_df = pd.merge(df1, df2, on='key_column', how='inner')

# 纵向堆叠
df_concat = pd.concat([df1, df2], axis=0)

2. 透视表

pivot_table 函数可以将长格式数据转换为宽格式，便于分析。

# 创建透视表
pivot_df = pd.pivot_table(df, values='sales', index='region', columns='product', aggfunc='sum')

六、总结

本文详细介绍了 Python 第三方库 pandas 的使用方法。通过安装和导入 pandas 库、数据导入与导出、数据查看和筛选、数据处理和分组操作、以及数据合并与重塑等示例，我们全面了解了 pandas 库在数据处理和分析中的强大功能。pandas 提供了高效的数据结构和数据操作工具，使得数据处理和分析变得更加便捷和灵活。希望本文能够帮助你理解和应用 pandas 库，提升数据处理和分析的能力。