Python 中 Pandas 库的基础使用指南

3. DataFrame

DataFrame 类似 Excel 表格，由多个 Series 拼接而成。

属性

• df.columns：列名
• df.index：行名

常见操作

import pandas as pd

df = pd.DataFrame(
    {'age': [10, 11, 12], 'name': ['tim', 'tom', 'rose'], 'income': [100, 200, 300]},
    index=['person1', 'person2', 'person3']
)
print(df)

# 修改列名
a = df.columns
df.columns = range(0, len(df.columns))
print(df.columns)

# 修改行名
print(df.index)
df.index = range(0, len(df.index))
print(df.index)

# 添加列
df['pay'] = [20, 30, 40]
print(df)

# 增加一行
df.loc['person4', ['age', 'name', 'income']] = [20, 'kitty', 200]
print(df)

# 访问某列
print(df.name)
a = df.name
b = df['name']

# 访问某些列
print(df[['age', 'name']])

# 访问行
print(df[0:2])

# 使用 loc 访问
print(df.loc[['person1', 'person3']])

# 访问某个值
print(df.loc['person1', 'name'])

# 删除列（原地）
del df['age']
print(df)

# 删除列（返回新对象）
data = df.drop('name', axis=1, inplace=False)
print(data)

# 删除行（原地）
df.drop('person3', axis=0, inplace=True)

4. 数据查询：loc 与 iloc

import pandas as pd
import numpy as np

# 生成指定日期 DataFrame
df = pd.DataFrame(
    np.arange(30).reshape(5, 6),
    index=['20180101', '20180102', '20180103', '20180104', '20180105'],
    columns=['A', 'B', 'C', 'D', 'E', 'F']
)

# loc() 方法：基于标签索引
print(df.loc['20180103', 'B'])           # 打印某个值
print(df.loc[:, 'B'])                    # 打印某列
print(df.loc['20180103':, 'B'])          # 打印某列切片
print(df.loc['20180103':, ['B', 'D']])   # 打印多列切片
print(df.loc['20180101', :])             # 打印某行
print(df.loc['20180103':, :])            # 打印某行切片

# iloc() 方法：基于位置索引
print(df.iloc[1, 2])                     # 获取某个数据
print(df.iloc[:, 2])                     # 获取某列
print(df.iloc[:, [1, 3]])                # 获取某几列
print(df.iloc[1, :])                     # 获取某行
print(df.iloc[[1, 2, 4], :])             # 获取某些行

5. 数据导入与导出

读取 CSV

# 默认第一行为列名
pd.read_csv('文件名')

# 无列名时设置 header=None
pd.read_csv('文件名', header=None)

读取 Excel

pd.read_excel('文件名')

读取 TXT

# sep 指定分隔符
pd.read_txt('文件名', sep=',', header=None)

导出文件

# 导出 CSV，index=True 表示包含行索引
df.to_csv('导出.csv', index=True)

# 导出 Excel 方法类似
df.to_excel('导出.xlsx')

6. 缺失值处理

isnull()

判断空值位置，空值输出 True，否则 False。

fillna()

填充缺失值，通常将全部缺失值填充为同一数值。

dropna()

删除包含缺失值的整行数据。

7. 重复值处理

duplicated()

查找重复位置，重复输出 True，否则 False。

根据列名判断重复

# 参数为文件中的列名
duplicated('列名 1', '列名 2')

提取重复行信息

通过布尔索引提取输入为 True 的整行数据。

删除重复行

使用 drop_duplicates() 删除重复的行。

8. 数据过滤与抽取

条件筛选

# 选取好评数大于 17000 的信息
df_1 = df[df['好评数'] > 17000]

字符串匹配

# str.contains 对列元素进行匹配，存在输出 True
# na=False 表示缺失项不输出具体信息
series.str.contains('参数', na=False)

逻辑运算

使用 &（和）、|（或）组合多个条件。

9. 数据框合并

使用 concat() 函数进行合并。

import pandas as pd
import numpy as np

df_1 = pd.DataFrame(np.arange(12).reshape(3, 4))
df_2 = 2 * df_1

# 竖向合并
new_df1 = pd.concat([df_2, df_1])

# 横向合并
new_df2 = pd.concat([df_1, df_2], axis=1)

# join 参数：inner 表示交集，outer 表示并集
df_3 = pd.DataFrame(np.arange(12).reshape(3, 4), index=['A', 'B', 2])
new_df3 = pd.concat([df_1, df_3], axis=1, join='inner')
new_df4 = pd.concat([df_1, df_3], axis=1, join='outer')