Pandas 读写 CSV、TSV 及数据库实战指南

3. 操作 TSV 文件

TSV 使用制表符（Tab）作为分隔符，处理逻辑类似，只需修改 sep 参数。

# 写入 TSV，保留索引
data[:5].to_csv('my_file2.tsv', sep='\t', index=True)

# 读取 TSV，将第一列设为索引
df2 = pd.read_csv('my_file2.tsv', sep='\t', index_col=0)
print(df2)

连接 MySQL 数据库

除了文件，Pandas 也能直接与数据库交互，实现数据的持久化存储。

1. 前置准备

需要安装 pymysql 和 sqlalchemy 驱动。

pip install pymysql sqlalchemy

2. 写入数据

通过 SQLAlchemy 创建引擎对象，然后调用 to_sql。

from sqlalchemy import create_engine

# 注意：生产环境请勿硬编码密码
engine = create_engine('mysql+pymysql://root:password@localhost:3306/test?charset=utf8')

# 写入数据到表 'my_table'，if_exists='append' 表示追加模式
data.to_sql('my_table', con=engine, if_exists='append', index=False)
print('数据库写入成功！')

3. 读取数据

使用 read_sql 执行查询语句。

# 查询表中前两条记录
query = "SELECT * FROM my_table LIMIT 2"
sql_df = pd.read_sql(query, con=engine)
print(sql_df)

JSON 数据交互

JSON 是 Web 开发中常用的数据交换格式，Pandas 同样支持。

# 读取 JSON，orient='records' 适合列表结构
json_df = pd.read_json('./test.json', orient='records')

# 写入 JSON，lines=True 表示每行一个 JSON 对象
json_df.to_json('./test1.json', orient='records', lines=True)

注意：Excel 读写通常需要额外安装 openpyxl 或 xlrd 库，此处不再赘述。

数据分析实战示例

以房产数据为例，演示如何加载、清洗并进行简单分析。

1. 加载与概览

house_df = pd.read_csv('./LJhouse.csv')

# 查看基本信息
print(house_df.info())

# 查看统计指标（修正了原拼写错误 describe）
print(house_df.describe(include='all'))

# 查看数据形状
print(house_df.shape)

2. 数据清洗

原始数据列名可能包含空格或重复，需进行规范化。

# 清理列名，去除首尾空格并去重
original_cols = house_df.columns.tolist()
cleaned_cols = []
seen = set()
for col in original_cols:
    c = col.strip()
    if c not in seen:
        cleaned_cols.append(c)
        seen.add(c)

house_df.columns = cleaned_cols

3. 常见分析需求

查找极值

# 最便宜的房源
cheapest = house_df.sort_values(by='price', ascending=True).head(1)

# 最贵的房源
most_expensive = house_df.nlargest(1, 'price')

# 或者直接用筛选
max_price_house = house_df[house_df['price'] == house_df['price'].max()]

筛选特定条件

# 查找价格等于 1300 的房源
filtered = house_df[house_df['price'] == 1300]

排序与排名

# 按房龄排序，找出最新房源
newest_houses = house_df.sort_values(by='age', ascending=False).head(10)

# 获取唯一更新时间
update_times = house_df['update_time'].unique()

通过以上步骤，我们可以快速完成从数据读取、清洗到分析的全流程。在实际项目中，记得根据具体数据结构灵活调整参数。