Python 数据分析与可视化实战指南

q1 = data['Salary'].quantile(0.25)
q3 = data['Salary'].quantile(0.75)
iqr = q3 - q1

outliers = data[(data['Salary'] < (q1 - 1.5 * iqr)) | 
                (data['Salary'] > (q3 + 1.5 * iqr))]
print("异常值:\n", outliers)

# 移除异常值
data = data[~data['Salary'].isin(outliers['Salary'])]

数据转换

调整数据类型以适应分析需求，例如将年龄转为整数：

data['Age'] = data['Age'].astype(int)

数据分析

描述性统计

快速获取数据的集中趋势和离散程度：

statistics = data.describe()
print(statistics)

分组分析

按特定条件分组并聚合统计量，例如计算不同年龄的平均工资：

grouped_data = data.groupby('Age')['Salary'].mean().reset_index()
print(grouped_data)

时间序列分析

若数据包含时间戳，可进行时间维度分析：

data['Date'] = pd.date_range(start='1/1/2020', periods=len(data), freq='M')
data.set_index('Date', inplace=True)
monthly_data = data.resample('M').sum()
print(monthly_data)

数据可视化

基本绘图

使用 matplotlib 绘制柱状图展示薪资分布：

import matplotlib.pyplot as plt

plt.figure(figsize=(10, 6))
plt.bar(data['Name'], data['Salary'], color='skyblue')
plt.title('Salary by Name')
plt.xlabel('Name')
plt.ylabel('Salary')
plt.show()

Seaborn 高级图表

Seaborn 提供更美观的样式，如箱型图：

import seaborn as sns

plt.figure(figsize=(10, 6))
sns.boxplot(x='Age', y='Salary', data=data)
plt.title('Salary Distribution by Age')
plt.show()

热力图

通过相关性矩阵观察变量间关系：

correlation_matrix = data[['Age', 'Salary']].corr()
print(correlation_matrix)

plt.figure(figsize=(10, 6))
sns.heatmap(correlation_matrix, annot=True, cmap='coolwarm')
plt.title('Correlation Heatmap')
plt.show()

案例研究：销售数据分析

实际场景中，我们常需处理完整的业务数据流。以下是一个销售数据分析的完整流程。

数据导入与预处理

读取销售数据并检查缺失值：

sales_data = pd.read_csv('sales_data.csv')
print(sales_data.isnull().sum())

# 填充缺失值
sales_data['Quantity'].fillna(0, inplace=True)
sales_data['Price'].fillna(sales_data['Price'].median(), inplace=True)

数据分析

计算总销售额并按产品汇总：

sales_data['TotalSales'] = sales_data['Quantity'] * sales_data['Price']
product_sales = sales_data.groupby('Product')['TotalSales'].sum().reset_index()

数据可视化

展示各产品的销售表现：

plt.figure(figsize=(12, 6))
sns.barplot(x='Product', y='TotalSales', data=product_sales)
plt.title('Total Sales by Product')
plt.xticks(rotation=45)
plt.show()

完整代码示例

整合上述步骤的完整脚本如下：

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns

# 1. 生成示例销售数据
data = {
    'OrderID': range(1, 11),
    'Product': ['A', 'B', 'C', 'A', 'B', 'C', 'A', 'B', 'C', 'A'],
    'Quantity': [5, 2, 0, 3, 1, 4, 6, 7, 0, 2],
    'Price': [10.0, 20.0, 15.0, 10.0, 20.0, 15.0, 10.0, 20.0, 15.0, 10.0],
    'Date': pd.date_range(start='2023-01-01', periods=10, freq='D')
}
sales_data = pd.DataFrame(data)

# 2. 数据预处理
print(sales_data.isnull().sum())
sales_data['Quantity'].fillna(0, inplace=True)
sales_data['Price'].fillna(sales_data['Price'].median(), inplace=True)

# 3. 计算总销售额
sales_data['TotalSales'] = sales_data['Quantity'] * sales_data['Price']

# 4. 按产品分组汇总
product_sales = sales_data.groupby('Product')['TotalSales'].sum().reset_index()

# 5. 可视化
plt.figure(figsize=(10, 6))
sns.barplot(x='Product', y='TotalSales', data=product_sales)
plt.title('Total Sales by Product')
plt.xlabel('Product')
plt.ylabel('Total Sales ($)')
plt.xticks(rotation=45)
plt.show()

这个案例展示了从数据生成到最终可视化的全流程。实际工作中，数据分析往往是迭代的，根据业务需求不断调整清洗和分析策略。掌握这些核心技能，能帮助你更高效地从数据中提取价值。