Python 数据分析实战：Numpy 与 Pandas 核心应用详解

3. 向量化运算

Numpy 的优势在于支持广播机制和向量化运算，无需循环即可对整体数组进行操作。

a = np.array([1, 2, 3])
b = np.array([4, 5, 6])

# 直接加减乘除
print(a + b)   # [5 7 9]
print(a * 2)   # [2 4 6]

三、Pandas 数据结构详解

Pandas 提供了两种主要数据结构：Series 和 DataFrame。

1. Series（一维带标签数组）

Series 由一组数据和对应的索引组成。索引可以是自定义的，不一定从 0 开始。

s = pd.Series([10, 20, 30], index=['a', 'b', 'c'])
print(s['a']) # 输出 10

2. DataFrame（表格型数据结构）

DataFrame 类似于 Excel 表格或 SQL 表，包含多列，每列可有不同的数据类型。

创建方式：

• 字典：Key 为列名，Value 为列表或 Series。
• 读取文件：Excel、CSV 等。

data = {
    '姓名': ['张三', '李四'],
    '年龄': [25, 30],
    '城市': ['北京', '上海']
}
df = pd.DataFrame(data)

索引访问：

• 按列名访问：df['姓名']
• 按位置访问：df.iloc[0] 或 df.loc[0]

四、数据清洗实战

原始数据往往存在缺失值、格式错误等问题，清洗是分析前的关键步骤。

1. 读取数据

读取 Excel 文件时建议指定 dtype 防止类型推断错误，并安装 openpyxl 引擎。

# 读取 Excel 文件
file_path = 'data/sales_data.xlsx'
df = pd.read_excel(file_path, sheet_name='Sheet1', dtype=str)

2. 重命名与类型转换

统一字段名称，并将数值列转换为正确的数值类型。

# 重命名列
df.rename(columns={'购药时间': '销售时间'}, inplace=True)

# 类型转换
df['销售数量'] = pd.to_numeric(df['销售数量'], errors='coerce')
df['应收金额'] = pd.to_numeric(df['应收金额'], errors='coerce')

3. 处理缺失值

使用 dropna 删除缺失行，或使用 fillna 填充特定值。

# 删除销售时间或社保卡号缺失的行
df = df.dropna(subset=['销售时间', '社保卡号'], how='any')

# 或者填充默认值
df['实收金额'].fillna(0, inplace=True)

4. 日期处理

将字符串日期转换为 datetime 对象以便进行时间序列分析。

# 提取日期部分并转换格式
def extract_date(time_str):
    if pd.isna(time_str):
        return None
    return time_str.split(' ')[0]

df['销售时间'] = df['销售时间'].apply(extract_date)
df['销售时间'] = pd.to_datetime(df['销售时间'], format='%Y-%m-%d', errors='coerce')

# 再次检查日期缺失情况
df = df.dropna(subset=['销售时间'])

5. 异常值处理

根据业务逻辑过滤不合理数据，例如销售数量不能为负数。

# 保留销售数量大于 0 的记录
df = df[df['销售数量'] > 0]

五、数据分析与指标计算

清洗后的数据可用于计算关键绩效指标（KPI）。

1. 去重与计数

同一人同一天多次消费视为一次有效交易。

# 去除重复记录
kpi_df = df.drop_duplicates(subset=['销售时间', '社保卡号'])
total_orders = kpi_df.shape[0]
print(f'总消费次数：{total_orders}')

2. 金额统计

计算总金额及月均消费。

total_revenue = df['实收金额'].sum()
start_time = kpi_df['销售时间'].min()
end_time = kpi_df['销售时间'].max()
days_span = (end_time - start_time).days
months_span = max(days_span // 30, 1) # 避免除以零

monthly_avg_orders = total_orders / months_span
monthly_avg_revenue = total_revenue / months_span
unit_price = total_revenue / total_orders

print(f'月份跨度：{months_span}个月')
print(f'月均消费次数：{monthly_avg_orders:.2f}')
print(f'月均消费金额：{monthly_avg_revenue:.2f}')
print(f'客单价：{unit_price:.2f}')

3. 分组聚合分析

利用 groupby 可以按不同维度（如月份、科室）汇总数据。

# 添加月份列
df['月份'] = df['销售时间'].dt.strftime('%Y-%m')

# 按月统计销售额
monthly_sales = df.groupby('月份')['实收金额'].sum().reset_index()
print(monthly_sales.head())

六、常见问题与最佳实践

1. 内存优化：对于大型数据集，注意数据类型占用空间，可使用 category 类型存储重复字符串列。
2. 链式赋值警告：修改 DataFrame 时尽量使用 .loc[] 或 .copy()，避免 SettingWithCopyWarning。
3. 性能提升：尽量避免在循环中使用 iterrows()，优先使用向量化操作或 apply()。
4. 保存结果：分析完成后，使用 to_excel 或 to_csv 导出结果。

# 保存清洗后的数据
df.to_excel('cleaned_sales_data.xlsx', index=False)

通过掌握 Numpy 的高效运算和 Pandas 的数据处理能力，可以大幅提升数据分析工作的效率与准确性。在实际项目中，结合具体业务场景灵活组合上述方法，能够解决绝大多数数据处理需求。