Python 数据分析入门：从环境搭建到建模实战指南

3.3 网页抓取

from bs4 import BeautifulSoup
import requests

url = 'https://www.example.com'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
title = soup.find('h1').text

4. 数据清洗与预处理

原始数据往往包含噪声或缺失值，清洗是保证分析质量的关键步骤。

4.1 处理缺失值

# 查看缺失值比例
print(df.isnull().sum() / len(df))

# 删除包含缺失值的行
df_clean = df.dropna()

# 填充缺失值（例如用均值）
mean_val = df['col'].mean()
df['col'] = df['col'].fillna(mean_val)

4.2 去除重复值

# 根据指定列去重
df_unique = df.drop_duplicates(subset=['col1', 'col2'])

4.3 数据类型转换

# 转换为整数
df['col'] = df['col'].astype(int)

# 转换为日期格式
df['date'] = pd.to_datetime(df['date'])

4.4 排序与筛选

# 升序排序
df_sorted = df.sort_values(by='col', ascending=True)

# 布尔索引筛选
df_filtered = df[df['col'] > 0]

5. 探索性数据分析与可视化

通过统计描述和图表直观了解数据分布、趋势及关联性。

5.1 统计描述

# 基本统计特征
df.describe()

# 相关系数矩阵
corr_matrix = df.corr()
print(corr_matrix)

5.2 数据可视化

# 折线图
plt.plot(df['date'], df['value'])
plt.title('Trend Analysis')
plt.show()

# 散点图
plt.scatter(df['x'], df['y'])
plt.show()

# 热力图
sns.heatmap(corr_matrix, annot=True, cmap='coolwarm')
plt.show()

# 箱线图
sns.boxplot(x='category', y='value', data=df)
plt.show()

6. 建模与分析

基于清洗后的数据进行预测或分类任务。

6.1 线性回归

X = df[['feature1', 'feature2']]
y = df['target']

model = LinearRegression()
model.fit(X, y)
predictions = model.predict(X)

print(f"Coefficients: {model.coef_}")
print(f"Intercept: {model.intercept_}")

6.2 聚类分析

from sklearn.cluster import KMeans

kmeans = KMeans(n_clusters=3, random_state=42)
labels = kmeans.fit_predict(X)
df['cluster'] = labels

6.3 时间序列分析

import statsmodels.api as sm

# 简单 ARIMA 模型示例
model = sm.tsa.ARIMA(df['time_series_data'], order=(1, 1, 1))
result = model.fit()
forecast = result.forecast(steps=10)

7. 模型评估与部署

完成建模后，需评估模型性能并考虑实际应用。

7.1 评估指标

• 均方误差 (MSE)：衡量预测值与真实值的平均平方差。
• 准确率 (Accuracy)：分类任务中正确预测的比例。
• R² 分数：回归模型拟合优度。

from sklearn.metrics import mean_squared_error, r2_score

mse = mean_squared_error(y_true, y_pred)
r2 = r2_score(y_true, y_pred)
print(f"MSE: {mse}, R2: {r2}")

7.2 结果应用

将分析结果转化为业务洞察，确保模型满足实际业务需求，并定期监控模型表现以防数据漂移。

8. 总结

本文系统介绍了 Python 数据分析的核心流程，包括环境配置、数据获取、清洗、可视化及建模。掌握这些技能有助于从数据中提取价值，支持科学决策。建议在实践中不断积累，结合具体业务场景灵活运用各类工具与算法。