家庭用电数据分析与 Prophet 预测

对 DataFrame 中的数值列进行统计

df.describe()

查看 DataFrame 中各列的数据类型

df.dtypes

转换数据格式

from tqdm.auto import tqdm
from ipywidgets import HBox, FloatProgress, HTML

# 将'Date'列转换为日期时间格式
df['Date'] = pd.DatetimeIndex(df['Date'])

# 定义需要转换为数字的列
make_em_num = ['Global_active_power', 'Global_reactive_power', 'Voltage', 'Global_intensity', 'Sub_metering_1', 'Sub_metering_2', 'Sub_metering_3']

# 定义一个函数，将字符串转换为浮点数，如果转换失败则返回 0
def floating(string):
    try:
        return float(string)
    except:
        return float(0)

# 遍历需要转换为数字的列
for column in tqdm(make_em_num):
    # 将列中的每个元素应用 floating 函数，转换为浮点数
    df[column] = df[column].apply(lambda item: floating(item))

# 创建一个水平布局，包含一个浮点进度条和一个 HTML 元素
HBox(children=(FloatProgress(value=0.0, max=7.0), HTML(value='')))

查看转换效果，转换后的数据类型

df.dtypes

查看转换效果，转换后的数据头部

df.head()

绘制相关系数热力图。使用 Seaborn 库中的 heatmap 函数来绘制一个热力图，展示数据框 df 中各列之间的相关性

• df.drop 表示删除名为 index、Date 和 Time 的列。axis=1 表示按列删除。
• annot=True，使得热力图上显示相关系数的具体数值。

import seaborn as sns
sns.heatmap(df.drop(['Date','Time'], axis=1).corr(), annot=True)

Prophet 预测

https://github.com/facebook/prophet

Prophet 是一种基于可加性模型预测时间序列数据的程序，其中非线性趋势可以按年度、每周和每日的季节性，以及假日效应进行拟合。它最适合于具有强烈季节效应的时间序列和有几个季节的历史数据。Prophet 对于缺失的数据和趋势的变化是稳健的，并且通常能够很好地处理异常值。

获取 DataFrame 的形状

from prophet import Prophet
df.shape

通过 Prophet 对有功功率和电压进行预测

# 从数据框中随机抽取 10000 行
df = df.sample(n=10000)

# 定义一个函数，用于使用 Prophet 模型进行预测
def prophet_forecaster(data, x, y, period=100):
    # 创建一个新的数据框，包含日期和目标变量
    new_df = pd.DataFrame(columns=['ds', 'y'])
    new_df['ds'] = data[x]
    new_df['y'] = data[y]
    
    # 创建一个 Prophet 模型
    model = Prophet()
    
    # 使用新的数据框进行模型训练
    model.fit(new_df)
    
    # 创建未来日期的数据框
    future_dates = model.make_future_dataframe(periods=period)
    
    # 使用模型进行预测
    forecast = model.predict(future_dates)
    
    # 绘制预测结果
    model.plot(forecast)
    
    # 设置图表标题
    plt.title(f"Forecasting on the next {period} days for {y}")

# 使用 Prophet 模型对 Global_active_power 进行预测
prophet_forecaster(df, x='Date', y='Global_active_power', period=180)

# 使用 Prophet 模型对 Global_reactive_power 进行预测
prophet_forecaster(df, x='Date', y='Global_reactive_power', period=180)

# 使用 Prophet 模型对 Voltage 进行预测
prophet_forecaster(df, x='Date', y='Voltage', period=180)

# 使用 Prophet 模型对 Global_intensity 进行预测
prophet_forecaster(df, x='Date', y='Global_intensity', period=180)

未来半年有功功率预测结果：

未来半年无功功率预测结果

未来半年电压预测结果：

未来半年电流预测结果

Prophet 模型

• g(t) 表示趋势函数，能够拟合非周期性变化；
• s(s) 表示周期性变化，例如每周，每年，每季节等；
• h(t) 表示假期变化，节假日通常为一天或多天；
• ϵt 为噪声项，表示随机无法预测的波动，通常假设ϵt 是高斯的。

Prophet 理念

• 趋势中有两个增长函数，分别是分段线性函数（linear）和非线性逻辑回归函数（logistic）。通过从数据中选择变化点，Prophet 自动探测趋势变化；
• 使用傅里叶级数建模每年的季节分量；
• 使用虚变量代表过去，将来的相同节假日，属于节假日就为 1，不属于就是 0;
• 用户提供的重要节假日列表
• Modeling：建立时间序列模型。分析师根据预测问题的背景选择一个合适的模型。
• Forecast Evaluation：模型评估。根据模型对历史数据进行仿真，在模型的参数不确定的情况下，我们可以进行多种尝试，并根据对应的仿真效果评估哪种模型更适合。
• Surface Problems：呈现问题。如果尝试了多种参数后，模型的整体表现依然不理想，这个时候可以将误差较大的潜在原因呈现给分析师。
• Visually Inspect Forecasts：以可视化的方式反馈整个预测结果。当问题反馈给分析师后，分析师考虑是否进一步调整和构建模型。

Prophet 优点

• 准确，快速，高效率地拟合，可以针对所需关键数据进行交互式探索
• 集成全自动流程，无需人工操作就能对混乱的数据做出合理的预测
• 可调整的预测，预测模型的参数非常容易解释，可用业务知识改进或调整预测
• 对缺失值和变化剧烈的时间序列和离散值有很好的鲁棒性，不需要填补缺失值；