基于 DDPG 算法的电力市场博弈策略建模与仿真（Python 复现）

• Python 3.7
• Pytorch 1.0.1

核心代码实现

在实际开发中，市场出清逻辑是仿真的核心。下面展示考虑网络阻塞时的市场出清函数，这里定义了供给曲线和需求曲线的参数。

# 市场出清，考虑网络阻塞
def market_clearing(a_declare):
    # 供给曲线的截距和斜率
    a_real = np.array([18.0, 20.0, 25.0, 22.0, 22.0, 16.0])
    b_real = np.array([0.25, 0.20, 0.20, 0.20, 0.20, 0.25])

    # 需求曲线的截距和斜率
    c_real = np.array([120.0, 130.0, 120.0, 135.0, 150.0, 95.0, 150.0, 125.0, 100.0, 150.0,
                       90.0, 95.0, 90.0, 90.0, 160.0, 120.0, 150.0, 100.0, 95.0, 125.0]) * -1
    d_real = np.array([5.0, 5.5, 4.5, 5.0, 5.0, 3.0, 5.5, 4.0, 4.5, 5.0,
                       3.5, 3.5, 3.5, 3.5, 6.0, 5.0, 6.0, 4.5, 3.5, 4.5])

    # 机组功率上下限
    p_min = np.array([5.0, 5.0, 5.0, 5.0, 5.0, 5.0])
    p_max = np.array([100.0, 80.0, 50.0, 80.0, 50.0, 120.0])

    # 负荷需求上下限
    q_min = np.zeros(20)
    q_max = np.array([24.0, 23.63636364, 26.66666667, 27.0, 30.0,
                      31.66666667, 27.27272727, 31.25, 22.22222222, 30.0,
                      25.71428571, 27.14285714, 25.71428571, 25.71428571, 26.66666667,
                      24.0, 25.0, 22.22222222, 27.14285714, 27.77777778])

训练完成后，我们需要可视化智能体的策略变量变化，以观察其是否收敛到均衡点。

plt.plot(strategic_variables[:, 0], lw=0.5, C=C[0], alpha=0.5, label=r"$\\alpha_{1t}$")
plt.plot(strategic_variables[:, 1], lw=0.5, C=C[1], alpha=0.5, label=r"$\\alpha_{2t}$")
plt.plot([0, 10000], [20.29, 20.29], '--', C=C[0], label=r"$\\alpha_{1t}^*$")
plt.plot([0, 10000], [22.98, 22.98], '--', C=C[1], label=r"$\\alpha_{2t}^*$")
plt.xlabel(r"$t$")
plt.ylabel(r"$\\alpha_{gt}$ (\$/MHh)")
plt.title("Q-Learning (3-Bus System)")
plt.legend()
plt.savefig('Q-Learning.png', dpi=600)
plt.show()

总结与展望

当前多智能体深度强化学习方法的一个开放问题是缺乏对其收敛性的理论认识。然而，我们的实验结果表明，所提出的方法在一般情况下具有良好的收敛性。如果仅需解决纳什均衡且具备完全信息，博弈论方法仍是首选。本文提出的方法可视为博弈论方法的补充，用于分析发电商在不完全信息下的策略行为。

未来的工作主要包括三个方向：首先，应用该方法比较不同市场模式下的竞争情况；其次，增强发电商代理的功能，如参与多层次电力市场、实施负荷管理预测等；最后，将模型扩展到其他类型的市场参与者，例如零售商和消费者。