概述
在电力市场均衡分析领域，基于强化学习（RL）的博弈论方法和仿真技术得到了广泛应用。然而，现有方法存在明显局限：基于博弈论的方法通常局限于信息完整的简单市场环境，难以直观揭示策略间的默契；而传统的 RL 算法则受限于低维离散状态和动作空间，导致收敛不稳定。
针对这些挑战，我们采用了深度确定性策略梯度（DDPG）算法对发电商（GenCo）的投标策略进行建模。通过一系列仿真实验，包括发电商、负载和网络的不同配置，我们验证了该方法相较于传统 RL 算法具有更高的准确性。即便在不完全信息环境下，该方法也能成功收敛到完全信息的纳什均衡。
此外，通过定量调整发电商的等待时间参数，该方法能够直观地展示不同默契合谋水平对市场的影响，为市场策略分析提供了有力工具。
核心方法
本文提出的模型利用深度神经网络（DNN）处理高维连续数据，避免了传统方法中状态/动作空间的离散化处理。实验表明，所提出的模型可以收敛到完全的纳什均衡（NE），即使在信息不完整的环境中。
当折扣系数较小时，游戏结果对应相应阶段的 NE；相比之下，当折扣系数接近 1 时，结果变得默契勾结。所提出的模型可以反映不同的竞争水平，并找出触发临界值通过定量调整折扣系数进行默示勾结，这可能是分析战略行为的有效手段。
当前多智能体 DRL 方法的一个开放问题是缺乏对它们趋同的理论认识。然而，我们的实验结果表明所提出的方法在一般情况下具有良好的收敛性。如果只有 NE 需要解决，博弈论方法具有完全信息仍然是首选。我们提出的方法可以被视为博弈论方法的补充，用于分析 GenCos 在不完全信息下的策略信息。
运行结果
文献对比结果
[图：文献中的市场出清逻辑示意图]
[图：文献中的竞价策略收敛曲线]
代码运行结果
[图：3 节点系统 Q-Learning 收敛曲线]
[图：Agent 策略变量变化趋势]
[图：市场出清价格波动]
[图：不同耐心参数下的合谋程度]
- Python 3.7
- Pytorch 1.0.1
代码实现
以下是核心的市场出清函数及绘图部分。在实际编写时，注意供给曲线和负荷参数的初始化。
import numpy as np
import matplotlib.pyplot as plt
# 市场出清，考虑网络阻塞
def market_clearing(a_declare):
# 供给曲线的截距和斜率
a_real = np.array([18.0, 20.0, 25.0, 22.0, 22.0, 16.0])
b_real = np.array([0.25, 0.20, 0.20, 0.20, 0.20, 0.25])
# 需求曲线的截距和斜率
c_real = np.array([120.0, 130.0, 120.0, 135.0, 150.0, 95.0, 150.0, 125.0, 100.0, 150.0,
90.0, 95.0, 90.0, 90.0, 160.0, 120.0, 150.0, 100.0, 95.0, 125.0]) * -1
d_real = np.array([5.0, 5.5, 4.5, 5.0, 5.0, 3.0, 5.5, 4.0, 4.5, 5.0,
3.5, 3.5, 3.5, 3.5, 6.0, 5.0, 6.0, 4.5, 3.5, 4.5])
# 机组功率上下限
p_min = np.array([5.0, 5.0, 5.0, 5.0, 5.0, 5.0])
p_max = np.array([100.0, 80.0, 50.0, 80.0, 50.0, 120.0])
# 负荷需求上下限
q_min = np.zeros(20)
q_max = np.array([24.0, 23.63636364, 26.66666667, 27.0, 30.0,
31.66666667, 27.27272727, 31.25, 22.22222222, 30.0,
25.71428571, 27.14285714, 25.71428571, 25.71428571, 26.66666667,
24.0, 25.0, 22.22222222, 27.14285714, 27.77777778])
# ... (后续计算逻辑)
绘图部分展示了策略变量的收敛过程，这里使用了 LaTeX 格式标记坐标轴标签，确保图表的专业性。
plt.plot(strategic_variables[:, 0], lw=0.5, C=C[0], alpha=0.5, label=r"$\alpha_{1t}$")
plt.plot(strategic_variables[:, 1], lw=0.5, C=C[1], alpha=0.5, label=r"$\alpha_{2t}$")
plt.plot([0, 10000], [20.29, 20.29], '--', C=C[0], label=r"$\alpha_{1t}^*$")
plt.plot([0, 10000], [22.98, 22.98], '--', C=C[1], label=r"$\alpha_{2t}^*$")
plt.xlabel(r"$t$")
plt.ylabel(r"$\alpha_{gt}$ (\$/MHh)")
plt.title("Q-Learning (3-Bus System)")
plt.legend()
plt.savefig('Q-Learning.png', dpi=600)
plt.show()
总结与展望
未来的工作主要包括三个方向：首先，应用所提出的方法来比较不同市场模式下的竞争；其次，增强 GenCo 代理的功能，例如参与多层次电力市场，实施负荷管理预测、自我调度和风险管理；最后，将模型扩展到其他类型的市场参与者，例如零售商和消费者。