清华、谷歌等10篇强化学习论文解读

Reinforcement Learning for Relation Classification from Noisy Data

总结：现有的关系分类方法主要有两个局限性：无法进行sentece-level的关系分类；依赖远程监督（distant supervision）标注的数据，但标注数据中存在较大误差。本文介绍了一个sentence-level的关系分类算法。算法由两个部分组成，分别是'instance selector'和'relation classifier'。Instance selector用于选取质量高的句子作为relation classifier的训练数据，该过程可以看做一个强化学习问题。作者分别定义了Instance selector的动作空间，状态空间和奖励函数，并给出了基于Policy Gradient的优化方法。

Learning Structured Representation for Text Classification via Reinforcement Learning

总结：本文提出了一个基于深度学习的句子表示算法，可以针对任务学习句子的结构化表示。该算法不需要解析树或其他显示的结构化表示标注作为输入，而是通过训练数据自动效识别与任务相关的句子结构。作者使用强化学习的方法构建任务相关的句子结构表示，模型由三部分组成，分别是Policy Network（PNet），Structured Representation Model和Classification Network（CNet），PNet为句子产生一个动作序列，Structured Representation Model将动作序列转化为结构化表示，CNet提供奖励信号，模型参数可以使用Policy Gradient方法优化。

Neural Network Dynamics for Model-Based Deep Reinforcement Learning with Model-Free Fine-Tuning

总结：本文提出了一种新的model-based的强化学习学法，并可以用于初始化model-free的算法。作者提出的model-based算法使用神经网络拟合动力学模型，并结合了MPC（model predictive control）。作者使用model-based优化得到的动力学模型作为model-free算法的初始化，可以同时保留model-based算法样本复杂度小，model-free算法泛化能力强两方面的优势。

Learning to Collaborate：Multi-ScenarioRanking via Multi-Agent Reinforcement Learning

总结：本文提出了一个多场景联合排序算法，目标是提高多场景的整体效果。多场景之间存在博弈关系，单个场景提升无法保证整体提升。本文将多场景排序看做一个完全合作，部分可观测的多智能体序列决策问题，并采用多智能体强化学习的框架建模。作者提出了MA-RDPG（Multi-Agent Recurrent Deterministic Policy Gradient）算法，利用DRQN对用户的历史信息建模，同时用DPG对连续状态和连续动作空间进行探索。

Curriculum Learning for Heterogeneous Star Network Embedding via Deep Reinforcement Learning

总结：本文将深度强化学习应用到了异构星型网络的表示学习中。在异构星型网络表示的学习过程中通常需要采样一系列的边来得到点之间的相似性，作者发现这些边的顺序会显著影响表示学习的效果。作者借鉴了课程学习（Curriculum Learning）的思想，研究如何在网络表示学习中学习这些边的采样顺序。该问题可以形式化为马尔可夫决策过程，作者提出了一个基于深度强化学习的解决方法。

Soft Actor-Critic：Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor

总结：本文提出了soft actor-critic算法。该算法是一个基于最大熵强化学习的off-policy actor-critic算法，在最大化奖励的同时最大化熵，让动作尽可能随机。作者证明了算法的收敛性，并在多个benchmark上超越了已有的on-policy或off-policy的算法。