MarianCG：受机器翻译启发的代码生成 Transformer 模型

MarianCG：受机器翻译启发的代码生成模型

为什么关注代码生成

代码生成技术的核心在于从自然语言描述中直接产出可执行的代码。随着 API 应用的普及，软件开发和创新变得更容易，但工具的准确性和优化程度直接影响着开发者的生产力。如何更智能地辅助编程，一直是行业关注的焦点。

现有方案与局限

在相关工作中，我们看到了两种主要路径：一是利用树结构技术将代码表示为抽象语法树（AST），二是通过深度学习中的序列到序列模型来处理代码生成任务。前者结构严谨但灵活性受限，后者则更擅长捕捉上下文语义。

MarianCG 模型解析

这篇论文提出的 MarianCG 模型，本质上是对机器翻译技术的迁移应用。具体来说：

• 模型基础：它基于 Marian 神经机器翻译（MarianMT）模型构建，这也是微软翻译器的核心组件。
• 位置编码：为了准确表示文本中每个标记的位置，模型使用了正弦位置嵌入技术。
• 归一化策略：值得注意的是，该模型并未直接使用标准的层归一化（Layer Normalization），而是根据代码生成的特性做了相应调整。

通过微调一个机器翻译预训练语言模型，MarianCG 试图在保持翻译质量的同时，更好地适应代码生成的特殊需求。