InfoBox：

中文名：非自回归式翻译模型

外文名：Non-Autoregressvie Translation Models (NAT)

学科：自然语言处理

实质：使用并行解码的机器翻译模型

基本定义：

非自回归式翻译模型是一种使用并行解码的机器翻译模型。不同于自回归式模型自左向右的逐词输出方式，非自回归模型并行输出所有的词，具备更高效的解码速度 。

非自回归式翻译模型的进展：

在深度学习时代，机器翻译所使用的神经网络模型基本都是自回归式模型。在自回归模型中，每一个输出词依赖于所有前面位置的输出词。早期使用的LSTM[1]或者GRU[2]模型在编码和解码中都是逐词按顺序进行计算的。近年来常用的Transformer[3]将整个训练过程并行化，但是生成时的解码过程仍然需要逐词输出。

为了将生成时的解码过程也并行化，Gu等人[4]提出了非自回归式翻译模型。非自回归式翻译模型假设给定输入之后所有的输出词条件独立，在此基础上实现并行生成。但是实际的数据中可能存在“同一个输入对应多个输出”的情况，并行生成时容易受到多个可能结果的干扰，难以输出通顺的语句。

由于生成时只进行一次并行解码的难度大，Lee等人[5]提出使用多次并行解码迭代修改生成结果。在迭代式解码的框架下，Ghazvininejad等人[6]使用了一种替换部分词的解码和训练方式，将迭代式并行解码模型的生成质量提升至自回归式模型的水平。使用迭代式解码的模型不属于严格意义上的非自回归式模型，因此也被称为半自回归模型。

虽然使用多轮迭代解码的半自回归模型拥有不错的生成质量，但在只进行一次解码时生成质量仍然较差。为了改进只有一次并行解码的纯非自回归模型，Qian等人[7]提出了建模词之间依赖关系的训练方式，使模型只进行一次并行解码也能达到自回归模型的水平。基于该训练方式的并行翻译系统在WMT2021击败了所有的自回归翻译系统，取得了德英翻译第一名，展现出并行生成方式巨大的潜力。

非自回归式翻译模型的挑战：

非自回归式翻译模型面临的一个主要的挑战是多模态问题。多模态问题指的是对于同一个输入有多个对应的输出，并行生成在这种情况下可能难以生成通顺的语句。例如“I'm happy"可以翻译成“我很高兴”或者“我很快乐”，但是并行生成在输出之前无法确定每一个位置的具体用词，因此可能会产生“我很高乐”这样的错误。

目前常用的解决方法是使用自回归式模型将训练数据进行知识蒸馏[4]。具体的知识蒸馏过程是使用训练好的自回归式模型生成新的目标语句，然后将生成的目标语句作为非自回归式模型的训练目标。尽管使用知识蒸馏确实有效地缓解了多模态问题，但也增加了非自回归式翻译模型的训练代价，并且会限制非自回归式模型在缺乏合适的模型用于知识蒸馏时的使用。

参考文献：