面向未来的同步翻译增量转换器

同声传译是机器翻译的一种，在阅读源句子时生成输出。可用于现场字幕或同声传译。然而，当前的策略计算速度低，缺乏未来源信息的指导。这两个弱点被最近提出的一种称为未来引导增量变换器的方法克服了。

它使用平均嵌入层来汇总消耗的源信息，避免耗时的重新计算。通过知识蒸馏嵌入一些未来信息来增强预测能力。结果表明，与当前使用的模型相比，训练速度提高了约 28 倍。中英、德英同声传译任务的翻译质量也有所提高。

同声传译(ST)在阅读源句的同时同步开始翻译，在很多在线场景中都有使用。之前的wait-k策略简洁，在ST中取得了不错的效果。然而，wait-k 策略面临两个弱点：重新计算隐藏状态导致的低训练速度和缺乏指导训练的未来源信息。对于低训练速度，我们提出了一种带有平均嵌入层 (AEL) 的增量 Transformer，以加快训练过程中隐藏状态的计算速度。对于未来导向的训练，我们提出了一个传统的 Transformer 作为增量 Transformer 的老师，并尝试通过知识蒸馏将一些未来的信息无形地嵌入模型中。我们在汉英和德英同声翻译任务上进行了实验，并与 wait-k 策略进行了比较以评估所提出的方法。我们的方法可以有效地将不同 k 下的训练速度平均提高约 28 倍，并在模型中隐式嵌入一些预测能力，实现比 wait-k 基线更好的翻译质量。

标签：