近期多个国际学术顶会中稿结果陆续公布，其中火山翻译团队有数篇论文被AAAI 2022, ICASSP 2022, ICLR 2022, ACL2022等会议收录。本文选取其中6篇进行简单介绍。
AAAI 2022
Non-Autoregressive Translation with Layer-Wise Prediction and Deep Supervision
论文地址： arxiv.org/abs/2110.07…
简介：
本文研究非自回归机器翻译。非自回归翻译模型通过不考虑目标端词之间的关系建模来提升翻译的速度，但是其翻译质量通常会有所下降。本文改进了常用的 Transformer 模型，在翻译的质量的同时，保持了速度的加成。具体来说，本文在 Transformer 的解码器的每层上进行预测，并把预测的结果传递给下一层。另外，本文指出对每一层都进行监督学习的必要性，同时提出了更加高效的训练方法。在实验结果上，本文提出的模型可以在三个常用的翻译数据集上击败了自回归模型，并保持了大约15倍的加速。
ICLR 2022
switch-GLAT: Multilingual Parallel Machine Translation via Code-Switch Decoder
论文地址： openreview.net/forum?id=5H…
简介：
多语言机器翻译旨在用一个模型实现多方向的翻译功能。目前已有的多语言模型大多基于 Transformer 建模，受限于翻译性能和推理速度。在这篇论文中，我们提出一个叫做 switch-GLAT 的非自回归多语言翻译模型。给定一个源语言句子，switch-GLAT 可以自动生成上下文相关的 code-switch translations，从而做 code-switch back-translation，这个过程可以极大地提升模型翻译性能。此外，得益于其并行解码器，switch-GLAT 翻译过程非常高效。实验结果显示我们的 switch-GLAT 可以显著打败 multilingual Transformer，同时提升翻译速度至6.6倍。
ICASSP 2022
Unified Multimodal Punctuation Restoration Framework for Mixed-Modality Corpus
论文地址： arxiv.org/abs/2202.00…
简介：
标点符号修复任务旨在为自动语音识别系统(ASR)的输出文本提供正确的标点符号。而以往的标点修复模型，要么只使用文本信息，要么需要使用音频，而真实场景下，系统接触的句子往往是有音频和无音频的混合体：即存在混合模态问题。本文提出了一个统一的多模态标点修复框架，命名为 UniPunc，可以给混合模态的语句打标点。实验证明 UniPunc 比各种 SOTA 至少高出0.8的总体F1分数，并且 UniPunc 的方案在模态缺失的语料上具有普适性。
ACL 2022
Learning When to Translate for Streaming Speech
论文地址： arxiv.org/abs/2109.07…
简介：
在本文中，我们提出了 MoSST，这是一种简单而有效的用于流式语音翻译的方法。给定一个通常很长的语音序列，该方法在编码器-解码器模型中集成了一个高效的单调分割模块，以增量地积累声学信息并检测正确的语音单元边界。在 MuST-C 数据集的多个翻译方向上的实验表明，该方法优于现有方法，并在翻译质量和延迟之间取得了更优的权衡。
STEMM: Self-learning with Speech-Text Manifold Mixup for Speech Translation
论文地址： arxiv.org/abs/2203.10…
代码地址： github.com/ictnlp/STEM…
简介：
在本文中，我们提出了 STEMM，一种简单有效的用于语音翻译的方法。在训练过程中，通过跨模态 Mixup 生成同时包含语音和文本的序列，输入模型并预测翻译。在此基础上，引入一个自我学习框架，使模型根据语音序列和 Mixup 序列的输出尽可能接近。在 MuST-C 数据集8个翻译方向上的实验表明，该方法在翻译质量上相比 baseline 取得了显著的提升。
Rethinking Document-level Neural Machine Translation
论文地址： arxiv.org/abs/2010.08…
简介：
本文不打算针对篇章级机器翻译提出新的模型方法。相反，我们回归到经典的 Transformer 模型，并希望回答以下问题：对于篇章级机器翻译，当前的模型是否已具备了足够的能力？有趣的是，我们观察到，只要使用合适的训练技巧，原始的 Transformer 模型就可以在篇章级机器翻译上取得良好的效果（哪怕是超2000字的长篇章）。我们在6种语言的9个篇章级数据集和2个句子级数据集上评估了这个模型和相关的几种方法。实验表明，篇章级 Transformer 模型在一系列综合指标上都优于句子级模型和许多先前的方法，包括 BLEU、4项词级别指标、3项本文新提出的辅助语言学指标，与人工评估。
