关键词:
神经机器翻译
电气工程
信息增强
向量融合
特征提取
注意力机制
摘要:
神经机器翻译发展至今,在通用领域已取得很好的翻译效果,但是在低资源领域,如小语种和垂直领域都还面临着很大的困难。本文在Transformer模型的基础上,针对由于模型结构堆叠造成的底部信息丢失和信息偏重的问题,对翻译模型进行了改进,以增强编解码器输出的特征信息,得到包含更全面信息的自然语言表示向量,并使用电气工程领域内的专业语料对模型进行训练,一定程度上解决了电气领域的翻译问题,本文的主要工作如下:
1.在Transformer模型的内部进行改进,提出了一个基于向量融合的神经机器翻译模型。针对Transformer模型编解码器内部单元堆叠的结构,使用多种向量融合的方法对翻译模型编解码器内部单元的隐藏层输出和词向量进行融合,缩小顶层的编解码器单元和底层的编解码单元在语义和语法上的偏重比例,从而增强编解码器输出端的自然语言表示信息;采用搜集到的电气工程领域中英平行语料对模型进行训练,实验结果显示向量融合改进后的模型在电气工程领域内的英中翻译任务上取得了较好的翻译效果,BLEU值提升了0.93个百分点。
2.在翻译模型的外部进行改进,提出了一个融合底层信息的神经机器翻译模型。针对Transformer模型内由于编解码器单元堆叠的结构而造成的顶层单元输出和底层单元输出在语义和语法信息上偏重差距较大的问题,在翻译模型编码器侧底部额外添加了特征提取层,用于提取源语言内包含的底层信息,并将其输出传入至模型编码器进行编码,增加编码环节的特征提取层数,使得顶层编码器单元提取到更好的语义信息,然后将提取到的底层信息与顶层编码器单元的输出进行融合,实现源语言信息的增强;并在解码器底层添加残差连接的机制,将目标语言的底层信息向上传递,进一步发挥编码器底层信息融合的优势,提高模型的翻译性能。实验结果显示,融合底部信息后的翻译模型在电气工程领域内的英中翻译任务上BLEU值最多提高了2.47个百分点。