同文译馆
翻译科技-同文译馆
当前位置:首页> 翻译科技> AI考官自动评估AI翻译结果 达摩院获WMT2021第一

AI考官自动评估AI翻译结果 达摩院获WMT2021第一

时间:2021/8/25 来源:C114通信网 浏览次数:4016
记者近日获悉,在业界权威的WMT2021国际机器翻译大赛上,阿里巴巴达摩院翻译团队打造的翻译质量评估系统,在极具挑战的 Sentence-level Direct Assessment  QE Shared Task 2021质量估计比赛上获得第一名。该系统堪比AI考官,能够自动给AI翻译的结果打分,以此不断优化翻译模型,提升AI翻译的质量。
 
国际机器翻译大赛WMT已有15年历史,其赛事众多。其中包括较为常见的翻译任务,比如将新闻从英文翻译为中文,其质量好坏评估是用人类译文来做参考,越接近越好,即BLEU值越高越好。大会还有更为挑战的翻译质量估计比赛,参赛者需要创造一套AI系统,在没有人类参考译文的情况下,自动评估机器翻译的质量,因为真实世界就是如此,很少有人类标准答案。
 
达摩院翻译团队打造的AI考官,参与了Sentence-level Direct Assessment任务的全部11项子任务,获得总平均分第一,从华为、Unbabel等国内外资深团队中脱颖而出。其中,达摩院在7项有样本的语向中获得5项第一,分别为英语-中文、罗马尼亚语-英语、爱沙尼亚语-英语、尼泊尔语-英语、俄语-英语;在4项零样本(zero-shot)语向中获得3项第一,分别为英语-捷克语、普什图语-英语、高棉语-英语。
 
据介绍,该项目的创新之处在于,达摩院翻译团队在大规模预训练模型和迁移学习的基础上,改进了机器翻译的“白盒”特征,洞悉了机器翻译模型的内部状态和原理,包括非常重要的翻译解码概率。与此同时,他们还发现了新的重要质检特征,先使用Levenshtein算法和Masked语言模型对原文进行适度加噪,然后利用待评估质量的翻译模型提取相应的译文解码概率,结果发现它与译文质量紧密相关。更关键的是,研究团队验证发现,这些创新方法能够跨语言通用,在多语向项融合的翻译质量估计模型训练过程中也表现优秀,有望推动机器翻译整个领域的进步。
 
达摩院AI考官已用于阿里多个业务场景,包括全球速卖通AliExpress、Lazada、钉钉、阿里云技术文档等,能实时监测线上翻译质量,定向优化翻译模型,让这些场景里的机器翻译性能提升5%-15%不等。
 
据了解,这是达摩院翻译团队第二次参与WMT的翻译质量估计比赛,2018年他们曾获得英-德、德-英语向句子级别和词级别等六项质量估计子任务冠军。达摩院翻译团队近两年在国际顶会上发表论文100余篇,已实现214种语言的高质量翻译,日调用量突破13亿次,创造了多项世界纪录。他们还揭榜了工信部人工智能产业创新重点任务中的智能翻译系统,在2021年第一期评比中荣获优胜单位。
 
转自:C114通信网
(编辑:T-win
微信