产品前沿
谷歌提出基于注意机制的全新翻译框架
谷歌最近与多伦多大学等高校合作发表论文,提出了一种新的网络框架——Transformer。Transformer是完全基于注意力机制(attention mechanism)的网络框架,放弃了RNN和CNN模型。
众所周知,在编码-解码框架中,主流的序列传导模型都是基于RNN或者CNN的,其中能完美连接编码器和解码器的是注意力机制。而谷歌提出的这一新框架Transformer,则是完全基于注意力机制的。
Transformer用于执行翻译任务,实验表明,这一模型表现极好,可并行化,并且大大减少训练时间。Transformer在WMT 2014英德翻译任务上实现了28.4 BLEU,改善了现有的最佳成绩(包括超过2个BLEU的集合模型),在WMT 2014英法翻译任务中,建立了一个新的单一模式,在八个GPU上训练了3.5天后,最好的BLEU得分为41.0,这在训练成本最小的情况下达到了最佳性能。由Transformer泛化的模型成功应用于其他任务,例如在大量数据集和有限数据集中训练英语成分句法解析的任务。
注意力机制是序列模型和传导模型的结合,在不考虑输入输出序列距离的前提下允许模型相互依赖,有时(但是很少的情况)注意力机制会和RNN结合。(雷锋网)
实时翻译插件Presentation Translator正式登陆PowerPoint
7月13日在伦敦召开的发布会上,微软宣布插件Presentation Translator正式登陆PowerPoint。这款插件于今年Build大会上发布,这款车库应用能够实时地将PPT 标题、文本内容翻译成相应的语言,与此同时还保持原有的文本格式。
目前这个 PPT 插件支持互译的语言有:阿拉伯语、汉语、英语、法语、德语、意大利语、日语、葡萄牙语、俄语、西班牙语这10种语言,以后将增加更多的语言。微软发言人提到,PPT 的即时翻译能让听不到演讲人或者翻译人员声音的聋哑人也能明白 PPT 上写的是什么。(cnBeta.COM)
谷歌最近与多伦多大学等高校合作发表论文,提出了一种新的网络框架——Transformer。Transformer是完全基于注意力机制(attention mechanism)的网络框架,放弃了RNN和CNN模型。
众所周知,在编码-解码框架中,主流的序列传导模型都是基于RNN或者CNN的,其中能完美连接编码器和解码器的是注意力机制。而谷歌提出的这一新框架Transformer,则是完全基于注意力机制的。
Transformer用于执行翻译任务,实验表明,这一模型表现极好,可并行化,并且大大减少训练时间。Transformer在WMT 2014英德翻译任务上实现了28.4 BLEU,改善了现有的最佳成绩(包括超过2个BLEU的集合模型),在WMT 2014英法翻译任务中,建立了一个新的单一模式,在八个GPU上训练了3.5天后,最好的BLEU得分为41.0,这在训练成本最小的情况下达到了最佳性能。由Transformer泛化的模型成功应用于其他任务,例如在大量数据集和有限数据集中训练英语成分句法解析的任务。
注意力机制是序列模型和传导模型的结合,在不考虑输入输出序列距离的前提下允许模型相互依赖,有时(但是很少的情况)注意力机制会和RNN结合。(雷锋网)
实时翻译插件Presentation Translator正式登陆PowerPoint
7月13日在伦敦召开的发布会上,微软宣布插件Presentation Translator正式登陆PowerPoint。这款插件于今年Build大会上发布,这款车库应用能够实时地将PPT 标题、文本内容翻译成相应的语言,与此同时还保持原有的文本格式。
目前这个 PPT 插件支持互译的语言有:阿拉伯语、汉语、英语、法语、德语、意大利语、日语、葡萄牙语、俄语、西班牙语这10种语言,以后将增加更多的语言。微软发言人提到,PPT 的即时翻译能让听不到演讲人或者翻译人员声音的聋哑人也能明白 PPT 上写的是什么。(cnBeta.COM)
(编辑:织言)