财新传媒 财新传媒

阅读:0
听报道

作者:集智小仙女

序列模型作为自然语言处理领域的一类重要模型,已经是老生常谈了,然而从2017年5月开始的Facebook与Google的论文大战,将序列模型的讨论重新引上了一个高峰!

2017年5月,Facebook AI Research发布了一篇论文《Convolutional Sequence to Sequence Learning》,文中指出其“ConvS2S”模型在机器翻译任务中取得了极其出众的效果,并且仅需要很短的训练时间。

三国鼎立——机器翻译模型最新发展|集智AI学园

看到别人家的模型已经如此优秀,AI科技大佬Google当然不干了!

三国鼎立——机器翻译模型最新发展|集智AI学园

仅仅一个月后,Google团队就发布了另一篇论文《Attention is All You Need》,不仅宣称自己的模型“ Transformer”在机器翻译的任务中将水平提高了2 BLEU,还特别强调了其模型所需要的训练时间比Facebook的“ConvS2S”还要短!

三国鼎立——机器翻译模型最新发展|集智AI学园

正在Facebook与Google在机器翻译任务上的角逐愈发激烈时,Microsoft也不甘示弱,推出了自己的“Neural Phrase-based“模型,声称新模型性能优越且完全抛弃了注意力机制,箭头直指Google Facebook。

三国鼎立——机器翻译模型最新发展|集智AI学园

三家巨头互掐互撕,毫不想让,竟成了AI时代的三国鼎立之势。

那么不管是Facebook提出的“ConvS2S“,还是Google极力推崇的将“Attention”发挥到极致的“Transformer ”,还是由微软鼓吹的反其道而行之的“Neural Phrase-based ”,这些模型凭什么能在机器翻译领域独当一面?它们都有什么特点,各有什么不同?别着急,且由来自北京师范大学的青年才俊龚力,为你细细道来。

课程内容:

  • Seq2Seq模型与 “RNN Attention Based MT”简介

  • ConvS2S 模型详解

  • Transformer MT 模型分析

  • Neural Phrase-based MT 模型

  • 序列模型最新进展讨论

观看方式:

“三国鼎立”机器翻译模型最新发展

http://campus.swarma.org/gpac=116?src=1

推荐阅读

重磅课程:打造你自己的聊天机器人|李嫣然

集智课程推荐|厉害了我的GAN

系列课程:从知识图谱到表征学习|集智AI学园

朱瑞鹤:浅谈强化学习|集智AI学园

吐血推荐:超级好用的深度学习云平台Floyd|集智AI学园


关注集智AI学园公众号

获取更多更有趣的AI教程吧!

搜索微信公众号:swarmAI

集智AI学园QQ群:426390994

学园网站:campus.swarma.org

话题:



0

推荐

集智俱乐部

集智俱乐部

504篇文章 2年前更新

集智俱乐部,英文名Swarma Club,成立于2003年,是一个从事学术研究、享受科学乐趣的探索者的团体。它倡导以平等开放的态度、科学实证的精神,进行跨学科的研究与交流,力图搭建一个中国的“没有围墙的研究所”。公众号:集智俱乐部,官网:swarma.org。

文章