作者:集智小仙女
序列模型作为自然语言处理领域的一类重要模型,已经是老生常谈了,然而从2017年5月开始的Facebook与Google的论文大战,将序列模型的讨论重新引上了一个高峰!
2017年5月,Facebook AI Research发布了一篇论文《Convolutional Sequence to Sequence Learning》,文中指出其“ConvS2S”模型在机器翻译任务中取得了极其出众的效果,并且仅需要很短的训练时间。
看到别人家的模型已经如此优秀,AI科技大佬Google当然不干了!
仅仅一个月后,Google团队就发布了另一篇论文《Attention is All You Need》,不仅宣称自己的模型“ Transformer”在机器翻译的任务中将水平提高了2 BLEU,还特别强调了其模型所需要的训练时间比Facebook的“ConvS2S”还要短!
正在Facebook与Google在机器翻译任务上的角逐愈发激烈时,Microsoft也不甘示弱,推出了自己的“Neural Phrase-based“模型,声称新模型性能优越且完全抛弃了注意力机制,箭头直指Google Facebook。
三家巨头互掐互撕,毫不想让,竟成了AI时代的三国鼎立之势。
那么不管是Facebook提出的“ConvS2S“,还是Google极力推崇的将“Attention”发挥到极致的“Transformer ”,还是由微软鼓吹的反其道而行之的“Neural Phrase-based ”,这些模型凭什么能在机器翻译领域独当一面?它们都有什么特点,各有什么不同?别着急,且由来自北京师范大学的青年才俊龚力,为你细细道来。
课程内容:
-
Seq2Seq模型与 “RNN Attention Based MT”简介
-
ConvS2S 模型详解
-
Transformer MT 模型分析
-
Neural Phrase-based MT 模型
-
序列模型最新进展讨论
观看方式:
“三国鼎立”机器翻译模型最新发展
http://campus.swarma.org/gpac=116?src=1
推荐阅读
关注集智AI学园公众号
获取更多更有趣的AI教程吧!
搜索微信公众号:swarmAI
集智AI学园QQ群:426390994
学园网站:campus.swarma.org
0
推荐