(资料图片)
站长之家（ChinaZ.com）5月10日 消息:AI圈大头条!谷歌大脑的NLP奠基之作、提出Transformer架构的开山鼻祖级论文 《Attention Is All Your Need》竟然出现图与代码不一致的问题。
今天，谷歌的开创性论文《Attention Is All Your Need》中变压器架构的原始图表被发现是不正确的，LayerNorm处于错误的位置。然而，一篇新论文表明，将Pre-LN和Post-LN结合起来可以解决梯度爆炸和消失的问题。
论文地址:https://arxiv.org/abs/1706.03762
代码地址:
https://github.com/tensorflow/tensor2tensor/commit/f5c9b17e617ea9179b7d84d36b1e8162cb369f25#diff-76e2b94ef16871bdbf46bf04dfe7f1477bafb884748f08197c9cf1b10a4dd78e
据悉，Transformer架构是人工智能的基石，自2017年发表以来，该论文已被引用超过7万多次。在图表中发现错误引发了对该领域其他开创性论文准确性的质疑。
图中的错误可能导致转换器体系结构的不正确实现，这可能会影响使用它构建的模型的性能。
关于使用Pre-LN还是Post-LN的讨论正在进行中，新论文中提出的两种方法的结合可能会导致人工智能模型开发的进一步发展。
（举报）
上一篇： 热点聚焦：祁阳：36万亩油菜迎来收割季 秸秆还田“变废为宝”
下一篇： 最后一页
X 关闭
2022年中国家电行业一季度报告：国内累计销售额1540亿元
31省份新增本土确诊病例2971例、本土无症状感染者21355例
南方强降雨再起 北方周末暖热回归
南方地区将有明显降水过程 黄海南部海域有大雾
吴谢宇弑母案二审因“不可抗拒原因”中止审理
无锡新发完成发行5亿元公司债券，利率为3.89%|观热点
X 关闭
240余万吨！国家电投内蒙古公司圆满完成民生供暖煤供应工作
240余万吨！国家电投内蒙古公司圆满完成民生供暖煤供应工作
厨电行业逆势增长 集成洗碗机是集成灶行业的下一个风口吗？
梦天家居2021年度净利润1.83亿元 同比增长7.04%
亚振家居发布2021年年度亏损公告 营业收入同比下降11.53%
盾安环境9.71%股份转让悬而未决 一致行动人抛出减持计划
