NLP模型超越人类水平？你可能碰到了大忽悠

原文链接：https://thegradient.pub/nlps-clever-hans-moment-has-arrived/?nsukey=zGUM%2BitIg2PGgczL9OmBgiXDHkdeWy4hJYQG33fkllynu9PqhCkmZecP%2Bjrltr7xEB14BaM3FGFlyRWfJj9geFWr9cIsH%2FXosh%2B1kWc8%2BYCti2mUogfGmD8YTXENuU9X2slPjqbQOkYURwZHDx%2FnRv68UyeFpeWbEu6YIyOjk2eonxe

大数据文摘出品

来源：thegradient

编译：张睿毅、武帅、钱天培

一个军方训练的神经网络声称可以分类图像中的坦克，但实际上，它只是学会了识别不同的亮度，因为一种类型的坦克仅出现在明亮的图片中，而另一种类型仅出现在较暗的图片中。

一个游戏AI在学会了在第一关的最后故意死去，而不是在更难的第二关的开局死去，因为这样可以得到更高的分数。

AI通过某种让人啼笑皆非的奇怪方式尝试骗过人类，并达到自己的目的，这样的案例之前文摘菌总结过一大批。

模型通过学习“错误”的信息来解决任务的问题已经存在很长时间了，并被称之为“聪明汉斯效应（Clever Hans effect）”。

该效应说的是，一匹名为汉斯的马看似能完成一些简单的智力任务，但实际上只是依赖于人们给出的无意识线索。

“聪明汉斯效应（Clever Hans effect）”在图像检测领域早已有之，但最近，在一篇最新论文中，来自台湾国立成功大学的Niven和Kao指出，这一现象也正在NLP领域大受关注。脱去它的影响后，BERT也许没有我们想得那么神奇。

先附上论文链接，再一起看看这个论证过程

标签：NLP,碰到,BERT,模型,忽悠,汉斯,数据,论点
来源： https://blog.csdn.net/BigDataDigest/article/details/100697173