人工智能的学术泡沫

近日,来自于Science的一篇社论表示,研究人员对数十项号称“人工智能里程碑”的信息检索算法进行了详细研究,结果发现,它们远没达到它们所声称的那种革命性。研究人员认为,这些算法实际只不过是对早前算法技术做了细微调整而已。

这篇名为《Core progress in AI has stalled in some fields》的文章来自于麻省理工学院研究员Davis Blalock,他的团队仔细研究了81种神经网络算法,发现这些被认为“取得了进一步成就”的算法,无法确认有任何实质上的改进。Blalock说:“看了五十篇论文,唯一看明白的事情是,现在整体水平的进展如何是越来越难看明白了。”

过去十年的人工智能技术进步十分亮眼,复杂检索、面部识别、智能摄像、语音识别、智能翻译等领域各自都取得了指数级别的增长,虚拟现实的技术水平也愈发出色。这些成就很大程度上归功于硬件上的迭代更新,当然也不乏算法改进所起到的推进作用。

但该文章却明确指出,尽管许多新算法都声称自己具备更优秀的表现,但是它们很少得到恰当的对比。研究人员在将它们进行对比评估后,发现人工智能算法上的某些改进实际上是子虚乌有,在过去十年中没有明确证据可以表明其算法性能出现提升。研究人员表示,通过对旧有算法的细微调整,它们完全可以拿来与那些被高度吹捧的新改进、新方法一样应用。并且在许多情况下,新方法并不对旧方法表现出优越性。

卡内基梅隆大学计算机科学家 Zico Kolter也有同样的发现。Kolter曾经研究一种用于抵御黑客攻击的图像识别模型。此类黑客攻击名为“对抗攻击”,它依靠巧妙地更改代码来绕过系统防火墙。而早期针对此类黑客攻击的是一种名为PGD(projected gradient descent)的算法,它可以通过训练AI系统来区分代码示例的真伪。这项方案颇为可靠,但据说已被更为复杂的新进算法所超越。

但是,在预印本平台arXiv 发表的一篇论文中,Kolter 却发现,只需要在PGD等早期方法的基础之上微作调整,其能够达到的性能就与所谓的新算法完全相同了。Kolter 的博士生 Leslie Rice表示:“我们感到震惊,这一点在此前从未被质疑过。”Kolter说,该这项研究表明 ,在PGD 这类算法上进一步改进或许很难实现,因为“很显然,PGD 就是正确的算法,这是显而易见的,但人们想要找到更复杂的解决方案。”

图片来源:X. LIU / SCIENCE

Science的一篇评论文章对搜索引擎中使用的信息检索算法进行了荟萃分析,分析数据涵盖了近十年(截至2019年)的数据,结果发现最高水准实际上在2009年就已奠定。(如上图所示)而19年的另一项研究声称,在流服务中的神经网络推荐算法里,18 种推荐算法中仅有7 种得以成功复现,而且其中 6 个在性能上无法超越多年前开发的更简单算法。

MIT 计算机科学家 John Guttag 表示,过去十年来,人工智能的某些领域显然缺乏重大进展,这应当归咎于无法正确比较和评估成果水准 。“如果你无法衡量一件事,就很难让它变得更好。”Kolter则推测,将成果挂名在新算法上得到的回报更丰厚,这比仅仅对旧方法做修补调整更有吸引力。Blalock认为审稿人应该借用更多方法对成果进行比对评估,并表示更好的工具或许可以事半功倍。事实上,文章的共同作者、MIT 研究人员 Jose Gonzalez Ortiz就推出了一款名为 ShrinkBench 的软件,帮助人们快捷地比较算法。

不过Guttag 也指出,将算法之间进行比较并不总是那么容易,实现起来具有一定难度。每个研究者都使用不同的数据集、调试方法、性能度量指标和基线,要去进行一一对应的比较是很麻烦的。也有一些学者表示,即使新的算法在性能上并未表现出对旧有算法的优越性,但也不能完全抹杀其理论价值,它或许可能作为一种新的解决思路应用在其他问题上,扮演它山之石的角色也未可知。

但一个不能忽视的现象是,AI领域近年来的“大跃进”导致了文献的井喷式爆发,文献数量的增多、资源的超量汇聚则令作者们倾向于夸大成果。而便捷直观的评价手段又十分缺乏,这就导致了整个学术领域开始膨胀起一个个“学术泡沫”,这无疑是不利于学术发展的。

从“概念刷屏”,到资本涌入,再到泡沫破灭,最终复归实际,这四步似乎是任何新技术都难以逃过的铁律。而人工智能更是因循这样的轨迹“三起三落”。现如今深度学习、神经网络等研究势不可挡,但也有人认为这不过是更大的一次泡沫而已。这或许过于悲观。人工智能近几年熠熠生辉的成果是为人所共同见证的,这的确在指引着一个新的时代。但泡沫也确实存在,学者们对成果夸大的批评即说明了这一事实。技术发展有其内在逻辑,资本过度追捧在学术圈所激起的泡沫,只能是贻害无穷。

论文链接:

https://science.sciencemag.org/content/368/6494/927