顶会「扩招」，一地鸡毛：ICLR2020近半数审稿人未发过相关论文
作者：互联网
昨日，ICLR 2020 评审结果放出，被大量作者吐槽，甚至有开发者统计，本次大会近半数审稿人没有在相关领域发过论文。这把不久之前刚被清华列为人工智能 A 类顶会的 ICLR，推上了风口浪尖。
昨日，ICLR2020 的审稿结果终于放出。但放榜时间比预计的要晚了一天，原因在于今年的投稿数量多到爆炸，足足有 2600 篇，所以原有的审稿人手根本不够用。要知道，ICLR 2019 大会的投稿数是 1500 篇，而 ICLR 2018 才 900 多。两年时间增长了近两倍。
提交论文数量爆炸式增长，大概率导致几种结果，要么使得审稿人超负荷运转，要么减少在每篇论文上花费的精力，或者增加审稿人数量。而审稿人数量一多，就很容易出现「滥竽充数」的情况。甚至有些深度学习顶会的审稿人会发出一些灵魂追问，如著名的：「What is softmax?」
ICLR 2020 的评审，就引发了社区的极大质疑。
谷歌大脑研究科学家 Ben Poole 就在 Twitter 上表示，「机器学习同行评审崩塌了」。
一大批论文作者们也表示赞同。一位相关领域的 PhD 学生在 Poole 的 Twitter 下留言称，「ICLR 2020 感恩有你，我和学术界从此拜拜。如果能重来，我要选 arXiv。」
另一位相关研究者说：「吐槽大会审稿已经是一个传统了。但是本次大会的审稿情况真是令人震惊。（论文的）评论更像是 Reddit 的评论，而不是严格的学术评审。老实说，我已经丧失了尝试（投稿）的动力。」
面对来自投稿者的「差评」，审稿人也大呼冤枉，表示「我们太难了……」
一位审稿人表示，自己真的在审稿方面花费了很多心血，不能一口气否定。这位审稿人审核了三篇论文，每篇用了 6 小时阅读、2 小时写评论，并在之后又一次花 1 小时看一遍，以免出问题，评审意见平均达 900 字之多。
不过有时候确实任务很繁重，一位审稿人对此回复说：「你这么做是对的，但是我可是在两周内审了八篇论文，而且我们可不是仅仅只有审文章这一个工作。」
直到审稿截止日期的最后两天，纽约大学助理教授 Sam Bowman 还在 twitter 上在线征集 ICLR 审稿人。他表示，「这是最后时刻发起的请求，实在是没有有经验的审稿人可用了」。不过，此次征集的审稿人是有一定要求的，如需要在同等级会议上发表过文章。
47% 审稿人没发过相关论文
如果说 ICLR 2020 的评审结果「一地鸡毛」，相信也是跟审稿人的背景有关的。让没有在相关领域发过文章的审稿人参与评审，被认为是这次审稿崩塌的主要原因。
在 Twitter 上，有用户统计称，ICLR2020 的审稿人中，有 47% 的人没有在相关领域发表过论文。南京大学周志华教授对此评论称，「顶会的『顶』正是因为有高水平专家把关，但现在已不可能了。」
ICLR 大会最初由深度学习三座大山中的 Yoshua Bengio 和 Yann LeCun 牵头创办。众所周知，Yoshua Bengio 主管着蒙特利尔大学人工智能实验室，也就是 MILA，这是世界上最大的人工智能研究中心之一。Yann LeCun 是 Facebook 人工智能研究院的院长，被称为卷积神经网络之父。
不久之前，在清华大学发布的最新版《清华大学计算机学科推荐学术会议和期刊列表》中，成立短短 6 年的 ICLR 已经成为了 A 类顶会。
本着开源的原则，ICLR 大会一直采用 open review 制度，所有提交的论文都会开放在 OpenReview.net 网站上，遵循公开同行评审、公开发表、公开来源、公开讨论、公开引导、公开推荐、公开 API 及开源这八个原则。但正如周志华教授所言，open review 制度只有在参与者均为本领域专家的前提下才更显效用，否则存在误导风险。这并不是一种偏见，仅从学术判断专业性的角度出发而已。
这就是为什么学术界的人们非常信赖「顶会」。只有顶会能够汇聚更多的学术大咖和行业专家，让论文在更专业更深邃的审视下，能够脱颖而出。这样的论文才能经得起专业和历史的检验。然而，就 ICLR 2020 的情况来说，这次论文评分的说服力恐怕要打个折扣了。
不堪重负的顶会（们）
无论是之前爆出的「本科毕业生成为 NIPS 2018 论文同行评审」，还是如今的「近半数 ICLR 审稿人未在该领域发过论文」，其本质上反映的都是一个基本矛盾，即大会日益增长的投稿需求与审稿人数量有限之间的矛盾。
今年 ICLR 的截稿日期是 9 月 25 日。截至当日，ICLR 的投稿量达到了 2600 篇，比去年多出 65%。而在 2017 年，这一数字仅为 490，三年时间增长 4 倍还要多。
当然，面临这一情况的可不止 ICLR 一场大会。今年的 NeurIPS 2019 大会收到了 6743 篇有效论文，比 2018 年（4856）增长了近 40%；CVPR 2019 大会共收到 5165 篇有效提交论文，比去年增加了 56%；ACL 2019 接收的有效论文数近 2700 篇，相比去年的 1544 篇增加了 75%。
压力都是相似的，出的问题自然也是相似的。早在去年 5 月份，NeurIPS 大会就被曝出启用一名本科刚刚毕业的学生担任审稿人。这位年轻的「审稿人」在 reddit 上发帖提问，「我从来没有提交或者评审过这个大会的论文。所以我该如何选择论文？需要先从阅读旧 NIPS 论文开始学习其中的规律吗？最重要的是，如何写好评审意见？」
面对激增的投稿量，「降低审稿人选择标准」似乎是各大顶会不约而同的一个选择，这也解释了为什么每次评审结果出来之后都有人吐槽，「我觉得审稿人没有看懂我的论文。」也许，他/她真的没有看懂。
ICLR 2020 论文评审整体情况
虽然评审工作一地鸡毛，但我们还是可以看一下今年论文的整体情况。毕竟，论文该投还是要投的……
今年评审得分的分布：均分 3.91，中位数 3.84。
数据来源 [1]
Top5 得分论文的分数范围在 8.20-8.91 之间：
此外，Github 网友从 ICLR OpenReview 的网页上抓取了数据，在 2594 篇提交论文的基础上，对本次 ICLR 论文提交情况进行了可视化的呈现；
投稿关键词中，深度学习、强化学习、表示学习、生成模型、图神经网络等是热门话题。
所有论文中常用关键字的 Top50，以及它们出现的频率如下：
参考资料：
[1]https://colab.research.google.com/drive/1vXXNxn8lnO3j1dgoidjybbKIN0DW0Bt2#scrollTo=_qmSij2me5bX[2]https://mp.weixin.qq.com/s/D1PSqS1fbmMQrFDPPZVakw[3]https://github.com/shaohua0116/ICLR2020-OpenReviewData [4]https://chillee.github.io/OpenReviewExplorer/ [5]https://twitter.com/cHHillee/status/1191823707100131329 [6]https://www.reddit.com/r/MachineLearning/comments/drs6vn/d_iclr_2020_reviews/ [7]https://www.zhihu.com/search?q=ICLR%202020&range=1d&type=content [8]https://www.reddit.com/r/MachineLearning/comments/ds7mk0/d_explaining_your_iclr_reviews/
标签：扩招,ICLR2020,论文,审稿人,评审,2020,https,ICLR 来源： https://blog.51cto.com/15127532/2692701