自从上次 ACL 中了之后，已经一年颗粒无收了，心态多少有点受打击。经过这一年的投稿、审稿和拒稿，心气大多也被磨平了，有些事，也稍微能看得开了。
有问题的是这个科研和学术环境，而不是我以及我们论文。这是这一年摸爬滚打得来的最宝贵的认知吧。我的论文既有实验、也有理论解释，每次投稿都放了代码，自认为在这个大灌水时代已经属于一股清流了。
得益于 AI 的大火，AI 的学术会议投稿量一路高歌猛进，代价就是同行评审体系已经近乎崩溃，所有的投稿本质都是在抽奖，best paper 是头等奖，oral 是一等奖，poster 是二等奖，finding 是三等奖，reject 是谢谢惠顾。
就算是三大会，每次超过三万的投稿量，每篇三到五个评审意见，是不可能找到能完成这个数量级的合格审稿人的。最直接的结果就是，放开同行评审的要求，基本上所有投稿的都有可能参与审稿。这就会带来两个后果：1）评审质量差的离谱。2）同行互相攻讦。相当于高考的时候，让学生去参与阅卷，干死别的考生，自己机会就来了。后续就会导致崩坏的链式反应，大量论文被接收，这些论文的作者又多了被选为下一批审稿人的资格，下一轮再继续。
别的会本来就很水就不提了，但说说三大会，这已经是行业认可度最高的三个会议了。就我的投稿和审稿经验来看，这三大会也就只剩个三大会的名头了。因为领域相关，一位印度人多次在review 中贴自己的论文让我作为 baseline 比较（已经在 related work 中引用过，只是没有作为 baseline）。他的论文已经是 23 年底的了，在这个高速迭代的时代，这已经属于非常过时的工作了。即使如此，我给 他用最新的模型和数据复现了，在相同的 backbone、训练数据以及评测 Pipeline 进行比较，并给他分析了复现过程中发现的他的方法的问题。然后这位审稿人要么一直装死，要么等到 author-AC confidential comment 时间过了再出来回复，说我的对比不公平，应该把我论文提的方法应用到他的方法进行公平对比……最后显而易见的被拒了，AC 给的理由是对比不公平，根本不会管作者的 rebuttal 内容。还有的审稿人上来就说你这方法“直觉上是错的”，即使在有实验、有代码、有理论分析的情况下。更有甚者，AOE 整个领域有问题（RLHF 领域而不是什么小众的领域），AC 也直接写该审稿人不喜欢 RLHF 的设定（不喜欢这个领域还让他审这个领域的稿？）。
因为老师让写 AC 意见的原因，也看清了一些真面目。审稿人的差异不亚于各论文之间的差异。因为AC能看到审稿人的信息，可以看到大部分审稿人都是拼音名字，这也是符合常识。但机构在国外的给分远比机构在国内高。一篇论文能不能中，论文的质量只要不是差的离谱，基本上完全取决于分配的审稿人是否宽容，当然也有 AC 的喜好。同一篇论文（我认真去看了论文，就是很简单的方法，也没有理论），机构在北美的审稿人给分是从 weak accept 开始的，然后作者回了之后一般还会提分到 accept；而机构在国内的，起手就是 reject，甚至不是 weak reject，即使作者rebuttal了，也只是回一句“虽然你解决了我的 concern，但我认为这篇论文不适合在这各会议发表”。
对于 AI 科研来说，这是一个好时代，也是一个坏时代，也可能是最后一个时代了……