不靠谱的社会学研究更容易“高被引”

互联网已经成为人脑的“外挂”！？2011年，一篇心理学论文曾引起舆论轰动。该研究称，人们习惯于将互联网作为一种大脑外部的记忆形式，即习惯于通过互联网获取信息，而不是依靠自己大脑来思考或者回忆事实。

2018年，一组心理学家将该论文和其他20项备受瞩目的社会科学研究纳入测试，但该论文的一个关键发现未能被成功复制。事后人们发现，这篇论文被引用了1417次。在2018年的复制失败后，仍有超过400次的引用。引用率远高于其他成功通过验证的论文。

也许是惊人的结论真的比较容易吸引眼球。最近，有研究数据表明，在社会科学论文领域，“不靠谱研究”比靠谱的平均多被引用153次。

“这个数字太糟糕了！”马里兰大学帕克分校认知科学家迈克尔•多尔蒂（
Michael Dougherty）认为，长期以来，引文数量一直被科学界视为某项研究水平质量
的代表。“不靠谱研究”高被引的现象或许会让这种评价系统的公正性受到质疑。

关注这一现象的还有加州大学圣迭戈分校的经济学家玛尔塔•塞拉•加西亚（Marta Serra-Garcia）和乌里•格内齐（Uri Gneezy）。他们决定实际验证一
下这一问题。他们收集了来自三个不同项目的80篇论文的数据，通过谷歌学术搜索统计，他们发现那些未能复制的论文，其被引用次数明显增加，平均每年多被引用16次。这是一个很高的数字，因为同一时期，高影响力期刊上的论文每年被引用平均每篇也就40次。研究者们进一步发现，在大型复制测试的结果公布之后，引用了相关论文的新发表文章大多数仍将其作为直接论据，根本不提复制失败的事情，提到的只占12%。

塞拉•加西亚认为，复制失败并不一定意味着最初的发现是错误的。研究方法的
改变和参与者习惯的改变，比如互联网使用模式的改变，都会对结果产生影响。“科学家们非常紧张自己的研究结果，总希望自己的研究结果是准确的并能获得广泛关注。”她说，也许是同行评议在看到令人惊讶的结论时降低了论证的门槛。这意味着惊人的结果和较弱的证据之间可能是并行不悖的。 

“特别的声明需要特别的证据来支撑”这一指导方针在出版决策方面似乎有所软化。梅西大学计算生物学家托马斯•菲弗（Thomas Pfeiffer）同样感受到了这一点。他说，这意味着出版商和作者需要通过额外的举措来提升已发表作品的可信度，比如提高论证的门槛，打磨研究方法等，而不是仅仅靠浮华的发现。

维吉尼亚大学的心理学家布莱恩•诺塞克（Brian Nosek）深度参与了这项研究中被测试验证的两个项目，是所谓“不靠谱研究”论文的合著者。他提出质疑，研究所得出的结论是否可以用不同的论文样本来复制？

2011年《感染与免疫》杂志上的一项研究发现，影响力较大的期刊比影响力较小的期刊撤稿率更高。其中，被引用率较高的论文的撤稿理由总是数据较弱，不能支撑相关结论的得出。但在2020年《美国国家科学院院刊》上刊发的一篇论文研究了不同的论文样本，发现引用和复制之间没有直接关系。这表明论文样本可能真的很重要，这种影响在高影响力期刊上可能显得尤为强烈。

诺塞克说，虽然“不靠谱”研究更容易博得关注，但从长远来看，以实力说话但不够耸人听闻的论文仍将获得更多的引用。“就好像受欢迎的孩子最终会输给聪明的怪胎。也许科学发现的运作方式也是一样的：可信的结果不会引起太多的关注，但它们确实会坚持下去，并获得最终的胜利。”

免责声明：本公众号所发内容文字及图片来源于网络，仅供学习、交流使用，不具有任何商业用途，版权归原作者所有，如有问题请及时联系我们以作删除处理。