使用GPT-4 学渣比学霸更有优势

如果允许学生用AI“作弊”，他们的成绩分布会发生怎样的变化？ 针对这个问题，真有几位大学教授正儿八经研究了一番，并写下了长达62页的研究论文。 结果发现，使用GPT-4后，学生的“能力曲线被压缩了”，差生和优等生的差距缩小。 沃顿商学院教授分享了这项研究后，引起不少网友讨论。网友对这样的结果也感觉很意外： 和我的预期完全不符啊，还以为所有人分数都会提高。 还有网友称这是“真正的游戏规则改变者”： AI正在改变教育格局，在缩小差距的同时提高标准。 不过也有网友持不同观点： 擅长使用AI的人可能表现会非常出色，那种看起来差距缩小的情况可能只是因为有满绩点4.0这一上限： AI会是“平衡器”吗？ 除了上面所说的，我们查看论文，发现研究人员还得出了这些结论： 使用GPT-4对参与者总体任务完成的质量影响较小且不稳定；使用GPT-4显著减少了参与者完成任务的时间；平时技能水平较低的参与者在使用GPT-4后，任务完成质量提升最为显著，本就能独立高质量完成任务的参与者获得的质量提升较小；GPT-4能为所有学生节省相似的时间，无论他们原本完成任务的速度如何；即便参与者不了解自己在各项任务上的具体成绩，他们也能明确指出GPT-4最有效的应用场景。 下面一起来看实验详情。 具体来说，来自南加州大学Gould法学院、明尼苏达大学法学院的几位教授，以研究AI辅助对法律分析的影响为例。 给参与实验的60位来自明尼苏达大学法学院的学生提出了四项初级律师常见的任务：起诉状起草（Complaint Drafting）、合同起草（Contract Drafting）、员工手册起草（EE Handbook）和客户备忘录起草（Client Memo）。 不同的是，这些参与者随机分为两组（A组、B组），每组30人。A组参与者需使用GPT-4完成起诉状起草、合同起草任务，而B组使用GPT-4完成员工手册起草和客户备忘录起草任务。 实验前，全部学生都接受了约2小时的培训，了解如何有效使用GPT-4进行法律分析。完成任务过程中，参与者需记录自己完成任务的时间。 然后，研究人员在不知道参与者身份和其他信息的情况下，匿名完成所有作品的评分。 具体实验结果如下。 在4.0绩点机制上，使用GPT-4辅助后，学生在四项任务中的平均分数波动幅度为+0.17、+0.24、+0.07、-0.07。 可视化图表更直观： 总的来说，仅合同起草任务的表现在95%置信水平上展现出了统计学意义上的显著提升。 再来看使用和不使用GPT-4参与者，完成任务平均花费的时间： 可以直观地看到，参与者完成任务时间大大缩减： 更多数据和分析内容，感兴趣的朋友可查看论文。 值得一提的是，几位教授在论文最后，还写下了长达12页的启示，针对律师、法律客户、法官以及法学院、法学院学生提出了不同的建议。 其中指出：法学院需要重新考虑学生使用AI的时机和方法，以及在何种情况下应限制AI的应用，以便更好地适应未来实践的需求。 此外，针对不同人群的类似研究也不在少数。 职场中AI会是“平衡器”吗？ 来自哈佛商学院、沃顿商学院、MIT斯隆管理学院等的研究人员联合波士顿咨询公司做了一项研究。 他们选取了波士顿咨询公司中的部分高知员工，让他们使用AI辅助完成分析、创意构思和说服技巧等18项任务测试。 结果发现，原本表现位于团队下半层的顾问们在AI辅助下成果质量提升了43%；而平时表现在上半层的顾问仅提升了17%。 使用GPT-4之前，顶尖员工与其他员工之间的平均差距为22%；使用之后，这一差距显著缩小至4%。 MIT的一项研究同样表明，使用ChatGPT之后，高水平写作者和低水平写作者的表现差异缩减了一半。 创意写作领域亦见相似现象，伦敦大学学院、埃克塞特大学研究人员的一项实验表明，创意作家技能差距缩小，GPT-4提供的五个创意灵感“有效地平衡了不同创造力水平作家的创造力评分”。 不过，尽管有多项研究表明使用AI可以缩减人们之间的技能差距，但正如论文分享者、沃顿商学院教授Ethan Mollick所言： 技能的造王者（King Maker）、加速器（Escalator）、平衡器（Leveler），AI究竟将扮演哪一种角色，并不是总是很清楚。 那么，你认为AI在你身边正扮演着哪种角色？

以后只要靠天马行空胡思乱想就好，AI会帮你实现一切想法

这不是no brainer么。
相当于差生有枪手代考。枪手也干不过学霸。对学霸帮助不大，对差生帮助大。

这不是no brainer么。
相当于差生有枪手代考。枪手也干不过学霸。对学霸帮助不大，对差生帮助大。
平明寻白羽 发表于 2024-02-16 11:23

枪手1.5出来了 秒杀学霸

这是在学渣和学霸都使用GPT-4的情况下，学渣比学霸更高分吗？还是学渣用，学霸没用？文章太长了，看不下去。

沃顿商学院教授整天就搞这种“研究论文”，AI不淘汰你淘汰谁？

这他妈的就是给资本家背书，用GPT以后公司只需要高中毕业就行，不用大学也不需要能力优秀。

别做梦了。
已经有一大堆测试论文是否ChatGPT写的软件了，到时候学渣非但拿不到好成绩还给人因作弊开除了。

使用枪手，学渣考第一。 有意思吗 抢来500万，抢劫犯也能豪车香槟 大概是这个意思吧

这还用作研究？真的研究经费都是这么浪费的。 普通人用AI下国际象棋进步大还是棋圣下国际象棋进步大？ 本来人的限制就在记忆力和多步演算上面。

别做梦了。
已经有一大堆测试论文是否ChatGPT写的软件了，到时候学渣非但拿不到好成绩还给人因作弊开除了。
artdong 发表于 2024-02-16 12:50

让我想起测三聚氰胺的检测方法了。 先卖AI让你用来作弊赚一笔，再卖反作弊软件再赚一笔。 马公稳赢

以后不存在作弊这个词了。老大妈与时俱进吧。

学渣与学霸都难以区分

没有学术意义，有政治意义。 以后招生不用看成绩了，在gpt时代，学渣学霸考的差不多。

我有时候用Chapgpt改语法，发现我写的对的句子，它能给我改得读起来怪怪的(e.g. thanks for contacting me and sending me the documents，它改成thanks for contacting me and for sending me the documents，这只是一个例子)，很多时候还把我的意思都改了。

亟需更符合时代的评判标准。 当一个标准无法区分人才的时间，被淘汰的应该是标准本身。 faculty们自己是第一波应该思考并推动这个movement的。

这ChatGPT也太不给力了。看人家汽车，可以让普通人和马拉松运动员变得一样快。

SSBN826 发表于 2024-02-17 11:15
这ChatGPT也太不给力了。看人家汽车，可以让普通人和马拉松运动员变得一样快。

你这啥烂汽车啊