GPT-4 替代初级数据分析师的成本只有 0.71%,换成高级数据分析师则是 0.45% ……
你没看错,是百分之零点七一,不是百分之七十一。
按新加坡行情,年薪8.6 万 -9 万美元 ( 60-63 万人民币)的高级数据分析师,换成 GPT-4 就只需要三四百美元(2000 多人民币)了。
这项结论来自阿里达摩院与新加坡南洋理工大学的新论文,被网友评价为对 AI 和数据分析领域感兴趣的必读论文。
具体来说,结论中高级分析师指在金融行业拥有多年工作经验的数据分析师。
而 GPT-4 的表现,在大多数指标上能与一位 6 年工作经验的人类相当,正确性低于人类,但复杂性和一致性指标高于人类。
在与另一位 5 年工作经验的分析师对比中,GPT-4 在信息的正确性、图表的美观性、洞察的复杂性等方面输给人类。
如果与 2 年工作经验的初级分析师对比,GPT-4 在正确性上表现更好,而且能完成更多的工作。
但 GPT-4 完成所有类型的任务都要比人类快得多。
在假设每个月有 21 个工作日,每天 8 小时工作时间,按市场价支付工资的前提下,得出最终结论。
论文重点考察了 GPT-4 作为数据分析师的以下几种能力:
生成 SQL 和 Python 代码
执行代码获得数据和图表
从数据和外部知识源中分析数据,得出结论
200 个样本的实验表明,对于绘制图表任务,GPT-4 能够理解指令含义,且对图表类型有一定背景知识,从而绘制出正确的图表。
图表大部分清晰可见,没有任何格式错误,图标的美观性指标满分 3 分,GPT-4 平均得分 2.73。
但手工检查还是能发现一些小错误,图表准确性指标满分 1 分,GPT-4 平均得分 0.78。
论文中特别说明他们的评估标准非常严格,只要 x 轴或 y 轴的任何数据或任何标签有错误,都要扣分。
对于数据分析任务,GPT-4 在一致性和流畅性中平均得到满分,验证了生成流畅且语法正确的句子对 GPT-4 来说绝对不是问题。
有意思的是,到了数据分析这一步的准确性要比图表信息的准确性高得多,说明尽管 GPT-4 画了错误的图表但分析出了正确的结论。
在案例分析中,研究团队还总结出三条 GPT-4 与人类数据分析师的主要区别:
人类分析师可以用个人思想和情感来表达,比如在分析时写 " 令人惊讶的是…… ";人类读者容易从这样的表述中理解数据是符合预期还是不正常的。
人类分析师倾向于结合背景知识得出结论,如写到 " ……常见于…… ";GPT-4 通常只关注提取到的数据本身,允许 GPT-4 上网搜索实时在线信息可以改善这一点。
当提供见解或建议时,人类分析师倾向于保守,如声明 " 假如数据没有问题的话…… ";GPT-4 会以自信的语气直接给出建议,不会提及假设。
另外团队表示,由于预算有限,主要是雇一个来与 GPT-4 对比的高级分析师太贵了,人工评估和数据标注的数量相对较少。
在最后的结论则是:
实验结果和分析表明,GPT-4 在数据分析上有与人类相当的性能,但是否可以取代数据分析师需要近一步研究才能得出结论。
GPT-4 替代初级数据分析师的成本只有 0.71%,换成高级数据分析师则是 0.45% ……
你没看错,是百分之零点七一,不是百分之七十一。
按新加坡行情,年薪8.6 万 -9 万美元 ( 60-63 万人民币)的高级数据分析师,换成 GPT-4 就只需要三四百美元(2000 多人民币)了。
这项结论来自阿里达摩院与新加坡南洋理工大学的新论文,被网友评价为对 AI 和数据分析领域感兴趣的必读论文。
具体来说,结论中高级分析师指在金融行业拥有多年工作经验的数据分析师。
而 GPT-4 的表现,在大多数指标上能与一位 6 年工作经验的人类相当,正确性低于人类,但复杂性和一致性指标高于人类。
在与另一位 5 年工作经验的分析师对比中,GPT-4 在信息的正确性、图表的美观性、洞察的复杂性等方面输给人类。
如果与 2 年工作经验的初级分析师对比,GPT-4 在正确性上表现更好,而且能完成更多的工作。
但 GPT-4 完成所有类型的任务都要比人类快得多。
在假设每个月有 21 个工作日,每天 8 小时工作时间,按市场价支付工资的前提下,得出最终结论。
论文重点考察了 GPT-4 作为数据分析师的以下几种能力:
生成 SQL 和 Python 代码
执行代码获得数据和图表
从数据和外部知识源中分析数据,得出结论
200 个样本的实验表明,对于绘制图表任务,GPT-4 能够理解指令含义,且对图表类型有一定背景知识,从而绘制出正确的图表。
图表大部分清晰可见,没有任何格式错误,图标的美观性指标满分 3 分,GPT-4 平均得分 2.73。
但手工检查还是能发现一些小错误,图表准确性指标满分 1 分,GPT-4 平均得分 0.78。
论文中特别说明他们的评估标准非常严格,只要 x 轴或 y 轴的任何数据或任何标签有错误,都要扣分。
对于数据分析任务,GPT-4 在一致性和流畅性中平均得到满分,验证了生成流畅且语法正确的句子对 GPT-4 来说绝对不是问题。
有意思的是,到了数据分析这一步的准确性要比图表信息的准确性高得多,说明尽管 GPT-4 画了错误的图表但分析出了正确的结论。
在案例分析中,研究团队还总结出三条 GPT-4 与人类数据分析师的主要区别:
人类分析师可以用个人思想和情感来表达,比如在分析时写 " 令人惊讶的是…… ";人类读者容易从这样的表述中理解数据是符合预期还是不正常的。
人类分析师倾向于结合背景知识得出结论,如写到 " ……常见于…… ";GPT-4 通常只关注提取到的数据本身,允许 GPT-4 上网搜索实时在线信息可以改善这一点。
当提供见解或建议时,人类分析师倾向于保守,如声明 " 假如数据没有问题的话…… ";GPT-4 会以自信的语气直接给出建议,不会提及假设。
另外团队表示,由于预算有限,主要是雇一个来与 GPT-4 对比的高级分析师太贵了,人工评估和数据标注的数量相对较少。
在最后的结论则是:
实验结果和分析表明,GPT-4 在数据分析上有与人类相当的性能,但是否可以取代数据分析师需要近一步研究才能得出结论。