还是需要工程师!ChatGPT写程式错误率逾50%

d
denoley
楼主 (北美华人网)

人工智能(AI)是今年科技行业最热门的事物,不过发展似乎进入了瓶颈期,研究发现,OpenAI的ChatGPT在写程序上给的建议,正确率竟不到50%,仅有48%正确,另外在所有回答中,有77%过于冗长,不过由于ChatGPT的写作风格如教科书般自信,也误导了一些人类,导致有近4成(39.34%)的回答,人类无法在正确时间内辨识出ChatGPT写错了。
美国普渡大学(Purdue University)最近进行的一项研究,针对在程序设计领域的问答网站「Stack Overflow」上的517个问题,对ChatGPT进行了询问,之后再检查这些答案的质量和准确性。
结果发现,ChatGPT有52%回答不正确,只有48%正确,而在所有回答中,高达77%的回答过于冗长。
研究还找来12名具有不同编程专业水平的参与者,来给出他们对于ChatGPT回答的见解,结果显示,尽管参与者整体认为Stack Overflow上的回答质量较好,但由于ChatGPT在答案中,展现出全面、清晰且人性化的见解,有39.34%的题目会让参与者,进而忽略ChatGPT在回答中的错误信息。
研究认为,对于ChatGPT给出的答案,有必要仔细检查并纠正其中的错误,用户也要意识到,这类看似正确的ChatGPT答案相关风险。