这ChatGPT 是不是不太靠谱呀?

c
cocolili
楼主 (北美华人网)
以前用它主要是修改文字,还不错。
前一段要修改一下同事十几年前的非常简单的小程序,用chatgpt也还行。
公司AI的网课,最后有个小考,用ChatGPT 只得了71分,勉强pass。记得有一题是存储介质,好几个选项,其中有个手写记事本,它也帮我选了
前两天,用它咨询新币转美金/人民币和转出的事,就出状况了。反正银行转都不好,wise, ofx等网上的这些好,说ofx 大额不收费,但汇率不太好。 wise 收费,汇率好。我让它给出汇率,竟然ofx的比wise的好?没有细查真正的汇率,就是觉得自相矛盾。
然后问它能不能拿外币个人支票,直接存成外币在国内银行的外币户头?很多年前存过,没有问题,也很简单,就是时间长,国内银行收个手续费,当时是200人民币左右。它回答可以,但很复杂,要填表,审批啥的。我说以前不用呀,然后它改口说你说的对,不用填表和审批。
昨天它推荐了两个附近已经关门的staples 商店给我,我说它们已经关门了,它又说,你说得对

b
bugsamend
写程序这个我感觉是这样:Chatgpt就像是一个和我水平差不太多的对象,需要来回沟通才能把事情做对。比如我想让Chatgpt写一个程序,要想正确那我自己首先要知道这个程序的逻辑,以及正确的写法,GPT只是帮我实现这个code的工具。就像我想计算12348*87662,我是知道怎么算的。但是我有计算器,计算器可以帮我节约时间。GPT就像是那个计算器。
然后如果程序实施起来结果是正确的,但是如果想大规模应用还是有点慢,我就逐条看一下它的语句,告诉它有些地方不efficieint, 在不改变运行结果的情况下帮我优化一下,它也是可以做到的。
关于汇率这些实时变化的东西,它一般就不是很灵。说白了就是它不能迅速帮我们做一个预测:哪个选择经济上最划算。否则的话我们用GPT套利,挣点小钱不久太容易了吗:D. 如果很多人都问他这个问题,这种小的‘划算’的空间会立马变小,GPT应该也是很难跟上这个变化的。
d
dpg
关键是ChatGPT一本正经地胡说八道,要是使用者没有这方面基础,的确会误事。
M
MegMegMeg
这就是常见的ai hallucination嘛,俗称一本正经地胡说八道。其实就把llm当成一个懂王就行了,说的话有些可取,但不能100%全信,尤其是细分专业上的问题,懂王经常胡说八道。gpt-4以后的版本和google都会给answer列出source,你可以自己verify一下,这个还是省了一些查找source的时间。
p
pineappletin
我每次考试用chatgpt,正确率都是75%左右
W
Wugelvshi2
回复 1楼 cocolili 的帖子
这太正常了。说明他更像个人了。
你在这论坛上问问题,网友的回答,比这个更是胡说八道。Chatgpt 也学会了。我现在特别相信,那个transformer 模型和人脑差不多,我们很有可能模拟出了上帝创造或者自然进化的人脑思维过程。人根据自身历史经验而能回答的问题,它都能回答。但哪怕就是爱因斯坦,也会在某些事情上胡说八道。所以防着GPT,也是应该的。
至于关门的staples,你也知道GPT是个train的模型,总有个时间差的。它不可能知道它没见过的东西。如果它能预测未来,那是超能力或者神棍,不是GPT。

C
Confuse
我觉得拿它做个书的summery,写的煞有介事,但是不仅归纳的不怎么靠谱,细看有的话都不知哪里来的。现在不敢了。
l
lendingclubs
他就是一个统计归纳,完全不会思考,不是真正意义上的人工智能,比较蠢且会瞎掰,与有些老印很像
a
aegeanboat
现在还有人认为ChatGPT靠谱?
m
mindstorm
chatgpt, 其实是COPYGPT.
g
ggyft
到瓶颈了,顶多是个提高productivity的工具吧。永远也不能accountable,更不可能取代人类,任何工种。
x
xibei
经常一本正经地胡说八道。
m
masterdula
chatgpt还是没有那么智能
J
Jack2000
ChatGPT 的结果只能作为参考。有的ChatGPT 版本的训练素材是截止到去年或更前面的时间点。
s
stones
回复 1楼 cocolili 的帖子
看来 openai 估值堪忧。
b
babeann
Google 现在搜索会给一个AI review, 有一些我知道的东西,有给过我错误的总结。我不知道的东西看着靠谱,但是对不对就不知道了。
C
Captaintoo
Wugelvshi2 发表于 2024-11-17 14:18
回复 1楼 cocolili 的帖子
这太正常了。说明他更像个人了。
你在这论坛上问问题,网友的回答,比这个更是胡说八道。Chatgpt 也学会了。我现在特别相信,那个transformer 模型和人脑差不多,我们很有可能模拟出了上帝创造或者自然进化的人脑思维过程。人根据自身历史经验而能回答的问题,它都能回答。但哪怕就是爱因斯坦,也会在某些事情上胡说八道。所以防着GPT,也是应该的。
至于关门的staples,你也知道GPT是个train的模型,总有个时间差的。它不可能知道它没见过的东西。如果它能预测未来,那是超能力或者神棍,不是GPT。


Chatgpt 的最新模型更新是23年10月,确实有滞后,但是如果你要求的话,ChatGPT可以即时搜索最新结果。
最近还试用过Claude,比起ChatGPT的一本正经 更拟人化,更会胡说八道,它一个AI 给人的感觉居然很油腻
c
custom
人家的训练集可能是2年前的,让它搞准一个事,那只能不懂装懂或者天才的guess了
q
q_x
不能太依赖chatgpt.
u
uswhy
one of chatgpt最大的问题:幻想
C
Caike
一些简单的数学题 它都会算错。。
s
sugeeamimi15
早说了,关键的数据facts推理还得自己把关。好的点子都是自己想出来,chatgpt没办法替代你的经验和认知。所以我看我们junior的同事写出来的报告,就知道他们有没有自己动脑筋,还是照抄chatgpt。
h
hester18
可能开发chatGPT的大部分是阿三吧, 所以它现在思路越来越三。
j
joexi
人家就是一个intern,不能当专家用。你总会检查intern的工作吧
m
mermaidyuu
cocolili 发表于 2024-11-17 13:44
以前用它主要是修改文字,还不错。
前一段要修改一下同事十几年前的非常简单的小程序,用chatgpt也还行。
公司AI的网课,最后有个小考,用ChatGPT 只得了71分,勉强pass。记得有一题是存储介质,好几个选项,其中有个手写记事本,它也帮我选了
前两天,用它咨询新币转美金/人民币和转出的事,就出状况了。反正银行转都不好,wise, ofx等网上的这些好,说ofx 大额不收费,但汇率不太好。 wise 收费,汇率好。我让它给出汇率,竟然ofx的比wise的好?没有细查真正的汇率,就是觉得自相矛盾。
然后问它能不能拿外币个人支票,直接存成外币在国内银行的外币户头?很多年前存过,没有问题,也很简单,就是时间长,国内银行收个手续费,当时是200人民币左右。它回答可以,但很复杂,要填表,审批啥的。我说以前不用呀,然后它改口说你说的对,不用填表和审批。
昨天它推荐了两个附近已经关门的staples 商店给我,我说它们已经关门了,它又说,你说得对


ChatGPT刚一出来我就测试了一下,发现不靠谱并不是它最严重的问题,问题是它脸皮特别厚
b
brotherband
谁评价的chatgpt像老印来着,太准确了!
m
meraviglia
看到过评论说Chat GPT的训练集主要是来自2021年和之前,加强版可能有一小部分训练数据会来自2022或2023年。
每次训练都需要花费大量的GPU,电力,水资源(液冷)和人工标识(估计现在已减少)。
所以还做不到与时俱进。
c
ca563
谁用GTP改过file?我让它帮我改个很简单的training PPT,结果改好后,给的download link死活不work
河边垂钓
我朋友问他胡汉三是谁。他说中国革命先烈😂批评以后态度可好了😂
D
Dailv22
lendingclubs 发表于 2024-11-17 14:43
他就是一个统计归纳,完全不会思考,不是真正意义上的人工智能,比较蠢且会瞎掰,与有些老印很像

m k
i
iloveGelato
不要用中文问,要用能联网的4, 多给ta上传背景资料和信息。
i
iloveGelato
Caike 发表于 2024-11-18 10:29
一些简单的数学题 它都会算错。。

我用ta算present value of annuity以及税法里的principal residence exemption,都算的挺对的啊。 问问题前我会给它上传背景信息,比如相关公式,sample问题计算,相关法条。
h
hioc
。我问上海地铁几号线到火车站它都胡扯。完全信真误事