ChatGPT是个诚实的小骗子

（这是关于我问ChatGPT的一些问题。因为HTML formatting, 没有把对话的内容复制在这里。感兴趣的朋友请用链接 ChatGPT是个诚实的小骗子）

我在上一篇ChatGPT是个小骗子里说到过它常常一本正经的胡说八道。如果不熟悉相关知识，就可能被它信心满满的架势给蒙了。这小家伙不仅脸皮厚，还冥顽不灵：被指出错误以后，道歉诚恳，坚决不改；再道歉，再犯错、直到你放弃。一个朋友认真努力去教它写中文格律诗词，结果最后还是叹气“孺子不可教也”

这次我叫它诚实的小骗子，是在用了更多一些时间以后，问了它一些问题。想看看它究竟怎么工作、怎么想事情的。它比较老实地告诉了我它“脑子”是怎么想，怎么处理各种情况，为什么会“犯傻”的。所以我给它标注一点正能量，给个“诚实”的小星星。要想摘掉小骗子这个称号，它还要慢慢长大才行。不过，说到它的成长，虽然我们不会在这里多说这个问题，值得一提的是，我发现它成熟的速度非常快，和我们对其他软件发展进化的常识完全不同。

对ChatGPT后面的原理了解越多，就看到越多人类的影子和人工智能的未来。这个话题太长，先按下不说。我这次问它的问题主要围绕这几点：

它的推理机制。在解答数学问题的时候，它在很多地方都表现出缺乏基本的推理能力。它的“因为”条件和“所以”结论可以完全没有逻辑关系。尽管我后续的提问发现它的知识库里其实是有相关信息和逻辑关系的。这个问题有些意思：它是得到了相关的训练而且生成了相关知识的；但是在生成回答的时候，这些知识并没有优先用上。从我和它下面的对答来看，这可能是应用层次的训练还不够。也就是说用得还不够。还要有更多的人去用、去纠正它，这些知识才能有效自然地参与到推理应用中。 不同语言的互汇性。很多人都已经发现同样的问题用不同的语言询问会得到不同的回答（事实上同一个语言也会得到不同的答案）。我也注意到我用中文问它问题时得到的回答常常都比用英文得到的内容少。我想知道这种差异在同一种语言内和不同语言之间的关系。我们都知道，不同语言的文字资源相差非常大。很自然我们想知道它有没有利用资源丰富的语言来帮助资源贫乏的语言。 它对用户提供的实时反馈是什么态度，是如何利用的。比如我们发现它的错误并予以纠正的时候，它有可能借此产生不同的回答。但也有很多时候它只是口头上接受，在具体回复里顽固地继续犯同样的错误。了解这种机制对用户当然很重要。这可以让我们知道如何调整输入的信息去获得更好的回复。

总的来说，它的回答中规中矩，“诚实”中带一点小狡猾。偶尔也会前后矛盾。也总少不了啰啰嗦嗦地做无辜状、强调自己只是个AI 语言模型等一系列的套话等。

结合其它方面的知识，我们可以从它的回答里面引申出不少很有意思也很重要的东西。在这里我们不占用太多的篇幅来分析它的回答。有机会我们以后再说。这里简要列举几条和上面的问题相关的：

它的推理和知识不总是一致，可能是分离的（这和人类很相似，和完全建立在知识图谱上的人工智能差别很大）。它是在语言“学习”的过程中建立自己的知识体系（这也和我们人类的学习成长很类似，幼儿通过语言和外界的反馈逐渐有了各种知识）。它学到的知识也包含了知识内部的各种逻辑关系。这是它推理的基础。它由此获得的推理能力和下面我们关心的语言问题密切相关：如果没有足够的数据，它推理的能力肯定比在其它的语言上弱。另外，它回答问题时用的推理算法并不一定保证最好的运用自己已经掌握的知识。在有足够正确知识的时候，它甚至会产生逻辑错误的答案（这和人类也很类似。我们做逻辑推导的时候并不一定保证总是充分运用了自己已经掌握的知识）。这一点和以前大家熟悉的完全依靠知识图谱的人工智能系统很不一样。后者不会犯类似的错误。但是后者的局限性也很大。 另外一个问题和推理有关的是它的数学推理能力以及对特殊学科的适用性。下面的问答没有包含这些问题，是在其它时间问的。它目前没有很好地使用任何更成熟有效的数学系统（它有和其它系统的集成，但是它在详细解答中没有用，还骗我是用了的，直到我把它揭穿）。它用的是自身所有的数学的法则和技术。它自称非常经典的数学问题它有存储对应的推理、证明和解答，但是我没有看到它用。一切都靠实时计算和推理，因此错误很多，初中程度代数都常常做错。这当然不是一个数学领域的问题，这涉及这种语言模型对特殊学科的适用性。比如典型证明典型解答，这些传统意义的知识点有其特别的重要性。不是它自己临时产生的解答可以代替的。 它的知识和所用的语言基本绑定。它虽然在训练时可能借助其它语言的资源，但仍然很受自己语言资源的限制。因为各种语言的差异，词汇翻译理解之间的不同，它也不会在回答问题时跨语言给你找出最好的回答。因为那可能产生更多的混乱。所以不同语言的知识的差别不可避免。这意味着如果一个语言现有的文字和知识资源很贫乏，或者欠缺某一方面的内容，使用这种语言的用户就可能得不到最好的答案。结果是在它的世界里，世界按语言划分出了“阶级”。可想而知，如果一种语言的文字资源长期缺乏或自我封闭，那就是先天不足、就是自宫。联想到这类系统未来的前景，和它给我们对人工智能潜力的启示，我仿佛又看到了当初欧洲工业革命带来的世界文明的分水岭。。。我在最后给了一个关于数学史的中英文回答比较的例子。 它没有实时学习的功能。或者说是被禁止了。你不要浪费时间去给它灌输新的知识或者观点。你可以提供更多的信息去帮助它更好的利用已有的知识去“推理”去产生更好的回答。但是如果超越了它已有的知识，它不能真正马上接受你的”教诲“。你对它的纠正只会得到它“口头”的认可，但是它不会利用你提供的输入去产生你认可的答案。因为系统的管理者必须尽量控制训练数据以避免它的”思想“被”污染“（这是不是有点熟悉）但是，如果它已经具有相关的知识，即使最初回答错误，如果我们调整输入的问题或者提供好的提示，它也是可以给出很好的回答（这也和人类相似：我们常常也要经过不同的尝试才能在自己的知识基础上找出合适的解答）。

下面是我和ChatGPT的对话。蓝色的是我的问题，黑色的是它的回答。考虑到它经常对中文的询问给比较简短的回答，下面的对话都是英文。我最后用了谷歌翻译。ChatGPT的答复因为很长，我基本没有做任何修改。但感觉谷歌翻译进步不少，大家要看懂没有什么问题。不像以前常常主谓宾都搞错。当然也可能是因为这些AI产生的文字语法都比较规范，AI翻译起来自然会容易很多。

下面和ChatGPT的对话因为HTML formatting, 没有继续复制在这里了。感兴趣的朋友请用下面的链接

ChatGPT是个诚实的小骗子

这个AI告诉我，他没有记忆。我不懂一个没有记忆的AI是如何学习的。

這些天給自己科普了一下，看了些視頻..

The video below is simpler and clear, if it is also good enough in explaining the fundamentals of AI, then it explains why AI acts the way you experienced it.

The first few minutes on how AI interprets human language on the basis of "frequency and distribution":

It is in essence just statistics. 

Unless AI transcends that, otherwise there will never be true intelligence.  But if this is the most basic upon which all AI is built, I can't see how it can be transcended.

 

 

好像就是類似於我之前一個跟帖中說的，它在學習過程中自己建立了一个抽象的結構.

它衹需保留這個結構(這不算記憶)。這也跟下面視頻中的介紹吻合(frequency and distribution )。

My earlier comment: 

a network of connections is made among variables. It is like a complex 3d map. This map is now made to connect to the existing larger map created from other learnings relevant to these variables. This network is independent of its sources of training and learning once it is created, and hence memory is not required.

Next time, when someone asks a question, the question will be formatted into such variables, and is dropped into this complex map and finds its path in it, by, say, statistical principles or some other principles. The destination of the path is an answer for the question asked.

That is why the answer to the same question might not be the same. First, the path is subject to statistical principles. Second, the map always evolves.

就是説 AI的每一次訓練都把這個結構豐富一次，走通一次。那么，這個結構跟現實世界就越完善對應，也越通順。

同时，它需要一本字典，但僅是為了把人類问它的问题翻译成這個抽像結構中的符号。

不知猜得對不對。

 

我以前看过一本关于AI工作原理的书，好像和你说的差不多。看来得学学AI课程。

这个视频很好，明白了AI的工作原理。AI还是一个提高效率的工具，并不是创造的工具。下围棋厉害，是因为

AI可以快速探索各种路径，人的脑力没这么高效率。

 

你可以想象成实时google + 算法。但搜不是普通websites

先要build learning dataset(实时搜的是这个)  再apply machine learning 算法。

理论上是可以实时学习，把客户反馈加到learning dataset 中。但客户反馈可信吗？是否worth add to human knowledge? 我猜是考虑这个因素，这个没加实时学习功能

它当然有“记忆”，不过现在被控制什么时候学，学什么。它是在被“监督”下去获得 “正确的XX记忆”，很耳熟？：）

现在这种自我学习和推理的方式和人类获取知识和应用知识的过程已经非常相似。这也是厉害和可怕的地方。

毕竟人类思维说到底还是信息处理。我们的思维、智慧都是生理性的信息处理和交互的结果。我相信理论上AI有可能获得人类的一以思维、情感、判断的能力。只是它们的计算能力什么时候可以和人类匹敌而已 - 计算机现在的计算能力是比不上人的大脑和身体的。最终，人类必然需要和AI找到共存的理由的。我觉得也会找到

选择信息和分析评估信息的方法是编程人的design，今天它的政治问题答案中规中矩，随着政治需要也会改变。一个信息汇总而已

若查点东西，目前还不如其它搜索引擎。各方面还较幼稚，相信逐渐会成熟起来。

跟我的理解有抵触。在我理解裡，它原則上不搜索、不記憶，而全力發展自己的"神經系统"(即那个抽像結構)

同時跟進編輯那本字典。

當然，一些邊角、輔助性的搜索、記憶肯定是有的。

 

对，它现在还是个小学生。虽然都叫AI，这和以前几十年的做法非常不同，是革命性的进步。简单的说就是更接近人了。

现在关注它不是因为它也叫AI，可以很像人一样聊天。最重要的是它的知识学习、记忆、和“思考”的方式和前辈们完全不同了。这种模型目前听起来理论上的潜力真的很大。

当然最后要看真正能做到什么程度。但它的“最后”也不会是AI的“最后”。。。

好比一个研究生班，AI就是一个依靠大数据的捷足先登的优等生，一时半会不会还不会有质的变化。认为。