电脑本地跑人工智能需要大内存

x
xiaxie8
楼主 (北美华人网)
其实有没有GPU加速关系并不是很大,因为光靠较新的CPU比如我3年新的Core i5也能达到5-10 tokens/s水平,回答一般的常识问题和做微积分题都不算太慢。
但是,模型大小对人工智能准确程度影响很大。我一台笔记本是焊死的8GB内存,没法增加内存,我只能用LM Studio跑DeepSeek R1 Distill Qwen 7B, 这个模型只占大约4GB内存。我问它元朝是谁建立的,它叽叽呜呜好几分钟,说它没有联网,只能靠记忆来分析,它记得元朝在1368年被明朝取代,而明朝开国皇帝是铁木真,所以元朝不可能是铁木真建立的。我没有打断它的明显错误,让它继续。然后它说元朝是铁木真的儿子忽必烈建立的。我说你答案基本正确,但忽必烈是铁木真的孙子,不是儿子。它马上回答,是的,忽必烈是铁木真的孙子,忽必烈又名窝阔台,又名贵由,又名蒙哥。我笑死,但是不想再指正它。
然后我换到一台稍微老一点的笔记本,原先有8GB内存,我昨天又加了8GB内存,现在有16GB内存。我想既然7B模型不准确,那我换14B模型吧。这个模型慢得不得了,不过它总算没有犯明显错误,它叽叽呜呜说明朝开国皇帝是朱元璋,所以元朝不可能是朱元璋建立的,蒙古帝国是铁木真建立的,但直到1271年才由铁木真的孙子忽必烈改国号为元,所以元朝是铁木真的孙子忽必烈建立的。
估计模型越大则回答越准确,但同时运行速度也会指数级地降低。

h
hualihu
你咋搭起来的?
x
xiaxie8
回复 1楼 xiaxie8 的帖子
然后DeepSeek对政治问题特别特别敏感。
我又问它:西藏的首府在哪里?
它在回答拉萨市之前,先说了几段中国政府反对藏独的声明,好几百个字。
我接着问它:台湾的首府在哪里?
它也是先说了几段中国政府反对台独的声明,好几百个字。然后它说台湾省属于中国,所以台湾的首府是北京市。
我说:你错了,北京市是中国的首都。
它马上发飙,把我前面问的两个问题自动联系起来,来了几段中国政府反对藏独和台独的声明,然后说:您是对的,我前面回答错了,台湾的首府是台北市。
我接着问:湖北的首府在哪里?
它余怒未消,我这么简单的问题,它不直接回答,又背了几百字语录,强调国家主权不可分割,然后说: 我知道湖北省的省会是武汉市,我猜您说的首府指的是首都或省会,我认为您的问题实际上是问湖北省的省会在哪里,所以我最后的回答是湖北的首府是武汉市。
到了这里,我终于明白它前面为什么发怒了,因为英语中首都和首府都是capital,省会是provincial capital,DeepSeek是用英文人工智能模型蒸馏的,然后套了一个中文外壳。为了避免激怒它,以后我只问它微积分问题。
x
xiaxie8
你咋搭起来的?
hualihu 发表于 2025-05-06 18:31

非常简单,只需要5-10分钟,取决于您的网速。
有趣的是,我在家中每一台笔记本上用LM Studio 跑DeepSeek,问完全相同的问题,它每次thinking的过程都有差异。比如说我在另一台笔记本上问它第一个问题就是湖北的首府在哪里?它马上说是武汉市,不再提反对藏独和台独。但我在另一台笔记本上问它第一个问题也是这个问题,它叽叽呜呜说了半天湖南省的省会是长沙市,而武汉市也是湖南省的大城市,所以武汉市很有可能是湖北省的省会,虽然最后答案正确,但中间逻辑混乱,竟然把武汉市送给湖南省了。
总体感觉,在电脑内存有限的情况下,让本地跑的人工智能做微积分题还行,但是做常识题经常闹笑话。

系统提示:若遇到视频无法播放请点击下方链接
https://www.youtube.com/embed/G5BDBYQAJEs