显卡可能没那么重要了?中国公司给硅谷上了一课

今日头条
Toutiao
最新回复:2025年1月4日 8点26分 PT
  返回列表
82439 阅读
47 评论
差评

墙内自媒体差评文章:我是万万没想到,就在西方还沉浸在圣诞假期,疯狂 “ 过年 ” 的时候,咱们中国企业给人家放了个新年二踢脚,给人家脑瓜子崩得嗡嗡得。

前有宇树科技的机器狗视频让大家惊呼,还要啥波士顿动力。

紧接着又来了个国产大模型 DeepSeek,甚至有股做空英伟达的味道。

具体咋回事儿,咱给你唠明白咯。

前几天, DeepSeek 刚刚公布最新版本 V3 ,注意,与大洋彼岸那个自称 Open ,却越来越 Close 的公司产品不同,这个 V3 是开源的。

不过开源还不是他最重要的标签, DeepSeek-V3 ( 以下简称 V3 )还兼具了性能国际一流,技术力牛逼,价格击穿地心三个特点,这一套不解释连招打得业内大模型厂商们都有点晕头转向了。

V3 一发布, OpenAI 创始成员 Karpathy 直接看嗨了,甚至发出了灵魂提问,难道说大模型们压根不需要大规模显卡集群?

我估计老黄看到这头皮都得发麻了吧。

同时, Meta 的 AI 技术官也是直呼 DeepSeek 的成果伟大。

知名 AI 评测博主 Tim Dettmers ,直接吹起来了,表示 DeepSeek 的处理优雅 “elegant”。

而在这些技术出身的人,看着 V3 的成绩送去赞扬的时候,也有些人急了。

比如奥特曼就搁那说,复制比较简单啦,很难不让人觉得他在内涵 DeepSeek 。

更有意思的是,做到这些的公司既不是什么大厂,也不是纯血 AI 厂商。

DeepSeek 公司中文名叫深度求索,他们本来和 AI 没任何关系。

就在大模型爆火之前,他们其实是私募机构幻方量化的一个团队。

而深度求索能够实现弯道超车,既有点必然,也好像有点运气的意思。

早在 2019 年,幻方就投资 2 亿元搭建了自研深度学习训练平台 “ 萤火虫一号 ” ,到了 2021 年已经买了足足 1 万丈英伟达 A100 显卡的算力储备了。

要知道,这个时候大模型没火,万卡集群的概念更是还没出现。

而正是凭借这部分硬件储备,幻方才拿到了 AI 大模型的入场券,最终卷出了现在的 V3 。

你说好好的一个量化投资领域的大厂,干嘛要跑来搞 AI 呢?

深度求索的 CEO 梁文锋在接受采访的时候给大家聊过,并不是什么看中 AI 前景。

而是在他们看来, “ 通用人工智能可能是下一个最难的事之一 ” ,对他们来说, “ 这是一个怎么做的问题,而不是为什么做的问题。 ”

就是抱着这么股 “ 莽 ” 劲,深度求索才搞出了这次的大新闻,下面给大家具体讲讲 V3 有啥特别的地方。

首先就是性能强悍,目前来看,在 V3 面前,开源模型几乎没一个能打的。

还记得去年年中,小扎的 Meta 推出模型 Llama 3.1 ,当时就因为性能优秀而且开源,一时间被捧上神坛,结果在 V3 手里,基本是全面落败。

而在各种大厂手里的闭源模型,那些大家耳熟能详的什么 GPT-4o 、 Claude 3.5 Sonnet 啥的, V3 也能打得有来有回。

你看到这,可能觉得不过如此,也就是追上了国际领先水平嘛,值得这么吹吗?

残暴的还在后面。

大家大概都知道了,现在的大模型就是一个通过大量算力,让模型吃各种数据的炼丹过程。

在这个炼丹期,需要的是大量算力和时间往里砸。

所以在圈子里有了一个新的计量单位 “GPU 时 ” ,也就是用了多少块 GPU 花了多少个小时的训练时间。

GPU 时越高,意味着花费的时间、金钱成本就越高,反之就物美价廉了。

前面说的此前开源模型王者, Llama 3.1 405B ,训练周期花费了 3080 万 GPU 时。

可性能更强的 V3 ,只花了不到 280 万 GPU 时。

以钱来换算, DeepSeek 搞出 V3 版本,大概只花了 4000 多万人民币。

而 Llama 3.1 405B 的训练期间, Meta 光是在老黄那买了 16000 多个 GPU ,保守估计至少都花了十几亿人民币。

至于另外的那几家闭源模型,动辄都是几十亿上百亿大撒币的。

你别以为 DeepSeek 靠的是什么歪门邪道,人家是正儿八经的有技术傍身的。

为了搞清楚 DeepSeek 的技术咋样,咱们特地联系了语核科技创始人兼 CTO 池光耀,他们主力发展企业向的 agent 数字人,早就是 DeepSeek 的铁粉了。

池光耀告诉我们,这次 V3 的更新主要是 3 个方面的优化,分别是通信和显存优化、推理专家的负载均衡以及FP8 混合精度训练。

各个部分怎么实现的咱也就不多说了,总体来说,大的整体结构没啥变化,更多的像是咱们搞基建的那一套传统艺能,把工程做得更高效、更合理了。

首先, V3 通过通信和显存优化,极大幅度减少了资源空闲率,提升了利用效率。

而推理专家( 具备推理能力的 AI 系统或算法,能够通过数据分析得出结论 )的负载均衡就更巧妙了,一般的大模型,每次启动,必须把所有专家都等比例放进工位( 显存 ),但真正回答用户问题时,十几个专家里面只用到一两个,剩下的专家占着工位( 显存 )摸鱼,也干不了别的事情。

而 DeepSeek 把专家分成热门和冷门两种,热门的专家,复制一份放进显存,处理热门问题;冷门的专家也不摸鱼,总是能被分配到问题。

FP8 混合精度训练则是在之前被很多团队尝试无果的方向上拓展了新的一步,通过降低训练精度以降低训练时算力开销,但却神奇地保持了回答质量基本不变。

也正是这些技术上的革新,才得到了大模型圈的一致好评。

通过一直以来的技术更新迭代, DeepSeek 收获的回报也是相当惊人的。

他们 V3 版本推出后,他们的价格已经是低到百万次几毛钱、几块钱。

他们甚至还在搞了个新品促销活动,到明年 2 月 8 号之前,在原来低价的基础上再打折。

而一开始提到同样开源的 Claude 3.5 Sonnet ,每百万输入输出,至少都得要几十块以上。。。

更要命的是,这对 DeepSeek 来说已经是常规套路了。

早在去年初,DeepSeek V2 模型发布后,就靠着一手低价,被大家叫做了AI 界拼多多。

他们还进一步引发了国内大模型公司的价格战,诸如智谱、字节、阿里、百度、腾讯等大厂纷纷降价。

池光耀也告诉我们,他们公司早在去年 6 、 7 月份就开始用上了 DeepSeek ,当时也有国内其他一些大模型厂商来找过他们。

但和 DeepSeek 价格差不多的,模型 “ 又太笨了,跟 DeepSeek 不在一个维度 ” ;如果模型能力和 DeepSeek 差不多,那个价格 “ 基本都是 10 倍以上 ” 。

更夸张的是,由于技术 “ 遥遥领先 ” 带来的降本增效,哪怕 DeepSeek 卖得这么便宜,根据他们创始人梁文峰所说,他们公司还是赚钱的。。。是不是有种隔壁比亚迪搞 998 ,照样财报飘红的味道了。

不过对于我们普通用户来说, DeepSeek 似乎也有点偏门了。

因为他的强项主要是在推理、数学、代码方向,而多模态和一些娱乐化的领域不是他们的长处。

而且眼下,尽管 DeepSeek 说自己还是赚钱的,但他们团队上上下下都有股极客味,所以他们的商业化比起其他厂商就有点弱了。

但不管怎么说, DeepSeek 的成功也证明了,在 AI 这个赛道还存在的更多的可能。

按以前的理解,想玩转 AI 后面没有个金主爸爸砸钱买显卡,压根就玩不转。

但现在看起来,掌握了算力并不一定就是掌握了一切。

我们不妨期待下未来,更多的优化出现,让更多的小公司、初创企业都能进入 AI 领域,差评君总感觉,那才是真正的 AI 浪潮才对。

s
slimane
1 楼
呵呵呵,快點告訴遙遙領先,不需要再盜用台積電芯片了,尤其還是已經淘汰的七納米了 [1评]
y
yidianm
2 楼
中国理工生反贼不多,文科背景反贼多如牛毛,都是当年考不上理工的二流货色 [2评]
文学少年
3 楼
这匹黑马硬生生的把国外同行撞得头昏眼花。
d
duffer9
4 楼
其实中国公司都很明白,是这个傻鸟作者脑子崩出屎来了。博眼球的目的达到了。
谁主沉浮?
5 楼
龙起卷
6 楼
肯定有屎3喷
挺好
7 楼
亲测,挺好用的!
谁主沉浮?
8 楼
中国真不需要太多文科。 中国曾经弱的狠,说白了,就是理科生太少。。。 就是被那些傻逼吹嘘的民国大师,也就是胡适,傅斯年。。。之流,吹牛逼一个顶三,做实事狗屁不是,所以才让日本那样残害。。 胡适支流,日本人统治了,必做汉奸无疑。
j
jeffinvade
9 楼
我试了,很扯 给我的事实都不对,我说你这是谎言,还跟我说没错你说的对 靠 要是你给我的信息还没google可靠我干嘛要用你
谁主沉浮?
10 楼
敝帚自珍
v
vesucks
11 楼
厉害了,厉害了。马上中国AI不用电都远超天顶科技。
k
kyogui
12 楼
听着雨里雾里的,所以说国内的公司都可以用它喽?华为百度什么的也不需要搞自己的模型了,这个是开源的
人生没有智慧
13 楼
这几天推特上全是吹deepseek的
人面桃花相映红
14 楼
其实不应该开源的,开源的优点闭源可以学习,可你开源的学不到闭源的。闭源的还有资金优势。据我的观察,开源就没有成功的。
R
RM
15 楼
类似小米造出车来导致一些车厂被查账倒闭
屡教不改
16 楼
我大概看了看,没有吃的那么厉害,因为只在编程上和其他AI差不多,但是其他用途一般。不过他是开源的,应该用不了多久其他研究人员就可以做更深一步的测试。如果真是有那么大优势,对整个AI行业是好事,因为这意味着更大的数据可以用来训练。英伟达完全不用担心,因为有了空出来的cycle,一定有人可以用上。AI还只是开始。
狮城银牌
17 楼
AI 门外汉,就问一个问题。 你这套给别人学会了。(都开源是这个意思吗?),那人家的GPU 或者说资源,资金比你多几百上千倍,一旦人家用你的方法,不是可以比你有效的多。
老粉黑
18 楼
开源的都是垃圾,在等别人挑错呢。这种低级东西也拿出来吹?
j
jpeagle
19 楼
又吹。正常的工程技术在效率上的改进,又不是科学上的颠覆。 每个国家给足够时间都能做到。而且算法容易复制,算力抢不到就是抢不到,同样算法下,中国的算力还是被美国掐住脖子远远落后。
q
qnzyz03575
20 楼
丑国码农以为AI训练是力大出奇迹,就无脑拼命堆显卡算力,吹出一堆泡泡效果也没见多么好。中国科技一出手就让丑国知道,有脑和无脑的差距不是显卡能弥补的
a
afatgoat
21 楼
业内人士都在称赞,一群sb凭着自己的执念在疯狂展示自己的弱智和反人类。
w
wang68p2003
22 楼
要看什么。如果是面向用户的终端产品,开源没有闭源更考虑用户的需求,比如苹果跟安卓。但如果是platform,开源有优势。比如unix/linux跟window system对比。
f
fybs
23 楼
奥特曼说得对
s
soogood
24 楼
够酸的,你要小心了,哪天会打的你满地找牙!
p
ptdongguan
25 楼
这个是开源普通知识.闭源的要用,多数协议.要求,你用了.你也得开源.
w
wang68p2003
26 楼
既然你deepseek比人家性价比强很多(技术牛),你干嘛那么压低自己的价格?没有商业头脑。 [1评]
y
yaoyaogo
27 楼
不要乱讲,硬件还是很重要的。算法还是需要硬件加持。跑步没有骑单车快,但是还是需要最基础的体力 [1评]
g
goodboy22
28 楼
这个文章就像巧克力一样,人吃了会享受。狗吃了会死的。狗粮不得好死,狗粮见不得中国的一点点好,但凡中国有点儿进步,狗粮就像死了全家一样。所以说美国的狗腿子都不得好死,狗腿子死全家。
g
goodboy22
29 楼
这个文章就像巧克力一样,人吃了会享受。狗吃了会死的。狗粮不得好死,狗粮见不得中国的一点点好,但凡中国有点儿进步,狗粮就像死了全家一样。所以说美国的狗腿子都不得好死,狗腿子死全家。
g
goodboy22
30 楼
这个文章就像巧克力一样,人吃了会享受。狗吃了会死的。狗粮不得好死,狗粮见不得中国的一点点好,但凡中国有点儿进步,狗粮就像死了全家一样。所以说美国的狗腿子都不得好死,狗腿子死全家。
g
goodboy22
31 楼
这个文章就像巧克力一样,人吃了会享受。狗吃了会死的。狗粮不得好死,狗粮见不得中国的一点点好,但凡中国有点儿进步,狗粮就像死了全家一样。所以说美国的狗腿子都不得好死,狗腿子死全家。
g
goodboy22
32 楼
这个文章就像巧克力一样,人吃了会享受。狗吃了会死的。狗粮不得好死,狗粮见不得中国的一点点好,但凡中国有点儿进步,狗粮就像死了全家一样。所以说美国的狗腿子都不得好死,狗腿子死全家。
g
goodboy22
33 楼
这个文章就像巧克力一样,人吃了会享受。狗吃了会死的。狗粮不得好死,狗粮见不得中国的一点点好,但凡中国有点儿进步,狗粮就像死了全家一样。所以说美国的狗腿子都不得好死,狗腿子死全家。
不忙
34 楼
这个是真厉害,去看看用户群里的评价,好用,速度快,performance跟chatgpt 4 不相上下,关键还是接近免费,还开源。
不忙
35 楼
用的人可多了,很多人从2.0就开始用。数学,编程都是它的强项。
我爱北京的秋天
36 楼
不明觉厉。
g
granddad
37 楼
人家说的是,算力不足的问题,可以通过优化后的算法架构绕开。换句话说就是,很多问题根本不需要那么多的算力,也就是不需要那么多GPU
V
VBO
38 楼
狗殖们如丧考妣
S
Sarandon
39 楼
说了半天,就是用计算软件代替GPU,30年前就有的技术尝试,不谈占用主芯片算力,主要问题是比物理GPU慢了很多。 [1评]
S
Sarandon
40 楼
吹牛逼墙国,始终不变。
史前巨混
41 楼
子弹飞一会就知道了
我来晚了
42 楼
惊叹现在国内写科技评论的都是帮大跃进笔法的文科生们。这个惊叹,那个下跪,而且前后矛盾看着想吐。
财富绽放
43 楼
英伟达干了几十年的护城河,一群门外汉几年就拆了,是这个意思吧?
u
uglyguy
44 楼
“ 到了 2021 年已经买了足足 1 万丈英伟达 A100 显卡的算力储备了”不知道一万丈是什么鬼,如果是一万枚的意思,这一万枚可不止4000万元人民币,A100才4000元人民币?你做梦吧,吹,继续吹
T
TRETY
45 楼
来源是优点?苹果系统是来源的?
正中世界
46 楼
乡巴佬台巴子