这会不会是第二轮炮仗：DS 是在华为的芯片上运行的，H100替代品

https://x.com/Dorialexander/status/1884167945280278857

 

刚刚release的。美股没被炸死，再来一轮？

DS 70b 模型都可以在我的苹果MacBook上运行，速度不比上网的慢，不需要什么H100

不知道为什么大家总盯着H100。只是H100运算快许多，可以同时支持多个用户。Data center都有load balancing, 用功能差一点的没什么问题，多花点电费（+30%？），多用几个主机（2x?), 多占点地，没有什么不可逾越的鸿沟。

如果早这么说， 大家判断它是忽悠就容易多了。

信一次不够，还打算信两次？哈哈

训练和运行本来就应在不同芯片,英为达和其它芯片接口独一无二吊打AMD其它GPU

谁知道华为的升腾芯片进展怎么样了。这个如果真的做成了。绝对是核弹级的。

这是利好的消息，如此一来ds必须得禁

NVDA100 已经够热闹了，别再添料了。

DS 这个系统是不是需要建在已有的foundation LLM 上吗？

训练的时候肯定不是在个人电脑上可以做的。运行可以，因为反正是一个人在使用。不会面对成千上万人的千奇百怪的问题

是利用已有大模型训练的，数字蒸馏。所以才会自己回答它的开发者是OpenAI

意味着美国公司还是得在CHIP上花几千亿美圆，华为的货不能在美国卖。

如果是这样，对Blackwell 销售应该影响不大啊。Blackwell主要是用来训练的， 还是说这样了解不对？

据说，华为的AI 芯片目前产量还上不去。

未来全国产化的AI只要有能卷中低端市场的能力， 肯定能卷得全世界一地鸡毛，最后大家都没饭吃。

忽悠国的把戏一般都是自嗨，不过这里总有几个凑热闹的。正愁没机会抄底，昨天捞了不少NVDL

DS这个事情目前恰恰对训练影响最大。如果是真的， 就说明搞训练出模型的门槛大大降低了。

十一小时前的新闻，貌似没有影响啊

你说的训练是“Fine Tuning” 吧？Foundation Model 的training 不一样啊

大家的疑问：既然可以利用OPENAI的既有模型直接训练，成本很低。那就不要人人都从头训练啊。就会减少GPU需求量啊

而且训练好的小模型（70B）可以在个人电脑上运行，不要大数据中心集中运行，那还需要高那么大，那么多数据中心吗？

外行问一句：假如OPEN AI不让DS用，那DS是照行不误还是翻白眼？

所有的高端芯片，都需要通过台积电这个门啊。上次不是发现华为的芯片是通过第三方提交台积电的吗

就是，来不及啊，数钢镚忙死了

怎么知道成本很低？5万张H100按市面的价格是25亿不是600万...

当然不仅是fine tuning， 至少DS V3自称是从pre-traing到post-training全都有。

Training Costs Pre-Training Context Extension Post-Training Total in H800 GPU Hours in USD

2664K	119K	5K	2788K
$5.328M	$0.238M	$0.01M	$5.576M

DS说的是训练V3的成本， 即使幻方量化有5万个H100也不代表DS V3用了。

你去读一下他们的论文就知道是怎么回事了

我怎么看上面只是华为云数据中心的广告，他们只是hold这些models包括LLAMA给客户用，这个解读的人有问题。

训练大模型需要大量的GPU，因为出一个好的基础模型不容易，需要很多的试错，周期也很长。至少6个月。但是在开源模型上继续训练会大大

不就是外行读不懂但好奇才问内行大拿的吗！

模型不用钱，蒸馏也不用钱， 只是训练费？

查了一下：路透：华为预计2025年Q1大规模生产新一代AI芯片。靠。

GPU又不是消耗品，运行一次就没有了，他们其实是搞量化模型在A股圈钱的

而且数据中心有的是GPU，租就行了，现在中国数据中心建太多了，计算任务根本吃不饱

Interesting。。。。

未知，你的MacBook有多少GB GPU？

没有CUDA支持，AI训练苹果GPU比NVDA差太远。

Mac电脑是unified memory，GPU和CPU共用内存，所以可以运行比较大的模型