成本仅50美元,性能媲美Deepseek-R1,李飞飞带着S1来炸场了

Z
Zhivago
楼主 (文学城)
成本仅50美元,性能媲美Deepseek-R1,李飞飞带着S1来炸场了 

S1的研究团队表示,s1模型是以谷歌推理模型Gemini2.0 Flash Thinking Experimental为基础模型,通过蒸馏法提炼出来的。

他们采用了一种名为test-time scaling的方法。研究团队构建了一个小型数据集s1K,通过难度、多样性和质量三个标准来筛选,其中包括1000个经过精心挑选的问题以及相应答案,并附上了“推理”过程,仅使用了16台英伟达H100 GPU,耗时26分钟就完成了训练。


 

https://wallstreetcn.com/articles/3740484

Z
Zhivago
简单总结 是蒸ChatGPT 需要5百万美元 蒸阿里的 只需50 美元
j
jason1020
AI 版本 的水变油。
Z
Zhivago
是有这个感觉
大观园的贾探春
不是蒸馏阿里的,而是蒸馏谷歌的。Gemini 2.0是谷歌的,不是阿里的。
大观园的贾探春
这个蒸馏能够work的前题是已经有了谷歌的Gemini 2.0的大模型。
Z
Zhivago
说的是这个 s1模型的训练并非从零开始,而是基于阿里云通义千问(Qwen)模型进行监督微调。二级蒸馏
Z
Zhivago
DS 的前提是?
大观园的贾探春
报道里我没看到提到阿里的Qwen,只提到谷歌的Gemini 2.0。
Z
Zhivago
那你现在看到了 再评论一下?
大观园的贾探春
据说是OpenAI的GPT。
B
BeKindPerson
没ChatGPT 哪来的DS?DS应感恩前辈…
大观园的贾探春
在你主帖链接的那篇报道里还是没看到。
S
Sweetiemm
天下文章一大抄的AI版
b
bia
告诉你们一个AI的秘密
Z
Zhivago
评论讲 各路牛鬼蛇神闪亮登场
Z
Zhivago
哈哈
Z
Zhivago
AI ethics 应当是最大的挑战了
w
whaled
openAI可是非法使用了无数版权作品培训,不仅官司缠身,还有吹哨人莫名其妙死亡。这是问题最大的一个。
w
whaled
蒸馏不涉及版权问题,用版权文章作培训则涉嫌侵权
大观园的贾探春
谷歌Gemini的信息是向有执照的信息供应者购买的,没有版权争议。
幸福象花儿一样
以后这个行业就得细分,象石油行业一样,挖油-初炼-精炼, 没有必要造肥皂的得从挖油干起。数据也一样

Open AI, Google 等做的就是数据收集及初炼,需要庞大的硬件投资,但不需要适用各领域的输出端精确性;

DS 等等提供数据精炼,轻硬件重模型,提供更适合各个领域的输出端精确性。

当然,DS需要给GOOGLE等初炼企业付费。Google等想做垂直供应链,也不是不行,就看愿不愿意投入资源去customize各领域的精炼版模型,能不能比DS,李飞飞等做的更好更便宜。

w
whaled
不了解,应该比openai 干净
j
jit
你的意思是说侵权是别人的事,使用侵权的结果来蒸一次就洗白白了?
w
whaled
洗白个球,但要把事实讲清楚
w
whaled
看来DeepSeek也不需要象Alex Wang说的用了几万块H100也能训练成功
挖矿
有道理
j
julie116
避免大忽悠们把政府和大家的钱都卷走然后人间蒸发或实行独裁统治
w
whaled
问题是AI训练结果没有版权,没法收费。而且Openai用版权材料训练也没付费,真要付版费不会少
幸福象花儿一样
这不是刚兴起嘛,以后肯定会规范的。
w
whaled
我支持建立规则保护各方利益
m
mom2023
小声说50刀。现在掏粪工一小时都不够这个价格LO L
K
Knight_2024
是蒸馏阿里Qwen, 这是李飞飞的论文。

S
SabrinaD
五十刀是cloud computing 的租用费,说明蒸馏不需要多少算力。女大又要跌。那几个炒股的又要出来混淆视听了。
Z
Zhivago
拿着百万年薪的AI PHD 情何以堪