S1的研究团队表示,s1模型是以谷歌推理模型Gemini2.0 Flash Thinking Experimental为基础模型,通过蒸馏法提炼出来的。
他们采用了一种名为test-time scaling的方法。研究团队构建了一个小型数据集s1K,通过难度、多样性和质量三个标准来筛选,其中包括1000个经过精心挑选的问题以及相应答案,并附上了“推理”过程,仅使用了16台英伟达H100 GPU,耗时26分钟就完成了训练。
https://wallstreetcn.com/articles/3740484
Open AI, Google 等做的就是数据收集及初炼,需要庞大的硬件投资,但不需要适用各领域的输出端精确性;
DS 等等提供数据精炼,轻硬件重模型,提供更适合各个领域的输出端精确性。
当然,DS需要给GOOGLE等初炼企业付费。Google等想做垂直供应链,也不是不行,就看愿不愿意投入资源去customize各领域的精炼版模型,能不能比DS,李飞飞等做的更好更便宜。
S1的研究团队表示,s1模型是以谷歌推理模型Gemini2.0 Flash Thinking Experimental为基础模型,通过蒸馏法提炼出来的。
他们采用了一种名为test-time scaling的方法。研究团队构建了一个小型数据集s1K,通过难度、多样性和质量三个标准来筛选,其中包括1000个经过精心挑选的问题以及相应答案,并附上了“推理”过程,仅使用了16台英伟达H100 GPU,耗时26分钟就完成了训练。
https://wallstreetcn.com/articles/3740484
Open AI, Google 等做的就是数据收集及初炼,需要庞大的硬件投资,但不需要适用各领域的输出端精确性;
DS 等等提供数据精炼,轻硬件重模型,提供更适合各个领域的输出端精确性。
当然,DS需要给GOOGLE等初炼企业付费。Google等想做垂直供应链,也不是不行,就看愿不愿意投入资源去customize各领域的精炼版模型,能不能比DS,李飞飞等做的更好更便宜。