Deepseek,豆包和Perplexity 的模型训练

w
whaled
楼主 (文学城)

对Deepseek的一个主要指责是他的训练数据用了ChatGPT的输出,这个指责也延伸到豆包。搜索了一下发现硅谷的另一个当红炸子鸡Perplexity也不是完全用原始数据训练自己的大模型,而是在ChapGpt, Claude和其他大模型的基础上再训练,因为这样成本低很多。豆包好象现在是否认他们用了Chatgpt的输出做训练。不知道用其他模型的输出做训练有没有侵权的问题。

问题是这样一来做基础训练还有什么价值,训练结果不都成了给其他次级训练公司买单吗?可是OpenAI,谷歌和Anthropic 却在成百上千亿做基础模型训练,目的是什么?将来怎么挣钱?

凊荷
所以国人聪明

不要让他门用不就成了。LOL

w
whaled
美国很多startup比如Perplexity也这么做,问题是这么做违法吗。
p
phobos
秦朝咋挣钱?隋朝咋挣钱?局面开创,江山一统,成本自己扛,甜头别人尝,长江前浪推后浪,前浪死在沙滩上。
我是谁的谁
参见Best Buy与亚麻
凊荷
所以应该有law 和规则

还没来得及。哈哈

w
whaled
有点象。亚麻现在还拉着Anthropic,出了成果他还能摘桃。
w
whaled
都是占着便宜再说,OpenAI也是偷偷用New york Times的文章训练不付钱,没好东西。
C
ClearCase
这就是一种变相的拷贝抄袭。但是AGI的核心突破是在基础训练上,不是这种二次盗取模式
C
ClearCase
这就是一种变相的拷贝抄袭。但是AGI的核心突破是在基础训练上,不是这种二次盗取模式
C
ClearCase
这就是一种变相的拷贝抄袭。但是AGI的核心突破是在基础训练上,不是这种二次盗取模式
大宋
deep seek牛逼的地方是

它一口气发布了不同的版本,有迷你型型的,小型,中性,大型。。。。

 

功能大同小异。

 

可以离线调用。

 

开源。

 

啥意思?

你家孩子搞个车库机器人,免费装一个迷你deep seek,那个车库机器人立马变成了AI机器人。

 

不会搞机器人,嫌搞硬件麻烦?temu 里有大量的机器人出售。现在美国的各大学研究机构比如MIT,他们就购买现成的temu机器人,自己写程序。

 

 

Z
Zhivago
好问题 谷歌OpenAI 继续基础模型训练意义重大 主要目标是建立生态系统 同时底层的技术有很大的不可复制性
w
whaled
Deepseek R1确实很厉害。reinforcement learning在机器人应用上很重要
w
whaled
对。美帝对中国AI的优势是在这个层面上
w
whaled
不能说是盗取,只是接近于应用层次。硅谷这类公司也很多