迄今最好的介绍deepseek所谓“蒸馏”,以及可能超越OpenAI的地方

C
C999
楼主 (北美华人网)
来自 加拿大的资深IT从业者,“二姐夫”
文科生都能听得懂!
 
系统提示:若遇到视频无法播放请点击下方链接
https://www.youtube.com/embed/jsLdkrM6RB8
C
C999
推荐大家看完视频后,再去浏览视频下的1560多个评论。
m
monkeyking52
c
ca563
monkeyking52 发表于 2025-01-30 22:33

既然你看过了,给大家说说为什么不值得看?
w
wa8445
评论里阴阳怪气的基本是繁体字啊
x
xpinger2017
蒸馏简单地说就是给已经有的模型提问,取得答案,然后用这些提问和答案来做新模型的训练集, 里面的模型结构和算法很可能是完全不一样的,根本不存在什么偷窃的问题,只是有可能涉及用 这些数据是不是合规的问题,但是目前业界并没有这方面的规范。
Open AI 拿来训练的数据集也是在互联网上搜集来的,很多都是有版权而不经授权的, 所以他两是类似性质的问题,OpenAI的更严重些。因为美国还有过判例,AI 系统产生的输出是没有版权的。
所以在深度学习研发领域,无论学术界,工业界,大家都这么做,因为是最新的科技探索的前沿, 可能大家都觉得推进发展,共享知识比更严格的规范更重要吧。
C
C999
xpinger2017 发表于 2025-01-30 23:18
蒸馏简单地说就是给已经有的模型提问,取得答案,然后用这些提问和答案来做新模型的训练集, 里面的模型结构和算法很可能是完全不一样的,根本不存在什么偷窃的问题,只是有可能涉及用 这些数据是不是合规的问题,但是目前业界并没有这方面的规范。
Open AI 拿来训练的数据集也是在互联网上搜集来的,很多都是有版权而不经授权的, 所以他两是类似性质的问题,OpenAI的更严重些。因为美国还有过判例,AI 系统产生的输出是没有版权的。
所以在深度学习研发领域,无论学术界,工业界,大家都这么做,因为是最新的科技探索的前沿, 可能大家都觉得推进发展,共享知识比更严格的规范更重要吧。

是啊,前天大家都讨论过了。
例如,搜索引擎,搜出的知识结果,就是开放的。
l
layjohns
C999 发表于 2025-01-30 21:59
推荐大家看完视频后,再去浏览视频下的1560多个评论。

评论一看繁体字就知道绿蛙多,有啥好看的,一切都是阿共的阴谋,美国爹爹最厉害
l
layjohns
Meta CEO Mark Zuckerberg addressed Chinese AI startup DeepSeek's latest model in an all-hands. The Meta chief praised its "novel infrastructure optimization advances" in a recording seen by BI. Zuckerberg also said it would "benefit" Meta as it can implement some of DeepSeek's methods.
C
C999
layjohns 发表于 2025-01-30 23:32
Meta CEO Mark Zuckerberg addressed Chinese AI startup DeepSeek's latest model in an all-hands. The Meta chief praised its "novel infrastructure optimization advances" in a recording seen by BI. Zuckerberg also said it would "benefit" Meta as it can implement some of DeepSeek's methods.

小札,前倨后恭,奸佞嘴脸。