花街认可堆算力是方向，电力公司是算力的粮食，必须涨。
但算力是不是都落到女大头上，花街就举棋不定了。
两天前，我曾写文说明大集群gpu可靠方案只有女大，cuda是女大的护城河，难以撼动。
不幸的是，DS可能填上了这条河。有科技博主研究了DS，发现为了解决低性能GPU Cluster带宽低的问题，DS另辟蹊径，在cuda下面的准汇编语言发力，将部分算力转换成数据交换处理器，绕过了cuda。
既然cuda可以绕过去，芯片市场必定群雄并起，进入战国时代。
那，为什么美国厂商没想到这法子呢？
首先，老一辈的程序员把汇编语言打入冷宫。精巧的汇编性能无敌，但是难写难调，20行的汇编程序都能玩出各种花样。 几年前我还在AI芯片上写给汇编，写一次足够让我发誓终身不碰汇编。
其次，在集群大系统中，汇编没有成功的先例。 大多数时候都是混杂情况， 汇编写一小块性能要求高的核心算法，其他用高级语言实现。
那DS为什么打破常规呢？ 原因有三，
第一，DS拿到的芯片是二级货，只能在软件上出奇招。
第二， DS工程师太年轻，没吃过汇编的苦，无知无畏，敢想敢干。
第三， 我认为可能性很大，这个准汇编就不是人写的，而是AI写的，人只提供了思路，AI“自举”迭代，自我进化，完成了用汇编实现大集群的壮举。
这个技术可能是DS优化训练的核心技术。应该没有开源。
但这不足以成为DS的护城河。美国以“犹太人+东欧人+华人+印度人”的startup公司并不缺聪明的大脑，有点子就能实现。
DS是算力肌饿极限状况下的草根突围。逼急了超水平发挥而已。
所以即使长期投资，在女大上是不是重仓，还要留个心眼。女大的护城河没那么宽了。
啊哈哈哈。。。。。。。。。。。。
不是程序员，但是我疑问难道每次改一个算法，用汇编重新写一个？现在全世界是在拼谁最先把AGI搞出来，中间会出来不同成果，如FSD，如抗癌药。这种情况下，拼的是idea，compute和出成果的速度，现在DS已经有这些问题了，等OpenAI，李飞飞这些继续前进的话，做DS的这帮人能赶得上吗？
花街认可堆算力是方向，电力公司是算力的粮食，必须涨。
但算力是不是都落到女大头上，花街就举棋不定了。
两天前，我曾写文说明大集群gpu可靠方案只有女大，cuda是女大的护城河，难以撼动。
不幸的是，DS可能填上了这条河。有科技博主研究了DS，发现为了解决低性能GPU Cluster带宽低的问题，DS另辟蹊径，在cuda下面的准汇编语言发力，将部分算力转换成数据交换处理器，绕过了cuda。
既然cuda可以绕过去，芯片市场必定群雄并起，进入战国时代。
那，为什么美国厂商没想到这法子呢？
首先，老一辈的程序员把汇编语言打入冷宫。精巧的汇编性能无敌，但是难写难调，20行的汇编程序都能玩出各种花样。 几年前我还在AI芯片上写给汇编，写一次足够让我发誓终身不碰汇编。
其次，在集群大系统中，汇编没有成功的先例。 大多数时候都是混杂情况， 汇编写一小块性能要求高的核心算法，其他用高级语言实现。
那DS为什么打破常规呢？ 原因有三，
第一，DS拿到的芯片是二级货，只能在软件上出奇招。
第二， DS工程师太年轻，没吃过汇编的苦，无知无畏，敢想敢干。
第三， 我认为可能性很大，这个准汇编就不是人写的，而是AI写的，人只提供了思路，AI“自举”迭代，自我进化，完成了用汇编实现大集群的壮举。
这个技术可能是DS优化训练的核心技术。应该没有开源。
但这不足以成为DS的护城河。美国以“犹太人+东欧人+华人+印度人”的startup公司并不缺聪明的大脑，有点子就能实现。
DS是算力肌饿极限状况下的草根突围。逼急了超水平发挥而已。
所以即使长期投资，在女大上是不是重仓，还要留个心眼。女大的护城河没那么宽了。
啊哈哈哈。。。。。。。。。。。。
不是程序员，但是我疑问难道每次改一个算法，用汇编重新写一个？现在全世界是在拼谁最先把AGI搞出来，中间会出来不同成果，如FSD，如抗癌药。这种情况下，拼的是idea，compute和出成果的速度，现在DS已经有这些问题了，等OpenAI，李飞飞这些继续前进的话，做DS的这帮人能赶得上吗？