这几十年,IT体系理论就两次根本性创新

s
sanwadie
楼主 (未名空间)

第一次就是冯诺伊曼体系结构的建立
第二次就是DL的发端

这两者的底层数学基础很不同。

现在DL被嫁接在冯诺伊曼结构上,用离散的方式模拟,是暂时的,如果一直这样就是走错了路。

DL应该回到模拟计算机的路子,在芯片上直接实现可以编程模拟电路。FPGA和ASICS等
还是数字电路,不是完美方案。

模拟神经电路的可编程,或许就是组合各种算子或网络结构。

今后CS可能会分叉为数字计算和模拟计算。这两个分支目前看都很有用。

以后真正的人工智能,新生代人类可能就是集成了数字和模拟电路的机器人,兼二者之长。

f
fantasist

有人找到响应类似于生物神经元的材料吗?别说人脑的,就蚯蚓的有么?没这玩意儿,模拟DL硬件怎么搭的起来。
s
sanwadie

我思路还是窄了。不一定是硅电子模拟。可以是有机或非硅材料。

可以考虑用干细胞培养神经元,这个最直观。已经有人在做了

【 在 fantasist (一) 的大作中提到: 】
: 有人找到响应类似于生物神经元的材料吗?别说人脑的,就蚯蚓的有么?没这玩意儿,
: 模拟DL硬件怎么搭的起来。

T
TheMatrix

直接生一个?:)

【 在 sanwadie (三娃爹) 的大作中提到: 】
: 我思路还是窄了。不一定是硅电子模拟。可以是有机或非硅材料。
: 可以考虑用干细胞培养神经元,这个最直观。已经有人在做了

s
sanwadie

没法编程。或者编程周期太长 ^_^

【 在 TheMatrix (TheMatrix) 的大作中提到: 】
: 直接生一个?:)

w
walkrandom

我觉得是linux
linus惊天妙笔
从此server便宜得跟水一样
一切的可能成为了现实
造就了这个行业
g
gogogo2

馮諾伊曼体系结构,现在所有计算机硬件还是在这个体系下,

这个体系并不能解决多个cpu高效工作问题,人脑是无数个神经元协同工作,馮諾伊曼
体系结构这方面弱
s
sanwadie

我们讨论 it 体系理论,不针对某个产品。此外Linux 作为操作系统,原创性是不够的,基
本继承了unix的。

【 在 walkrandom (walkrandom) 的大作中提到: 】
: 我觉得是linux
: linus惊天妙笔
: 从此server便宜得跟水一样
: 一切的可能成为了现实
: 造就了这个行业

s
sanwadie


【 在 sanwadie (三娃爹) 的大作中提到: 】
: 我们讨论 it 体系理论,不针对某个产品。此外Linux 作为操作系统,原创性是不够的,基
: 本继承了unix的。

g
gogogo2

现在的电脑都是馮諾伊曼体系,
我经常想如果cpu没有数据总线地址总线,靠一堆小cpu协同,就想大脑一样, 人类就会一次巨大跳跃,
s
sanwadie

超级计算机都是很多cpu协同工作。多到几万个。但本质还是冯诺伊曼体系。

DL在本质上不同。每个cell只做非常有限、简单的处理,cell之间的连接阈值对cell的输出有影响。单个cell的输出一般没有宏观意义。

【 在 gogogo2 (googlebot) 的大作中提到: 】
: 现在的电脑都是馮諾伊曼体系,
: 我经常想如果cpu没有数据总线地址总线,靠一堆小cpu协同,就想大脑一样, 人类就
: 会一次巨大跳跃,

g
gogogo2

希望dl模式的硬件能问世,

馮諾伊曼体系适合计算,地址数据很明确,但不适合学习,学习是把分散的点连成一个网,融会贯通,

希望出个天才,发面一个非馮諾伊曼体系的人造机器,
s
sanwadie

实现单个cell的元器件可能还好找,实现可编程/可修改网络结构就难了

【 在 gogogo2 (googlebot) 的大作中提到: 】
: 希望dl模式的硬件能问世,
: 馮諾伊曼体系适合计算,地址数据很明确,但不适合学习,学习是把分散的点连成一个
: 网,融会贯通,
: 希望出个天才,发面一个非馮諾伊曼体系的人造机器,

N
Nisayer


【 在 sanwadie (三娃爹) 的大作中提到: 】
: 第一次就是冯诺伊曼体系结构的建立
: 第二次就是DL的发端

....

DL也算根本性创新 ?

脑子坏掉了吧
: 这两者的底层数学基础很不同。
: 现在DL被嫁接在冯诺伊曼结构上,用离散的方式模拟,是暂时的,如果一直这样就是走
: 错了路。
: DL应该回到模拟计算机的路子,在芯片上直接实现可以编程模拟电路。FPGA和ASICS等
: 还是数字电路,不是完美方案。
: 模拟神经电路的可编程,或许就是组合各种算子或网络结构。
: 今后CS可能会分叉为数字计算和模拟计算。这两个分支目前看都很有用。
: 以后真正的人工智能,新生代人类可能就是集成了数字和模拟电路的机器人,兼二者之
: ...................

i
iDemocracy

DL好像跟冯·诺依曼架构不是同一个级别的事儿吧?要制造DL机器,至少也得进入五维以上的时空吧。如果是四维时空,DL总要放弃点什么吧,例如寻址能力?胡乱瞎猜。

冯·诺依曼架构计算机在体系结构上主要特点有:
以运算单元为中心
采用存储程序原理
存储器是按地址访问、线性编址的空间
控制流由指令流产生
指令由操作码和地址码组成
数据以二进制编码
g
gogogo2

本质上是计算机的架构问题,
冯·诺依曼架构, 非冯·诺依曼架构,
人脑是非冯·诺依曼架构的,如果能发明非冯·诺依曼架构的计算机,那就厉害了

【 在 iDemocracy (DEMO) 的大作中提到: 】
: DL好像跟冯·诺依曼架构不是同一个级别的事儿吧?要制造DL机器,至少也得进入五维
: 以上的时空吧。如果是四维时空,DL总要放弃点什么吧,例如寻址能力?胡乱瞎猜。: 冯·诺依曼架构计算机在体系结构上主要特点有:
: 以运算单元为中心
: 采用存储程序原理
: 存储器是按地址访问、线性编址的空间
: 控制流由指令流产生
: 指令由操作码和地址码组成
: 数据以二进制编码

h
hci

发明非冯·诺依曼架构的计算机不算啥,早就发明过很多次了。比如说我老曾经的办公室隔壁那位印度老兄发明的神经计算机芯片:
https://www-03.ibm.com/press/us/en/pressrelease/52657.wss

厉害的是能干得过冯·诺依曼架构的,目前还没有。

这个架构,冯·诺依曼写了文章,但我估计其实是Walter Pitts这个疯子发明的。

【 在 gogogo2 (googlebot) 的大作中提到: 】
: 本质上是计算机的架构问题,
: 冯·诺依曼架构, 非冯·诺依曼架构,
: 人脑是非冯·诺依曼架构的,如果能发明非冯·诺依曼架构的计算机,那就厉害了

d
dailygrind16

> 这个架构,冯·诺依曼写了文章,但我估计其实是Walter Pitts这个疯子发明的。

John Mauchly 和 Presper Eckert 要从棺材里爬出来抗议了: 自己的发明被冯·诺依曼偷了,已经够冤的了。还被人到处安到另外人的头上。

【 在 hci (海螺子) 的大作中提到: 】
: 发明非冯·诺依曼架构的计算机不算啥,早就发明过很多次了。比如说我老曾经的办公
: 室隔壁那位印度老兄发明的神经计算机芯片:
: https://www-03.ibm.com/press/us/en/pressrelease/52657.wss
: 厉害的是能干得过冯·诺依曼架构的,目前还没有。
: 这个架构,冯·诺依曼写了文章,但我估计其实是Walter Pitts这个疯子发明的。

s
sanwadie

看了一下ibm的资料,这个没用脱离前面提到的冯诺依曼体系模拟或者数字电路模拟的
范畴。 现在很多NPU,KPU,TPU,FPGA,ASIC都是这个思路。

【 在 hci (海螺子) 的大作中提到: 】
: 发明非冯·诺依曼架构的计算机不算啥,早就发明过很多次了。比如说我老曾经的办公
: 室隔壁那位印度老兄发明的神经计算机芯片:
: https://www-03.ibm.com/press/us/en/pressrelease/52657.wss
: 厉害的是能干得过冯·诺依曼架构的,目前还没有。
: 这个架构,冯·诺依曼写了文章,但我估计其实是Walter Pitts这个疯子发明的。

g
guvest

这事的历史没什么不清楚的。ENIAC是美国人自己的项目。此后冯诺依曼加入。写了文
章,起到了教学作用。文章里面有多少是抄ENIAC的,多少是冯诺依曼的新设计,是另
一回事。
冯诺依曼的文章之署名只有自己。且影响了ENIAC申报专利。

讲故事的人将之描述成一群美国笨蛋,等着数学家来拯救是时间线完全错乱的。另外最早ENIAC组里有一位中国人。此人后来到交大设立了奖学金。

文章本身确有类比人类生理构造的段落。但与pitts无关。

最早的电力(非电子)计算机是Charles Pierce与他的学生设计制造出来的。那次是最关键的。实证了在机器上数理逻辑可以走布尔等人的代数方法。而不是弗雷格,罗素等人的方法。

在那以后。所有的计算机都是布尔代数机。数字电路第一课就是真值表与非门的代数。

【 在 hci(海螺子) 的大作中提到: 】
<br>: 发明非冯·诺依曼架构的计算机不算啥,早就发明过很多次了。比如说我老曾经
的办公
<br>: 室隔壁那位印度老兄发明的神经计算机芯片:
<br>: https://www-03.ibm.com/press/us/en/pressrelease/52657.wss
<br>: 厉害的是能干得过冯·诺依曼架构的,目前还没有。
<br>: 这个架构,冯·诺依曼写了文章,但我估计其实是Walter Pitts这个疯子发明的。
<br>

g
guvest

你可知数字电路与非门什么的用的是布尔开创的数理逻辑的代数方法。其与弗雷格,罗素等人开创的数理逻辑主流,至今都是不一致的。

EE每个人都学过数字电路。但是没有什么人知道什么是数理逻辑。也不需要知道。半导体公司做数字电路的也是如此。

由此可见布尔-韦恩-欧拉... 这套工具的威力。

何时起,布尔代数这类方法被用来设计和制作电力计算机(非电子计算机)?那是
Charles
Peirce和他一个学生在太平天国年代干的事。

这件事比其他的事情都要重要的多。

【 在 sanwadie(三娃爹) 的大作中提到: 】
<br>: 看了一下ibm的资料,这个没用脱离前面提到的冯诺依曼体系模拟或者数
字电路
模拟的
<br>: 范畴。 现在很多NPU,KPU,TPU,FPGA,ASIC都是这个思路。
<br>

w
walkrandom

你问问wdong
他是专家,都不看好DL
跟以前什么big data,data science一样
热不了几年了