大家对Ma Yi的deep network theory怎么看?

C
Caravel
楼主 (未名空间)
https://www.youtube.com/watch?v=OIVcfZeR1CE


berkeley的Ma Yi提出了一个Maximal Coding Rate Reduction的原理,据说可以从第一性原理推导出深度学习网络的结构和operator。他本人对这个work很自信,说应该发图灵奖。
g
guvest

眼看Alexnet都快十年了。一年年大批职业化的本科生,phd都出来了。
追新闻也早就过时了。不如move on。

【 在 Caravel (克拉维尔) 的大作中提到: 】
: https://www.youtube.com/watch?v=OIVcfZeR1CE
: berkeley的Ma Yi提出了一个Maximal Coding Rate Reduction的原理,据说可以从第一
: 性原理推导出深度学习网络的结构和operator。他本人对这个work很自信,说应该发图
: 灵奖。


C
Caravel

没有第一性原理的东西出来把,马毅这个可以得到前向构造性网络,不需要backprop,最近丘成桐请去做了报告。

【 在 guvest (我爱你老婆Anna) 的大作中提到: 】
: 眼看Alexnet都快十年了。一年年大批职业化的本科生,phd都出来了。
: 追新闻也早就过时了。不如move on。

g
guvest

一个东西过时之后,就是少量专家研究就可以了。所以我认为,这类东西过去现在未来,都不太可能与你有任何关系。所以对绝大多数人而言。忽略不计就可以了。

许多年Yau以前在IEEE杂志发过文章。跟国内的数学控制论院士互相捧过。这没啥稀罕
的。跨界宗师一般都是带着妖风去捞钱的。看到跨界宗师,避开就对了。

话说你老也都过phd啊,怎么好像没收到正确的教育啊。追星族似的。
【 在 Caravel (克拉维尔) 的大作中提到: 】
: 没有第一性原理的东西出来把,马毅这个可以得到前向构造性网络,不需要backprop,
: 最近丘成桐请去做了报告。

g
guvest

另外信息论这个坑内卷多年,学风极其不正。绝大多数文章捏着鼻子都看不下去。
谁不服,觉得我不懂。那么你可以问他,是不是十年前跟prof Verdu排队握过手。

然后让他看我十年前的神卦:

发信人: guvest (我爱你老婆Anna), 信区: EE
标 题: Prof.Verdu=学术CDMA=低级趣味 (转载)
发信站: BBS 未名空间站 (Fri Jan 8 23:34:27 2010, 美东)

【 在 guvest (我爱你老婆Anna) 的大作中提到: 】
: 一个东西过时之后,就是少量专家研究就可以了。所以我认为,这类东西过去现在未来
: ,都不太可能与你有任何关系。所以对绝大多数人而言。忽略不计就可以了。
: 许多年Yau以前在IEEE杂志发过文章。跟国内的数学控制论院士互相捧过。这没啥稀罕
: 的。跨界宗师一般都是带着妖风去捞钱的。避开就对了。

g
guvest

你要真想看文章。我给你推荐个。
https://www.cs.princeton.edu/courses/archive/fall05/frs119/papers/
siegelmann95.pdf

【 在 Caravel (克拉维尔) 的大作中提到: 】
: https://www.youtube.com/watch?v=OIVcfZeR1CE
: berkeley的Ma Yi提出了一个Maximal Coding Rate Reduction的原理,据说可以从第一
: 性原理推导出深度学习网络的结构和operator。他本人对这个work很自信,说应该发图
: 灵奖。


lightroom

他这个scale上不去,data多了算不动。
c
chebyshev

如果没能力定义问题,还是在做静态图像这个老问题。

现在cloud训练imagnet之费用的世界纪录大概是15美元。
不说STOA吧,一个文章的办法起码得30刀起步吧?
不然距离前沿太远了,然而又说自己有啥啥principle,我看很难有人搭理。

作者里这几个学生搞不好要悲剧。
【 在 lightroom (吃一条鱼,思考一个问题,法号三丰) 的大作中提到: 】
: 他这个scale上不去,data多了算不动。

C
Caravel

我也在想他这个方法得缺点是什么,跟进得似乎不多。

【 在 lightroom (吃一条鱼,思考一个问题,法号三丰) 的大作中提到: 】
: 他这个scale上不去,data多了算不动。

C
Caravel

这个倒不用替人家当心,马是微软火箭军出来得,那里调参高手不少,何凯明任少卿什么得,现在天下都在调参,这几个做点hardcore的,反而以后可以别具一格。

【 在 chebyshev (......) 的大作中提到: 】
: 如果没能力定义问题,还是在做静态图像这个老问题。
: 现在cloud训练imagnet之费用的世界纪录大概是15美元。
: 不说STOA吧,一个文章的办法起码得30刀起步吧?
: 不然距离前沿太远了,然而又说自己有啥啥principle,我看很难有人搭理。
: 作者里这几个学生搞不好要悲剧。

g
guvest

没有哪个领域,是弄点数学符号,说自己是啥啥原理,就摇身一变成了hardcore的
。你得有实证才行。

就不说观众是不是都是傻子。同样路数的跨界人士多如牛毛,你竞争的过来么。

一句话:跑分跑benchmark首先得过硬。不然,吹的再大也没用。话语权轮不到你。因
为这领域不是你开创的。

这个道理和数据库什么的成熟领域没有本质的区别。跑分先要过硬。不然最多也就只能在控
制主流前沿的人下面吃点剩饭。这种情况下,必然研究做的苦大仇深,声嘶力竭。没人搭理是正常。能毕业就是运气好。

这问题很简单明了:
Open source训练imagenet 到95%,花费15刀。假如你需要花30刀。然后你说有啥啥理
论。要拿图灵奖。这不是很幽默吗。

【 在 Caravel(克拉维尔) 的大作中提到: 】
<br>: 这个倒不用替人家当心,马是微软火箭军出来得,那里调参高手不少,何凯明任
少卿什
<br>: 么得,现在天下都在调参,这几个做点hardcore的,反而以后可以别具一格。
<br>

C
Caravel

一开始跑点小数据集很正常把,HINTON的胶囊不也是在用MNIST,后续跑大dataset可以再发一篇

【 在 guvest (我爱你老婆Anna) 的大作中提到: 】
: 没有哪个领域,是弄点数学符号,说自己是啥啥原理,就摇身一变成了hardcore的
: 。那都是忽悠韭菜的。
: 就不说观众是不是都是傻子。同样路数的跨界人士多如牛毛,你竞争的过来么。
: 一句话:跑分跑benchmark首先得过硬。不然,吹的再大也没用。话语权轮不到你。因
: 为这领域不是你开创的。
: 这个道理和数据库什么的成熟领域没有本质的区别。跑分先要过硬。不然最多也就只能
: 在控
: 制主流前沿的人下面吃点剩饭。这种情况下,没人搭理是正常。能毕业就是运气好。:
: 这个倒不用替人家当心,马是微软火箭军出来得,那里调参高手不少,何
: 凯明任
: ...................

g
guvest

HINTON说他这个胶囊是第一原理,要再次拿图灵奖了吗?
我很久前就看过Hinton各种算法文章。据我所见,他没这个毛病。

你可知DL突破的关键一步在于Hinton去goog合作大幅提高其图片搜索引擎,然后公司才被
收购。
那是2013年初的事。

跑小数据集正常。不等于你跑了小数据集声称自己图灵奖是正常。我觉得这种做法,对其学生来
说很不利,甚至是危险的。

【 在 Caravel(克拉维尔) 的大作中提到: 】
<br>: 一开始跑点小数据集很正常把,HINTON的胶囊不也是在用MNIST,后续跑大
dataset可以
<br>: 再发一篇
<br>

C
Caravel

【 在 guvest (我爱你老婆Anna) 的大作中提到: 】
: HINTON说他这个胶囊是第一原理,要再次拿图灵奖了吗?
: 我很久前就看过Hinton各种算法文章。据我所见,他没这个毛病。
: 你可知DL突破的关键一步在于Hinton去goog合作大幅提高其图片搜索引擎,然后公司
才被
: 收购。
: 那是2013年初的事。
: 跑小数据集正常。不等于你跑了小数据集声称自己图灵奖是正常。我觉得这种做法,对
: 其学生来
: 说很不利,甚至是危险的。
:
: 一开始跑点小数据集很正常把,HINTON的胶囊不也是在用MNIST,后续跑大
: dataset可以
: ...................

g
guvest

先不说他说的是对是错。跟你说你也听不懂。
这跟自称第一原理图灵奖有什么关系。

鲁棒性要求高的项目指的是哪些呢?
飞机控制?核电站?

【 在 Caravel(克拉维尔) 的大作中提到: 】
<br>: https://pic4.zhimg.com/80/v2-fea119f575dc6693ccfd1a2800f836e4_
1440w.
jpg
<br>: 才被
<br>

g
guvest

这个宣传路径也很奇怪。去什么weibo YouTube 呢。就算网红路线,既然都有信心图灵奖
了。去
Hacknews 不行么。

其实简化中文圈子更难混。

【 在 guvest(我爱你老婆Anna) 的大作中提到: 】
<br>: 先不说他说的是对是错。跟你说你也听不懂。
<br>: 这跟自称第一原理图灵奖有什么关系。
<br>: 鲁棒性要求高的项目指的是哪些呢?
<br>: 飞机控制?核电站?
<br>:

lightroom

老马人品正数学好是无意质疑,他关键不懂编程对ML的巨大推动。现在ML主要是CS派,还有一些象老马一样数学派。其实就是科学派VS数学派。科学的重要特征是用实验验证想法,所以数学不是科学。这些数学派自己搞出些小玩意,自己不愿意去搞实验,可以让学生去搞。如果做出来,利益是很大的。为什么没有什么好的实验结果?一个可能是scalability差,另一个是调参难。

你如果相信他的算法,就先做一个cifar的实验。

【 在 Caravel (克拉维尔) 的大作中提到: 】
: 我也在想他这个方法得缺点是什么,跟进得似乎不多。

c
chebyshev

既然走微博图灵奖路线了,大概率不可能讲究啥科学实验了。路数是不同的。
有prove自己是错的的勇气之人,才适合走实证路线。这绝非易事。
【 在 lightroom (吃一条鱼,思考一个问题,法号三丰) 的大作中提到: 】
: 老马人品正数学好是无意质疑,他关键不懂编程对ML的巨大推动。现在ML主要是CS派,
: 还有一些象老马一样数学派。其实就是科学派VS数学派。科学的重要特征是用实验验证
: 想法,所以数学不是科学。这些数学派自己搞出些小玩意,自己不愿意去搞实验,可以
: 让学生去搞。如果做出来,利益是很大的。为什么没有什么好的实验结果?一个可能是
: scalability差,另一个是调参难。
: 你如果相信他的算法,就先做一个cifar的实验。

iDemocracy

用中文宣传?估计是想混个中国计算机奖。

【 在 chebyshev (......) 的大作中提到: 】
: 既然走微博图灵奖路线了,大概率不可能讲究啥科学实验了。路数是不同的。
: 有prove自己之错误的勇气人,才适合走实证路线。这绝非易事。