看帖神器
未名空间
追帖动态
头条新闻
每日新帖
最新热帖
新闻存档
热帖存档
文学城
虎扑论坛
未名空间
北美华人网
北美微论坛
看帖神器
登录
← 下载
《看帖神器》官方
iOS App
，体验轻松追帖。
大家对Ma Yi的deep network theory怎么看？
查看未名空间今日新帖
最新回复：2021年4月5日 12点34分 PT
共 (19) 楼
返回列表
订阅追帖
只看未读
更多选项
阅读全帖
只看图片
只看视频
查看原帖
C
Caravel
大约 3 年
楼主 (未名空间)
https://www.youtube.com/watch?v=OIVcfZeR1CE
berkeley的Ma Yi提出了一个Maximal Coding Rate Reduction的原理，据说可以从第一性原理推导出深度学习网络的结构和operator。他本人对这个work很自信，说应该发图灵奖。
g
guvest
大约 3 年
2 楼
眼看Alexnet都快十年了。一年年大批职业化的本科生，phd都出来了。
追新闻也早就过时了。不如move on。
【 在 Caravel (克拉维尔) 的大作中提到: 】
: https://www.youtube.com/watch?v=OIVcfZeR1CE
: berkeley的Ma Yi提出了一个Maximal Coding Rate Reduction的原理，据说可以从第一
: 性原理推导出深度学习网络的结构和operator。他本人对这个work很自信，说应该发图
: 灵奖。
C
Caravel
大约 3 年
3 楼
没有第一性原理的东西出来把，马毅这个可以得到前向构造性网络，不需要backprop，最近丘成桐请去做了报告。
【 在 guvest (我爱你老婆Anna) 的大作中提到: 】
: 眼看Alexnet都快十年了。一年年大批职业化的本科生，phd都出来了。
: 追新闻也早就过时了。不如move on。
g
guvest
大约 3 年
4 楼
一个东西过时之后，就是少量专家研究就可以了。所以我认为，这类东西过去现在未来，都不太可能与你有任何关系。所以对绝大多数人而言。忽略不计就可以了。
许多年Yau以前在IEEE杂志发过文章。跟国内的数学控制论院士互相捧过。这没啥稀罕
的。跨界宗师一般都是带着妖风去捞钱的。看到跨界宗师，避开就对了。
话说你老也都过phd啊，怎么好像没收到正确的教育啊。追星族似的。
【 在 Caravel (克拉维尔) 的大作中提到: 】
: 没有第一性原理的东西出来把，马毅这个可以得到前向构造性网络，不需要backprop，
: 最近丘成桐请去做了报告。
g
guvest
大约 3 年
5 楼
另外信息论这个坑内卷多年，学风极其不正。绝大多数文章捏着鼻子都看不下去。
谁不服，觉得我不懂。那么你可以问他，是不是十年前跟prof Verdu排队握过手。
然后让他看我十年前的神卦：
发信人: guvest (我爱你老婆Anna), 信区: EE
标 题: Prof.Verdu=学术CDMA=低级趣味 (转载)
发信站: BBS 未名空间站 (Fri Jan 8 23:34:27 2010, 美东)
【 在 guvest (我爱你老婆Anna) 的大作中提到: 】
: 一个东西过时之后，就是少量专家研究就可以了。所以我认为，这类东西过去现在未来
: ，都不太可能与你有任何关系。所以对绝大多数人而言。忽略不计就可以了。
: 许多年Yau以前在IEEE杂志发过文章。跟国内的数学控制论院士互相捧过。这没啥稀罕
: 的。跨界宗师一般都是带着妖风去捞钱的。避开就对了。
g
guvest
大约 3 年
6 楼
你要真想看文章。我给你推荐个。
https://www.cs.princeton.edu/courses/archive/fall05/frs119/papers/
siegelmann95.pdf
【 在 Caravel (克拉维尔) 的大作中提到: 】
: https://www.youtube.com/watch?v=OIVcfZeR1CE
: berkeley的Ma Yi提出了一个Maximal Coding Rate Reduction的原理，据说可以从第一
: 性原理推导出深度学习网络的结构和operator。他本人对这个work很自信，说应该发图
: 灵奖。
l
lightroom
大约 3 年
7 楼
他这个scale上不去，data多了算不动。
c
chebyshev
大约 3 年
8 楼
如果没能力定义问题,还是在做静态图像这个老问题。
现在cloud训练imagnet之费用的世界纪录大概是15美元。
不说STOA吧，一个文章的办法起码得30刀起步吧？
不然距离前沿太远了，然而又说自己有啥啥principle，我看很难有人搭理。
作者里这几个学生搞不好要悲剧。
【 在 lightroom (吃一条鱼，思考一个问题，法号三丰) 的大作中提到: 】
: 他这个scale上不去，data多了算不动。
C
Caravel
大约 3 年
9 楼
我也在想他这个方法得缺点是什么，跟进得似乎不多。
【 在 lightroom (吃一条鱼，思考一个问题，法号三丰) 的大作中提到: 】
: 他这个scale上不去，data多了算不动。
C
Caravel
大约 3 年
10 楼
这个倒不用替人家当心，马是微软火箭军出来得，那里调参高手不少，何凯明任少卿什么得，现在天下都在调参，这几个做点hardcore的，反而以后可以别具一格。
【 在 chebyshev (......) 的大作中提到: 】
: 如果没能力定义问题,还是在做静态图像这个老问题。
: 现在cloud训练imagnet之费用的世界纪录大概是15美元。
: 不说STOA吧，一个文章的办法起码得30刀起步吧？
: 不然距离前沿太远了，然而又说自己有啥啥principle，我看很难有人搭理。
: 作者里这几个学生搞不好要悲剧。
g
guvest
大约 3 年
11 楼
没有哪个领域，是弄点数学符号，说自己是啥啥原理，就摇身一变成了hardcore的
。你得有实证才行。
就不说观众是不是都是傻子。同样路数的跨界人士多如牛毛，你竞争的过来么。
一句话：跑分跑benchmark首先得过硬。不然，吹的再大也没用。话语权轮不到你。因
为这领域不是你开创的。
这个道理和数据库什么的成熟领域没有本质的区别。跑分先要过硬。不然最多也就只能在控
制主流前沿的人下面吃点剩饭。这种情况下，必然研究做的苦大仇深，声嘶力竭。没人搭理是正常。能毕业就是运气好。
这问题很简单明了：
Open source训练imagenet 到95%，花费15刀。假如你需要花30刀。然后你说有啥啥理
论。要拿图灵奖。这不是很幽默吗。
【 在 Caravel(克拉维尔) 的大作中提到: 】
<br>: 这个倒不用替人家当心，马是微软火箭军出来得，那里调参高手不少，何凯明任
少卿什
<br>: 么得，现在天下都在调参，这几个做点hardcore的，反而以后可以别具一格。
<br>
C
Caravel
大约 3 年
12 楼
一开始跑点小数据集很正常把，HINTON的胶囊不也是在用MNIST，后续跑大dataset可以再发一篇
【 在 guvest (我爱你老婆Anna) 的大作中提到: 】
: 没有哪个领域，是弄点数学符号，说自己是啥啥原理，就摇身一变成了hardcore的
: 。那都是忽悠韭菜的。
: 就不说观众是不是都是傻子。同样路数的跨界人士多如牛毛，你竞争的过来么。
: 一句话：跑分跑benchmark首先得过硬。不然，吹的再大也没用。话语权轮不到你。因
: 为这领域不是你开创的。
: 这个道理和数据库什么的成熟领域没有本质的区别。跑分先要过硬。不然最多也就只能
: 在控
: 制主流前沿的人下面吃点剩饭。这种情况下，没人搭理是正常。能毕业就是运气好。:
: 这个倒不用替人家当心，马是微软火箭军出来得，那里调参高手不少，何
: 凯明任
: ...................
g
guvest
大约 3 年
13 楼
HINTON说他这个胶囊是第一原理，要再次拿图灵奖了吗？
我很久前就看过Hinton各种算法文章。据我所见，他没这个毛病。
你可知DL突破的关键一步在于Hinton去goog合作大幅提高其图片搜索引擎,然后公司才被
收购。
那是2013年初的事。
跑小数据集正常。不等于你跑了小数据集声称自己图灵奖是正常。我觉得这种做法，对其学生来
说很不利，甚至是危险的。
【 在 Caravel(克拉维尔) 的大作中提到: 】
<br>: 一开始跑点小数据集很正常把，HINTON的胶囊不也是在用MNIST，后续跑大
dataset可以
<br>: 再发一篇
<br>
C
Caravel
大约 3 年
14 楼
【 在 guvest (我爱你老婆Anna) 的大作中提到: 】
: HINTON说他这个胶囊是第一原理，要再次拿图灵奖了吗？
: 我很久前就看过Hinton各种算法文章。据我所见，他没这个毛病。
: 你可知DL突破的关键一步在于Hinton去goog合作大幅提高其图片搜索引擎,然后公司
才被
: 收购。
: 那是2013年初的事。
: 跑小数据集正常。不等于你跑了小数据集声称自己图灵奖是正常。我觉得这种做法，对
: 其学生来
: 说很不利，甚至是危险的。
:
: 一开始跑点小数据集很正常把，HINTON的胶囊不也是在用MNIST，后续跑大
: dataset可以
: ...................
g
guvest
大约 3 年
15 楼
先不说他说的是对是错。跟你说你也听不懂。
这跟自称第一原理图灵奖有什么关系。
鲁棒性要求高的项目指的是哪些呢？
飞机控制？核电站？
【 在 Caravel(克拉维尔) 的大作中提到: 】
<br>: https://pic4.zhimg.com/80/v2-fea119f575dc6693ccfd1a2800f836e4_
1440w.
jpg
<br>: 才被
<br>
g
guvest
大约 3 年
16 楼
这个宣传路径也很奇怪。去什么weibo YouTube 呢。就算网红路线，既然都有信心图灵奖
了。去
Hacknews 不行么。
其实简化中文圈子更难混。
【 在 guvest(我爱你老婆Anna) 的大作中提到: 】
<br>: 先不说他说的是对是错。跟你说你也听不懂。
<br>: 这跟自称第一原理图灵奖有什么关系。
<br>: 鲁棒性要求高的项目指的是哪些呢？
<br>: 飞机控制？核电站？
<br>:
l
lightroom
大约 3 年
17 楼
老马人品正数学好是无意质疑，他关键不懂编程对ML的巨大推动。现在ML主要是CS派，还有一些象老马一样数学派。其实就是科学派VS数学派。科学的重要特征是用实验验证想法，所以数学不是科学。这些数学派自己搞出些小玩意，自己不愿意去搞实验，可以让学生去搞。如果做出来，利益是很大的。为什么没有什么好的实验结果？一个可能是scalability差，另一个是调参难。
你如果相信他的算法，就先做一个cifar的实验。
【 在 Caravel (克拉维尔) 的大作中提到: 】
: 我也在想他这个方法得缺点是什么，跟进得似乎不多。
c
chebyshev
大约 3 年
18 楼
既然走微博图灵奖路线了，大概率不可能讲究啥科学实验了。路数是不同的。
有prove自己是错的的勇气之人，才适合走实证路线。这绝非易事。
【 在 lightroom (吃一条鱼，思考一个问题，法号三丰) 的大作中提到: 】
: 老马人品正数学好是无意质疑，他关键不懂编程对ML的巨大推动。现在ML主要是CS派，
: 还有一些象老马一样数学派。其实就是科学派VS数学派。科学的重要特征是用实验验证
: 想法，所以数学不是科学。这些数学派自己搞出些小玩意，自己不愿意去搞实验，可以
: 让学生去搞。如果做出来，利益是很大的。为什么没有什么好的实验结果？一个可能是
: scalability差，另一个是调参难。
: 你如果相信他的算法，就先做一个cifar的实验。
i
iDemocracy
大约 3 年
19 楼
用中文宣传？估计是想混个中国计算机奖。
【 在 chebyshev (......) 的大作中提到: 】
: 既然走微博图灵奖路线了，大概率不可能讲究啥科学实验了。路数是不同的。
: 有prove自己之错误的勇气人，才适合走实证路线。这绝非易事。
请输入帖子链接
收藏帖子
berkeley的Ma Yi提出了一个Maximal Coding Rate Reduction的原理，据说可以从第一性原理推导出深度学习网络的结构和operator。他本人对这个work很自信，说应该发图灵奖。
眼看Alexnet都快十年了。一年年大批职业化的本科生，phd都出来了。
追新闻也早就过时了。不如move on。
【 在 Caravel (克拉维尔) 的大作中提到: 】
: https://www.youtube.com/watch?v=OIVcfZeR1CE
: berkeley的Ma Yi提出了一个Maximal Coding Rate Reduction的原理，据说可以从第一
: 性原理推导出深度学习网络的结构和operator。他本人对这个work很自信，说应该发图
: 灵奖。
没有第一性原理的东西出来把，马毅这个可以得到前向构造性网络，不需要backprop，最近丘成桐请去做了报告。
【 在 guvest (我爱你老婆Anna) 的大作中提到: 】
: 眼看Alexnet都快十年了。一年年大批职业化的本科生，phd都出来了。
: 追新闻也早就过时了。不如move on。
一个东西过时之后，就是少量专家研究就可以了。所以我认为，这类东西过去现在未来，都不太可能与你有任何关系。所以对绝大多数人而言。忽略不计就可以了。
许多年Yau以前在IEEE杂志发过文章。跟国内的数学控制论院士互相捧过。这没啥稀罕
的。跨界宗师一般都是带着妖风去捞钱的。看到跨界宗师，避开就对了。
话说你老也都过phd啊，怎么好像没收到正确的教育啊。追星族似的。
【 在 Caravel (克拉维尔) 的大作中提到: 】
: 没有第一性原理的东西出来把，马毅这个可以得到前向构造性网络，不需要backprop，
: 最近丘成桐请去做了报告。
另外信息论这个坑内卷多年，学风极其不正。绝大多数文章捏着鼻子都看不下去。
谁不服，觉得我不懂。那么你可以问他，是不是十年前跟prof Verdu排队握过手。
然后让他看我十年前的神卦：
发信人: guvest (我爱你老婆Anna), 信区: EE
标 题: Prof.Verdu=学术CDMA=低级趣味 (转载)
发信站: BBS 未名空间站 (Fri Jan 8 23:34:27 2010, 美东)
【 在 guvest (我爱你老婆Anna) 的大作中提到: 】
: 一个东西过时之后，就是少量专家研究就可以了。所以我认为，这类东西过去现在未来
: ，都不太可能与你有任何关系。所以对绝大多数人而言。忽略不计就可以了。
: 许多年Yau以前在IEEE杂志发过文章。跟国内的数学控制论院士互相捧过。这没啥稀罕
: 的。跨界宗师一般都是带着妖风去捞钱的。避开就对了。
你要真想看文章。我给你推荐个。
https://www.cs.princeton.edu/courses/archive/fall05/frs119/papers/
siegelmann95.pdf
【 在 Caravel (克拉维尔) 的大作中提到: 】
: https://www.youtube.com/watch?v=OIVcfZeR1CE
: berkeley的Ma Yi提出了一个Maximal Coding Rate Reduction的原理，据说可以从第一
: 性原理推导出深度学习网络的结构和operator。他本人对这个work很自信，说应该发图
: 灵奖。
他这个scale上不去，data多了算不动。
如果没能力定义问题,还是在做静态图像这个老问题。
现在cloud训练imagnet之费用的世界纪录大概是15美元。
不说STOA吧，一个文章的办法起码得30刀起步吧？
不然距离前沿太远了，然而又说自己有啥啥principle，我看很难有人搭理。
作者里这几个学生搞不好要悲剧。
【 在 lightroom (吃一条鱼，思考一个问题，法号三丰) 的大作中提到: 】
: 他这个scale上不去，data多了算不动。
我也在想他这个方法得缺点是什么，跟进得似乎不多。
【 在 lightroom (吃一条鱼，思考一个问题，法号三丰) 的大作中提到: 】
: 他这个scale上不去，data多了算不动。
这个倒不用替人家当心，马是微软火箭军出来得，那里调参高手不少，何凯明任少卿什么得，现在天下都在调参，这几个做点hardcore的，反而以后可以别具一格。
【 在 chebyshev (......) 的大作中提到: 】
: 如果没能力定义问题,还是在做静态图像这个老问题。
: 现在cloud训练imagnet之费用的世界纪录大概是15美元。
: 不说STOA吧，一个文章的办法起码得30刀起步吧？
: 不然距离前沿太远了，然而又说自己有啥啥principle，我看很难有人搭理。
: 作者里这几个学生搞不好要悲剧。
没有哪个领域，是弄点数学符号，说自己是啥啥原理，就摇身一变成了hardcore的
。你得有实证才行。
就不说观众是不是都是傻子。同样路数的跨界人士多如牛毛，你竞争的过来么。
一句话：跑分跑benchmark首先得过硬。不然，吹的再大也没用。话语权轮不到你。因
为这领域不是你开创的。
这个道理和数据库什么的成熟领域没有本质的区别。跑分先要过硬。不然最多也就只能在控
制主流前沿的人下面吃点剩饭。这种情况下，必然研究做的苦大仇深，声嘶力竭。没人搭理是正常。能毕业就是运气好。
这问题很简单明了：
Open source训练imagenet 到95%，花费15刀。假如你需要花30刀。然后你说有啥啥理
论。要拿图灵奖。这不是很幽默吗。
【 在 Caravel(克拉维尔) 的大作中提到: 】
<br>: 这个倒不用替人家当心，马是微软火箭军出来得，那里调参高手不少，何凯明任
少卿什
<br>: 么得，现在天下都在调参，这几个做点hardcore的，反而以后可以别具一格。
<br>
一开始跑点小数据集很正常把，HINTON的胶囊不也是在用MNIST，后续跑大dataset可以再发一篇
【 在 guvest (我爱你老婆Anna) 的大作中提到: 】
: 没有哪个领域，是弄点数学符号，说自己是啥啥原理，就摇身一变成了hardcore的
: 。那都是忽悠韭菜的。
: 就不说观众是不是都是傻子。同样路数的跨界人士多如牛毛，你竞争的过来么。
: 一句话：跑分跑benchmark首先得过硬。不然，吹的再大也没用。话语权轮不到你。因
: 为这领域不是你开创的。
: 这个道理和数据库什么的成熟领域没有本质的区别。跑分先要过硬。不然最多也就只能
: 在控
: 制主流前沿的人下面吃点剩饭。这种情况下，没人搭理是正常。能毕业就是运气好。:
: 这个倒不用替人家当心，马是微软火箭军出来得，那里调参高手不少，何
: 凯明任
: ...................
HINTON说他这个胶囊是第一原理，要再次拿图灵奖了吗？
我很久前就看过Hinton各种算法文章。据我所见，他没这个毛病。
你可知DL突破的关键一步在于Hinton去goog合作大幅提高其图片搜索引擎,然后公司才被
收购。
那是2013年初的事。
跑小数据集正常。不等于你跑了小数据集声称自己图灵奖是正常。我觉得这种做法，对其学生来
说很不利，甚至是危险的。
【 在 Caravel(克拉维尔) 的大作中提到: 】
<br>: 一开始跑点小数据集很正常把，HINTON的胶囊不也是在用MNIST，后续跑大
dataset可以
<br>: 再发一篇
<br>
【 在 guvest (我爱你老婆Anna) 的大作中提到: 】
: HINTON说他这个胶囊是第一原理，要再次拿图灵奖了吗？
: 我很久前就看过Hinton各种算法文章。据我所见，他没这个毛病。
: 你可知DL突破的关键一步在于Hinton去goog合作大幅提高其图片搜索引擎,然后公司
才被
: 收购。
: 那是2013年初的事。
: 跑小数据集正常。不等于你跑了小数据集声称自己图灵奖是正常。我觉得这种做法，对
: 其学生来
: 说很不利，甚至是危险的。
:
: 一开始跑点小数据集很正常把，HINTON的胶囊不也是在用MNIST，后续跑大
: dataset可以
: ...................
先不说他说的是对是错。跟你说你也听不懂。
这跟自称第一原理图灵奖有什么关系。
鲁棒性要求高的项目指的是哪些呢？
飞机控制？核电站？
【 在 Caravel(克拉维尔) 的大作中提到: 】
<br>: https://pic4.zhimg.com/80/v2-fea119f575dc6693ccfd1a2800f836e4_
1440w.
jpg
<br>: 才被
<br>
这个宣传路径也很奇怪。去什么weibo YouTube 呢。就算网红路线，既然都有信心图灵奖
了。去
Hacknews 不行么。
其实简化中文圈子更难混。
【 在 guvest(我爱你老婆Anna) 的大作中提到: 】
<br>: 先不说他说的是对是错。跟你说你也听不懂。
<br>: 这跟自称第一原理图灵奖有什么关系。
<br>: 鲁棒性要求高的项目指的是哪些呢？
<br>: 飞机控制？核电站？
<br>:
老马人品正数学好是无意质疑，他关键不懂编程对ML的巨大推动。现在ML主要是CS派，还有一些象老马一样数学派。其实就是科学派VS数学派。科学的重要特征是用实验验证想法，所以数学不是科学。这些数学派自己搞出些小玩意，自己不愿意去搞实验，可以让学生去搞。如果做出来，利益是很大的。为什么没有什么好的实验结果？一个可能是scalability差，另一个是调参难。
你如果相信他的算法，就先做一个cifar的实验。
【 在 Caravel (克拉维尔) 的大作中提到: 】
: 我也在想他这个方法得缺点是什么，跟进得似乎不多。
既然走微博图灵奖路线了，大概率不可能讲究啥科学实验了。路数是不同的。
有prove自己是错的的勇气之人，才适合走实证路线。这绝非易事。
【 在 lightroom (吃一条鱼，思考一个问题，法号三丰) 的大作中提到: 】
: 老马人品正数学好是无意质疑，他关键不懂编程对ML的巨大推动。现在ML主要是CS派，
: 还有一些象老马一样数学派。其实就是科学派VS数学派。科学的重要特征是用实验验证
: 想法，所以数学不是科学。这些数学派自己搞出些小玩意，自己不愿意去搞实验，可以
: 让学生去搞。如果做出来，利益是很大的。为什么没有什么好的实验结果？一个可能是
: scalability差，另一个是调参难。
: 你如果相信他的算法，就先做一个cifar的实验。
用中文宣传？估计是想混个中国计算机奖。
【 在 chebyshev (......) 的大作中提到: 】
: 既然走微博图灵奖路线了，大概率不可能讲究啥科学实验了。路数是不同的。
: 有prove自己之错误的勇气人，才适合走实证路线。这绝非易事。