The weaker 是统计学意义上的 the weaker group，比如按标准九分 stanine 打分。 认知自己在某方面是 the weaker，会更注意寻求帮助和改进。而不是任自己的大脑修改自己过去的记忆（因为大脑要保持 consistency，否则数学会不及格）。 这并不适合所有的人，但适合这边的群体。因为智商到一定程度，大脑更容易接受 the ground truth 而不是心灵鸡汤。 我猜测记忆力好的大脑更容易拒绝心灵鸡汤，可能是为了避免 delusional 甚至 schizophrenia。记不住啥东西的大脑没有那些负担。
其实你还是有记忆 human memory 的。只不过是 implicit memory 而不是 episodic memory。 一个不恰当的比方就是，好比 pretrained neural network，虽然你可能把 training set (类比 human episodic memory) 都丢了，但你的 pretrained network 上的每个 neuron 上的 frozen weight and bias 的向量，就好比 human implicit memory，很大程度上决定了该 neural network 的行为模式。 The problem is, that part is pretrained。The weights and biases are frozen。
但另一方面，理论上完全可以用 GAN 来 improve ResNet，不断的 co-train 来提高 ResNet 抵御未知噪音的能力。
这个有点 Counterintuitive，就好比说做梦帮助认清现实。但似乎 Plausible。
tidewater 发表于 12/24/2019 3:49:06 PM
所以未知噪音相当于delusion/fiction? 通过GAN的方法让模型知道什么是不可信的？
我不觉得未知噪音是造成 delusional。那个只是 incapable，因为未知噪音的模式在 training set 里没有出现过。出错时可以认可的。 但另一方面，冰川期进化给予了 human 以 astonishing 的 prediction 的能力。Human 可以 predict something never ever happened in the known past, as long as it is "plausible"。 Human 的这种 prediction 能力，给予了 human 在不冰川期里 unparalleled evolutionary advantage。所有其他的 mammal 都只能简单地 predict based on reoccurrence，代价是死掉一大片。而 human 可以 take action before mother nature even plan to make change ...
我不觉得未知噪音是造成 delusional。那个只是 incapable，因为未知噪音的模式在 training set 里没有出现过。出错时可以认可的。
但另一方面，冰川期进化给予了 human 以 astonishing 的 prediction 的能力。Human 可以 predict something never ever happened in the known past, as long as it is "plausible"。
Human 的这种 prediction 能力，给予了 human 在不冰川期里 unparalleled evolutionary advantage。所有其他的 mammal 都只能简单地 predict based on reoccurrence，代价是死掉一大片。而 human 可以 take action before mother nature even plan to make change ...
你说的没错，deep neural network 本来就是 inspired by human cognitive science。 实际上不仅仅是 DNN，很多 classic 的算法 solver，也是 inspired more or less by how human deal with the problem。 实际上在解决实际问题的 algorithm high level framework 的层次，inspired by human pattern 几乎是最 plausible 的方案。
我不觉得未知噪音是造成 delusional。那个只是 incapable，因为未知噪音的模式在 training set 里没有出现过。出错时可以认可的。
但另一方面，冰川期进化给予了 human 以 astonishing 的 prediction 的能力。Human 可以 predict something never ever happened in the known past, as long as it is "plausible"。
Human 的这种 prediction 能力，给予了 human 在不冰川期里 unparalleled evolutionary advantage。所有其他的 mammal 都只能简单地 predict based on reoccurrence，代价是死掉一大片。而 human 可以 take action before mother nature even plan to make change ...
tidewater 发表于 12/24/2019 4:01:37 PM
那 GAN 是剥夺了机器模型这种本来可能跟人类媲美的prediction的能力？
GAN 模型有可能 improve ResNet 到能跟 human prediction 的能力啊。
实际上不仅仅限于 GAN，整个 self-supervised learning 的领域，都是 inspired by human's curiosity driven learning。 这个在 CV NLP DL 上非常大的意义是：因为云计算的发展，我们可以 easily afford computation power。因为数据采集的发展，我们可以 easily afford big raw data。这样导致 human labeling 成为瓶颈，clean labelled data is too expensive to afford。而 self-supervised learning 可以用 bigger computation power 和 bigger data 来 lower 对 human labelling 的困难。
这个在 CV NLP DL 上非常大的意义是：因为云计算的发展，我们可以 easily afford computation power。因为数据采集的发展，我们可以 easily afford big raw data。这样导致 human labeling 成为瓶颈，clean labelled data is too expensive to afford。而 self-supervised learning 可以用 bigger computation power 和 bigger data 来 lower 对 human labelling 的困难。
这个在 CV NLP DL 上非常大的意义是：因为云计算的发展，我们可以 easily afford computation power。因为数据采集的发展，我们可以 easily afford big raw data。这样导致 human labeling 成为瓶颈，clean labelled data is too expensive to afford。而 self-supervised learning 可以用 bigger computation power 和 bigger data 来 lower 对 human labelling 的困难。
tidewater 发表于 12/24/2019 4:28:21 PM
你说的human labeling是什么意思？按什么label？
Label 就是人工标记。 如果是 image classification，那就是要把一张照片标记为阿猫阿狗或者丝袜坑王。 如果是 image segmentation，如果是 direct training (相对 transfer learning 而言)，那就是 label pixel by pixel。也就是每个像素标记上是落在猫还是狗还是落在丝袜坑王上。
是，用 GAN 来 improve ConvNet，比 GAN style transfer 要困难的多。只是说理论上存在这种可能的方案构架。 不过 Deep Fake 的机理跟所有其他 GAN 一样，通过先引入高斯噪音，然后 generator 和 discriminator 进行难以启齿的 cotrain 过程。 这里上下文的 features 并不是 feature engineering 里人工写代码识别的，是 featureless 的 convolutional neural network 自己根据 training 产生的。
我上小学之后更严重了，一年总有几次脾气爆发，触发点都不记得了，只记得自己不高兴，我爸妈把我关客厅里，我就砸沙发垫子，砸两个小时就好了，还知道不砸贵重的。
我有一箱子玩具，我爸让我玩完之后收拾好，我就不。我爸说了好几次，之后他说，你再不收拾的话我就全扔了。我想，你肯定不会扔的，我还是不收拾。然后一天我放学回家，发现玩具都没了，我看我爸，他说在垃圾桶呢。我赶快出去找，结果街上的大垃圾桶都清空了。我空手回去，还记得提醒自己要装作无所谓的样子，不能让我爸得逞。
有从小脾气大的吗？都是从什么时候开始变好的？
为什么？我觉得是天生的
天生的叫个性
性格是后天养出来的，和抚养人的养育方式密切相关
这个有道理。我查查。
随着年纪变大，脾气越来越好，也许是佛系了。
现在也差不多，但是好像没啥事需要发脾气，呵呵
你厉害。那个时候就知道jj是什么😾
稍好一点，不打人了。
觉得是天生的。
我也是。
有了娃包容度就会更大了。
是这样。
现在没什么影响，就是想起小时候莫名其妙发得那些脾气，觉得是不是天生的。
你对你爸妈还满意吗？
三岁前的事情你大概不记得了吧？之前你的脾气如何你知道吗？
我只记得很小的时候经常骑我爸脖子上，其他没记忆。据说我两岁的时候去亲戚家玩，住四合院，中午别人都睡午觉，我自己坐门槛上玩。邻居奶奶过来问我，你怎么不去睡觉？我瞥了她一眼，问她，你怎么不去睡觉？然后邻居奶奶去我家告状，说这小孩儿，我问她怎么不去睡觉，她问我你怎么不去睡觉。
我自己完全不记得了
有些就是天生的。我还找了个算命先生呢，他说我早年火非常旺。就是陌生算命先生看八字。
会改的，我就改了。
我大一点后，我爸什么事都是跟我讲道理，小孩子怎么讲得过大人，就好商量了。
再大一点，明白只要多人参与，就不应该按照某个人的意愿来，还有要尊重师长和领导，自然就不倔了。
很多不是天生的，小时候的成长环境也可以 permanent rewire person's brain。
很难改。首先认知在这事上自己是 the weaker 吧。
我觉得你说话好奇怪，我为什么要认知自己是weaker？weaker than whom?
The weaker 是统计学意义上的 the weaker group，比如按标准九分 stanine 打分。
认知自己在某方面是 the weaker，会更注意寻求帮助和改进。而不是任自己的大脑修改自己过去的记忆（因为大脑要保持 consistency，否则数学会不及格）。
这并不适合所有的人，但适合这边的群体。因为智商到一定程度，大脑更容易接受 the ground truth 而不是心灵鸡汤。
我猜测记忆力好的大脑更容易拒绝心灵鸡汤，可能是为了避免 delusional 甚至 schizophrenia。记不住啥东西的大脑没有那些负担。
从我家里，婆婆，老公，女儿三个类似脾气大性格的人身上观察到的。
我对我小时候很多事情也没有记忆。听我爸说，我一两岁的时候不听话，被打的很厉害，我哭的停不下来，但是就是不改。后来能听懂道理了，通过说教的方法就好管多了。我虽然从来没有被打的记忆，但是对这个特别敏感。该上幼儿园的时候，第一天就看到幼儿园阿姨在教训一个小朋友，我立刻回头死活不去。刚好我爸在小学工作，我就自己跑去一年级的最后一排生生坐了一个星期，蹭着直接从小学上起，中间跟不上，被老师赶回去自己学习不知道多少次，总算学期结束的时候成绩不拖后腿了，于是补办手续留了下来。
我觉得这种倔就是天生的，长大了之后会学会怎么应对周围的环境，学会应用策略，但是永远都跟乖顺搭不上边。
我觉得weaker这个政治不正确，哈哈。只能说是different，不能说是weaker。如果说脾气大的反面是软弱的话，那哪个更weak？
我的确是意识到了自己比多数人脾气大。
打人是小学之前打，上小学之后就不打人了。
能不能举例说明什么场景下，ground truth是什么，有什么心灵鸡汤可以接受，但是大脑会接受ground truth,然后为什么可以避免delusional甚至schizophrenia?
我爸妈没打过我，他俩更没打过。我觉得也是天生的成分更大。我上幼儿园的时候拍照片，那个时候拍照还是胶卷，拍不好一张就浪费了。我非要歪着头，龇着牙，说我我就答应，然后按快门之前歪头龇牙。拍了三四张都是。我到现在还记得当时的心情，我就是要歪头呲牙，没有为什么。。。
其实你还是有记忆 human memory 的。只不过是 implicit memory 而不是 episodic memory。
一个不恰当的比方就是，好比 pretrained neural network，虽然你可能把 training set (类比 human episodic memory) 都丢了，但你的 pretrained network 上的每个 neuron 上的 frozen weight and bias 的向量，就好比 human implicit memory，很大程度上决定了该 neural network 的行为模式。
The problem is, that part is pretrained。The weights and biases are frozen。
成人后是经常拉黑别人，辞职，一不高兴东西就扔了。很难忍受自己不喜欢的人。。。
好吧，这么说也有一定道理。
说的有道理，会矫枉过正。比如我恋爱的时候男朋友跟我玩闹拍一下我都会生气。 不过反正没啥实质损失，我也不吃亏。
在 human cognitive science 上，为啥 human brain 能够区分 facts vs delusion, facts vs fiction, 依旧是个 mystery。目前很少有说服力的理论。
但另一方面，compter vision 比如 ResNet (还有 U-NET) 和 Generative Adversarial Network (GAN) 的发展，也许给了一些猜想。
如果二十几岁这样很正常，再大些可以用更成熟的方式处理。
在 human cognitive science 上，为啥 human brain 能够区分 facts vs delusion, facts vs fiction, 依旧是个 mystery。目前很少有说服力的理论。
但另一方面，compter vision 比如 ResNet (还有 U-NET) 和 Generative Adversarial Network (GAN) 的发展，也许给了一些猜想。
tidewater 发表于 12/24/2019 3:01:05 PM
说实话大脑区分facts vs delusion这个有可能就是大脑骗自己的。到底什么是fact，什么是delusion，我越长大越分不清楚。
你就比如说吧，国内老一辈人很多人觉得养儿防老就是个fact，我觉得是个delusion，这是有病吧。美国人觉得追求自由民主是人本能的追求，是fact，中国人觉得这是delusion（自己没体验过，也想象不出来的东西，不是delusion是什么？），是有病。女人觉得自己需要很多衣服是个fact，男人觉得这是有病，女人觉得自己没衣服穿简直是delusional。。。
你可以说说猜想是什么？
在 human cognitive science 上，为啥 human brain 能够区分 facts vs delusion, facts vs fiction, 依旧是个 mystery。目前很少有说服力的理论。
但另一方面，compter vision 比如 ResNet (还有 U-NET) 和 Generative Adversarial Network (GAN) 的发展，也许给了一些猜想。
tidewater 发表于 12/24/2019 3:01:05 PM
我觉得人刚生下来的时候大脑并没有产生delusion的能力吧，只能通过感官接受facts并形成记忆。
后来大脑发展到一定程度有imagination和推理的能力后才可能产生delusion。所以这时候记忆力好的有很多facts可以参照，自然就可以规避delusion。
我觉得很有可能一开始接受的就是delusion。比如有些父母比较渣的，婴儿就接受了一个信念，人都是很可怕的，不可信的，长大后可能成为妄想型人格，甚至精神病。正常人可能觉得有些人不太好，但大部分还是可信的。fact是人是成正态分布的，但婴儿没有区分的能力，从自己父母或者最亲近的人得出人是可怕的这个“fact”。
成长于扭曲环境的，比如文革这种特殊时期，到底是环境扭曲了，还是自己不正常？人斗人到底是不是正常的？
但是 ResNet 有个很大的问题，也就是说有时候给照片随便加一点点肉眼看不出来的噪音，该噪音的模式在 train set 里没有出现过。ResNet 有时小概率会 make stunning mistake 比如把一朵盛开的玫瑰🌹当成一坨大便💩，两者之间从人脑的角度卧槽毫无一点相似性可言。
如果用 ResNet 加 U Net 做 image semantics segmentation，所发生的事情是 segmentation 可能还是把边缘勾出来的，但 semantics 完全错误到不可理喻。
但 Human 不会发生这样毫无理喻的事儿，哪怕是小概率，除非是呆子。
从你父亲的表现看，非常普遍的中国一代又一代
我觉得他是被我搞不耐烦了吧。他陪我下棋，每次我快输了就掀棋盘。他还是兢兢业业陪我下。
你说的让我想起来有个电影说的就是在封闭环境下被变态父母养大的小孩，小时候受了很多虐待，后来虽然脱离了父母的控制，但是还是人格上出现了很大的偏差。那个已经脱离了精神病的范畴了，完全是异于常人的世界观和道德观。
我们能不能就事论事，只讨论在非极端环境下，非极端养育方法教导出来的人该怎么办。
通俗的说，GAN 其实就是两个神经网络，一个叫 discriminator 负责 “认清现实” 后向 generator 炫耀，另一个叫 generator 负责 “伪造现实” 来欺骗 discriminator。
然后还要为 discriminator 和 generator 打造一张婚床后把卧室门给锁上，然 discriminator 和 generator 在婚床上说的好听一些就是 co-train，说的直接一些就是发生种种难以启齿的纠缠。SDE 和 DS 回家睡觉明天再来看结果。
ResNet加 UNet 做segmentation勾勒出来的边缘是玫瑰花的边缘么？像大便么？
说实话我觉得我们这个世界有可能是三维渲染出来的。玫瑰和大便可能从形状，花瓣排列以及大便卷曲度很像。机器是从角度这些数字去分析的。比如斐波那契数列吧，花椰菜和向日葵人脑看起来完全不像吧，但机器看起来就是一样的，斐波那契数列排列的形状。
可能机器才触及了这个世界的本质。
应该是玫瑰的边缘，即使被认为是大便。理论而言，U Net 勾边时只需要玫瑰上的 pixel 和背景上的 pixel 时两个不同的 class 就能勾边。
其实是可以把玫瑰认做救护车，我只是用大便营造气氛。
这个有点 Counterintuitive，就好比说做梦帮助认清现实。但似乎 Plausible。
这不就是soul和ego吗？我大概知道你说的是什么意思了。
你营造的气氛是有味道的。。。
所以是ResNet考虑了噪音之后产生的某些additional feature导致模型出现了错误?这些additional feature在人眼判断的时候权重很轻，但是在机器模型中对最终判断有很大影响。
I think so.
也可能是干扰了 features 的产生。
所以未知噪音相当于delusion/fiction? 通过GAN的方法让模型知道什么是不可信的？
MM我觉得你聪明的程度让人惊叹。但是发挥过度容易走极端，尤其是没人知道什么才是正确的情况下，把“常识”连根拔起是很可怕的。
我不觉得未知噪音是造成 delusional。那个只是 incapable，因为未知噪音的模式在 training set 里没有出现过。出错时可以认可的。
但另一方面，冰川期进化给予了 human 以 astonishing 的 prediction 的能力。Human 可以 predict something never ever happened in the known past, as long as it is "plausible"。
Human 的这种 prediction 能力，给予了 human 在不冰川期里 unparalleled evolutionary advantage。所有其他的 mammal 都只能简单地 predict based on reoccurrence，代价是死掉一大片。而 human 可以 take action before mother nature even plan to make change ...
这个过程可逆么？梵高画能被还原成真实照片不？
潮水哥我偏个题。你说的是机器学习，我更觉得人是设计出来的了。这个discriminator明明是人的ego, generator是soul，或者是人无所不能的潜意识。这两者的婚床就是人——肉体和灵魂缺一不可，不然不可能成为人。你的“认清现实”打引号，这也是我想说的，即这个“认清现实”根本不一定是认清真正的现实，只不过是自以为认清现实。ego所有的想法，行为都有soul/subconscience检测，同时“伪造现实”或勾引，或欺骗，或调戏ego。
那 GAN 是剥夺了机器模型这种本来可能跟人类媲美的prediction的能力？
你说的没错，deep neural network 本来就是 inspired by human cognitive science。
实际上不仅仅是 DNN，很多 classic 的算法 solver，也是 inspired more or less by how human deal with the problem。
实际上在解决实际问题的 algorithm high level framework 的层次，inspired by human pattern 几乎是最 plausible 的方案。
GAN 模型有可能 improve ResNet 到能跟 human prediction 的能力啊。
是的是的。我经常脑洞很大，现在好很多了
如果图像中的每个真实世界的 object class 都事前 pretrain 过，那理论上可以还原。
但还原并不是香浓信息复原，而是根据 pictorial cue 猜。难度不小，但理论可能。
是通过discriminator和generator互打，学会怎么应对incapable information( random noise)么？
那区分的algorithm能具化成公式之类么？
有具体 paper，还有 tensorflow code，DCGAN，在 TF 2.0 网页上有，python code。
你说的没错，deep neural network 本来就是 inspired by human cognitive science。
实际上不仅仅是 DNN，很多 classic 的算法 solver，也是 inspired more or less by how human deal with the problem。
实际上在解决实际问题的 algorithm high level framework 的层次，inspired by human pattern 几乎是最 plausible 的方案。
tidewater 发表于 12/24/2019 4:07:18 PM
原来如此。因为最近对这个想得比较多，但我文科生，对科技不太了解，尤其如何设计实验，分析数据这方面。
但国内对地球是地球online游戏讨论还挺多的，lol，尤其知乎上。但我不知道机器学习居然也走上了这条道路，即用噪音促进机器学习。Hmm。
原来如此。因为最近对这个想得比较多，但我文科生，对科技不太了解，尤其如何设计实验，分析数据这方面。
但国内对地球是地球online游戏讨论还挺多的，lol，尤其知乎上。但我不知道机器学习居然也走上了这条道路，即用噪音促进机器学习。Hmm。
实际上不仅仅限于 GAN，整个 self-supervised learning 的领域，都是 inspired by human's curiosity driven learning。
这个在 CV NLP DL 上非常大的意义是：因为云计算的发展，我们可以 easily afford computation power。因为数据采集的发展，我们可以 easily afford big raw data。这样导致 human labeling 成为瓶颈，clean labelled data is too expensive to afford。而 self-supervised learning 可以用 bigger computation power 和 bigger data 来 lower 对 human labelling 的困难。
多从别人角度看问题。嗯。
你说的human labeling是什么意思？按什么label？
这个还比较好理解，毕竟决定表情的feature set和决定外貌的feature set理论上是独立的。通过保留住一套置换掉另外一套feature就可以做到转换。
但是random noise导致模型认知差异，达到类似Schizophrenia的效果，复杂程度就有点超过可以理解的范畴了。
感谢潮水哥深入浅出的讲解。。。。。
Label 就是人工标记。
如果是 image classification，那就是要把一张照片标记为阿猫阿狗或者丝袜坑王。
如果是 image segmentation，如果是 direct training (相对 transfer learning 而言)，那就是 label pixel by pixel。也就是每个像素标记上是落在猫还是狗还是落在丝袜坑王上。
是，用 GAN 来 improve ConvNet，比 GAN style transfer 要困难的多。只是说理论上存在这种可能的方案构架。
不过 Deep Fake 的机理跟所有其他 GAN 一样，通过先引入高斯噪音，然后 generator 和 discriminator 进行难以启齿的 cotrain 过程。
这里上下文的 features 并不是 feature engineering 里人工写代码识别的，是 featureless 的 convolutional neural network 自己根据 training 产生的。
那么这个模型的建立和定义人脸的features的确认，是不是可以帮助艾滋海默患者们改善认不清人的症状？比如带个可以增强这套feature的眼镜？
CV 领域发展很快，最新的 self-supervised learning 的论文都有 2018 的 ～
这是个好想法，确实有可能。还有社会价值。
为什么是缺爱，这不是惯坏了么？
问题是，脾气大的反面不是软弱，而是会控制自己的情绪。。。
会控制自己的情绪是中间，反面是压制自己的情绪，即软弱。