我当时一半基于对decision tree方法论的局限性的认知，一半出于民族自尊心，不无自负地对学生们说，我们这辈子还看不到AI赢围棋的。我7岁学会了围棋的规则，喜欢玩，就为了攻击的刺激，自然是臭棋了一辈子。唯一学到了的是，组合爆炸的厉害，如真想动脑子去下的话。
自不用说，20年后的阿尔法狗推翻了我的预言。我开始对深度学习的超大模型服气。但我还是大大低估了大语言模型的威力和它研发的惊人速度。原因是我认为自然语言处理要比下围棋又要复杂太多了，至少就决策优化目标而言。
自然语言的语义，常常要相邻好几个句子，几十个单词，才能决定。这里对应的组合数比宇宙里的原子数都多。GPT的大语言模型（LLM）的成功揭示了，人类语言除了句法和词法，应该还有语义方面的内在规则。这个规则还没被人发掘出来，却被GPT抢先发现和利用了。这个潜在语义规则应该是基于统计的，它让LLM用的高阶上下文空间极其稀疏，因而使得高阶统计推断在计算层面上成为可能。
在汉语口语中，“眼睛进了沙子“和”沙子进了眼睛“是同一个意思。对rule-based 传统AI，汉语语法的不严谨是一个头疼的问题，但对LLM统计推断模型不算困难。通过对大数据的观察，GPT很容易学会汉语语法松弛的习俗，因为an eye dropping into the sand is an extremely improbable event。同理，GPT会轻松地filter out ”吃食堂“这种nonsense，得到正确的语义。
大成果就是必然的。
因为CNN和游戏算法的核心运算都是卷积。英伟达是无心插柳，但对Hinton而言是雪中送碳。
more so。
数学表达式和解法。真的有些可怕。
GPT做我出的3年级计算机专业课的试卷，能得A。 当然，我们可以怀疑，GPT见过了世上所有可能的考题，打小抄。不过，我越来越不敢肯定这点了。
美国六十年代研发新型战机时，做了大量的风洞实验，不但有整机，还有机体，主翼，垂直尾翼，水平尾翼等等。但是，在战机外形设计时，发现人力手工设计根本无法应用如此庞大的风洞实验数据，为此专门研发了一个计算机系统，将所预期的飞机性能输入后，由计算机软件根据参数自动选择机体，主翼，垂尾，平尾等部件的外形，然后予以组合优化，最后，研发出人类第一架由计算机自动生成的战机——著名的F-4，当一众专家学者们看到F-4的设计蓝图时，不由发出一个赞叹词——Ghost。这就是F-4的大名——鬼怪的来源。
机器视觉是最有标志性的AI问题，因为它们事关人的认知。
们现在不服气，客观讲是小气了。
结果是一台收音机的售价是一个月中上水平的工资，还要政府贴钱。出现没有温饱的农民反而补助城里人的奢侈品的咄咄怪事。
MIT的一个系统，回答”给我一个幸福男人的图片“请求时，输出了一张照片，the caption is ”A man watches his daughter take her first step“。
我当时一半基于对decision tree方法论的局限性的认知，一半出于民族自尊心，不无自负地对学生们说，我们这辈子还看不到AI赢围棋的。我7岁学会了围棋的规则，喜欢玩，就为了攻击的刺激，自然是臭棋了一辈子。唯一学到了的是，组合爆炸的厉害，如真想动脑子去下的话。
自不用说，20年后的阿尔法狗推翻了我的预言。我开始对深度学习的超大模型服气。但我还是大大低估了大语言模型的威力和它研发的惊人速度。原因是我认为自然语言处理要比下围棋又要复杂太多了，至少就决策优化目标而言。
自然语言的语义，常常要相邻好几个句子，几十个单词，才能决定。这里对应的组合数比宇宙里的原子数都多。GPT的大语言模型（LLM）的成功揭示了，人类语言除了句法和词法，应该还有语义方面的内在规则。这个规则还没被人发掘出来，却被GPT抢先发现和利用了。这个潜在语义规则应该是基于统计的，它让LLM用的高阶上下文空间极其稀疏，因而使得高阶统计推断在计算层面上成为可能。
在汉语口语中，“眼睛进了沙子“和”沙子进了眼睛“是同一个意思。对rule-based 传统AI，汉语语法的不严谨是一个头疼的问题，但对LLM统计推断模型不算困难。通过对大数据的观察，GPT很容易学会汉语语法松弛的习俗，因为an eye dropping into the sand is an extremely improbable event。同理，GPT会轻松地filter out ”吃食堂“这种nonsense，得到正确的语义。
大成果就是必然的。
因为CNN和游戏算法的核心运算都是卷积。英伟达是无心插柳，但对Hinton而言是雪中送碳。
more so。
数学表达式和解法。真的有些可怕。
GPT做我出的3年级计算机专业课的试卷，能得A。 当然，我们可以怀疑，GPT见过了世上所有可能的考题，打小抄。不过，我越来越不敢肯定这点了。
美国六十年代研发新型战机时，做了大量的风洞实验，不但有整机，还有机体，主翼，垂直尾翼，水平尾翼等等。但是，在战机外形设计时，发现人力手工设计根本无法应用如此庞大的风洞实验数据，为此专门研发了一个计算机系统，将所预期的飞机性能输入后，由计算机软件根据参数自动选择机体，主翼，垂尾，平尾等部件的外形，然后予以组合优化，最后，研发出人类第一架由计算机自动生成的战机——著名的F-4，当一众专家学者们看到F-4的设计蓝图时，不由发出一个赞叹词——Ghost。这就是F-4的大名——鬼怪的来源。
机器视觉是最有标志性的AI问题，因为它们事关人的认知。
们现在不服气，客观讲是小气了。
结果是一台收音机的售价是一个月中上水平的工资，还要政府贴钱。出现没有温饱的农民反而补助城里人的奢侈品的咄咄怪事。
MIT的一个系统，回答”给我一个幸福男人的图片“请求时，输出了一张照片，the caption is ”A man watches his daughter take her first step“。