【 在 ReedToBe (ReedToBe) 的大作中提到: 】 http://web.mit.edu/6.863/www/spring2010/readings/gold67limit.pdf 等价TM也无法超越机器学习的限制。我都不明白现在这些做DeepLearning的是不是都认 真读过或者知道这些结果。
【 在 guvest (我爱你老婆Anna) 的大作中提到: 】 Ann可以和Turing machine等价的 你说程序的上限是什么 1998年吧？ 但是1965年还是67年理论上限就给出了。Mark Gold？你怎么看Gold的几个定理 和现在 的机器学习或者AI？
【 在 wdong (万事休) 的大作中提到: 】这一波AI和前两年的big data，根本就是两回事。big data这一波，主要是用数据分析来支撑起各种现有系统的改进，包括销售业绩的提高和用户体验的提高等。AI当然也可以应用回这些领域。但是光这些支撑不起今天AI的火爆。Big data无法解放生产力。AI之所以火起来了，是因为资本嗅到了解放生产力的味道。人类发展到今天，能被自动化的东西都是机械性和体力性的劳动。但是最近几年AI的发展让人看到了自动化脑力劳动的可能。人类目前的脑力劳动主要有两种。一种靠经验，一种靠创造力。比如开车，看x光片这类就是靠经验。比如写小说，些程序就是靠创造力。前两种虽然是看经验，但是工资拿得并不低。比如卡车司机一年七八万肯定没问题，好点的有十多万。在医院看X光片的赚得更多。类似的工作在各行各业还很多。基本上覆盖了社会上相当一部分中底层中产的工作。这类工作的大部分岗位，短则十年，长则二十年，至少有一半岗位会被AI取代。光这些，就可以支撑起一场产业革命。非但如此，各种希望给AI赋予创造力的各种研究也在如火如荼地进行，虽然还没啥实质性的结果，也不一定会有，但是很多人相信这个，并且投资也多momentum也好，说不定就能做出来。以上才是让资本光嗅到味道就能上串下跳的根本原因。NVDA之所以现在才卖$140，是因为他只是个做硬件的。硬件有很多原因可以被取代，不一定能最后摘取胜利果实。事实上NVDA的硬件还有很多局限性，一不小心就可能出局。原因是NVDA的架构只在用brute force拟合参数的时候有优势。而brute force注定了用NVDA训练出来的模型只是低层次，植物性/直觉性的模型（也就是做一些专家能凭直觉进行的判断）。不可能做出来用知识库进行推理的模型。一旦AI核心算法有革命性突破，可能直接导致现有的NVDA架构被抛弃。而要实现创造性的AI，必然会依靠这种突破。还需要一提的是这拨AI革命不是凭空产生的，而是基于从上世纪五六十年代就开始一脉相承的理论研究。但是现在至少摘取low haning fruit的时间真的已经来了。楼下有人说人类自掘坟墓。其实人类自掘坟墓从几千年前的农业革命就开始了。人类能从动物界脱颖而出，靠的就是这个自掘坟墓的本事。其实再往前推，死亡这个功能被进化出来以后，生物个体就注定了都在自掘坟墓。楼下还有人提到了big data复兴。从技术上来说，这一波AI突破有三只脚。理论那只脚早就有了，剩下两只脚是数据和硬件。big data和这里说的数据有关，但是没有直接的overlap，所以big data从经济上来说没有捞到credit。但是AI的大规模应用必然还需要依赖大量的行业数据。我觉得行业数据提供商会在接下来几年处于越来越重要的地位。因为算法都是开源的，硬件都是commodity，只有训练数据有门槛，不是大家轻易能够拿到的。
【 在 ReedToBe (ReedToBe) 的大作中提到: 】 我怀疑现在机器学习包括deeplearning的一切不过是相当于状态很多的FSA或者有限状 态马尔可夫链而已
【 在 Forbes (福布斯) 的大作中提到: 】 DL算法非常简单，简单到爆。 但是需要的数据量随层数的指数增长。 所以真正能突破的还要靠量子计算机。
很多做DL的都是学会用某个库解决实际问题而已，大多数对算法设计没有兴趣，对计算理论更没兴趣。
态马尔可夫链而已
但是需要的数据量随层数的指数增长。
所以真正能突破的还要靠量子计算机。