划重点: 在黄仁勋看来,大模型的规模定律(Scaling Law)仍在持续发挥作用,但仅仅依靠预训练数据量已经远远不够,接下来还需要后训练数据量和测试时间等的支持。 黄仁勋透露,英伟达帮助将计算性能提高了100万倍,同时将计算的边际成本降低了100万倍,进而帮助改变了整个计算领域。 关于领导力,黄仁勋向学生们给出建议:领导者可以展现脆弱的一面,可以寻求帮助,可以承认不确定性,也可以犯错。 11月23日,在香港科技大学周六举行的博士学位授予仪式上,英伟达创始人兼首席执行官黄仁勋被授予工程学荣誉博士学位。授予仪式结束后,黄仁勋与香港科技大学校董会主席沈向洋对话,探讨关于技术、领导力和创业的故事。 以下为对话全文: 沈向洋:昨晚我辗转难眠,其中一个极为关键的原因在于,我亟欲向诸位引荐这位宇宙间最卓越的首席执行官。但我心中也暗自为贵公司担忧,毕竟昨晚苹果股价上扬,而英伟达的表现却略显逊色。我已迫不及待想要知晓股市收盘的结果!今晨醒来,我第一时间询问妻子英伟达是否挺住了。你在人工智能领域领航已久,能否再谈谈对人工智能的看法,以及这项技术,或是AGI(通用人工智能)可能带来的影响? 黄仁勋:正如你所了解的,当人工智能网络能够学习并掌握从字节、语言、图像到蛋白质序列等多种数据的理解时,一场变革性、开创性的能力便应运而生了。我们突然间拥有了能够理解单词内涵的计算机。得益于生成式AI,信息得以在不同模式间自由转换,比如从文本到图像、从蛋白质到文本、从文本到蛋白质,乃至从文本到化学品等。这一原本作为函数逼近器(Function Approximator,数学领域的重要概念,用于多个领域)及语言翻译器而存在的工具,如今所面对的问题是,我们如何能充分利用它?你见证了全球范围内创业公司如雨后春笋般涌现,它们结合了这些不同的模型与能力,展现出无限可能。 因此,我认为真正令人惊叹的突破在于,我们现在能够理解信息的真正意义。这意味着,作为数字生物学家,你能理解所观数据的含义,从而于万千数据中精准捕捉到关键信息;作为英伟达的芯片设计师、系统设计师,或是农业技术人员、气候科学家、能源领域的研究者,在探寻新材料的过程中,这无疑是开创性的壮举。 沈向洋:如今,通用翻译器的概念已然成形,它赋予我们理解世间万物的能力。许多人都听你描述过人工智能对社会的惊人影响。那些观点深深触动了我,甚至在某些方面让我感到震撼。回顾历史,农业革命让我们生产出了更多的食物,工业革命则让我们的钢铁产量大幅提升。进入信息技术时代,信息的数量更是爆炸式增长。而今,在这个智能时代,英伟达与人工智能正携手“制造”智能。你能进一步阐述为何这项工作如此重要吗? 黄仁勋:从计算机科学的视角来看,我们重新发明了整个堆栈。这意味着,我们过去开发软件的方式已经发生了根本性的变化。提及计算机科学,软件开发自然是不可或缺的一环,它是如何实现的,这至关重要。 以往,我们依靠手工编写软件,凭借想象力和创造力构思功能、设计算法,然后将其转化为代码,输入电脑。从Fortran到Pascal,再到C语言和C++,这些编程语言让我们得以用代码来表达创意。代码在CPU上运行得很好,我们向计算机输入数据,询问它从中发现了什么函数,通过观察我们提供的数据,计算机能够识别出其中的模式和关系。 然而,现在的情况已经有所不同,我们不再依赖于传统的代码编写方式,而是转向了机器学习和机器生成。这不再是简单的软件问题,而是涉及到了机器学习,它生成神经网络,并在GPU上进行处理。这一转变,从编码到机器学习,从CPU到GPU,标志着一个全新的时代的到来。 而且,由于GPU的功能异常强大,我们现在能够开发的软件类型堪称非凡,而在这一强大基础之上,则是人工智能的蓬勃发展。这正是其出现所带来的变革,计算机科学因此发生了巨大变化。现在,我们需要思考的是,这样的变化将如何影响我们的行业?我们都在竞相利用机器学习去探索新的人工智能领域。那么,究竟什么是人工智能呢?这其实是一个大家耳熟能详的概念,即认知自动化和解决问题自动化。解决问题的自动化可以归结为三个核心概念:观察并感知环境,理解并推理环境,然后提出并执行计划。 例如,在自动驾驶汽车中,车辆可以感知周围环境,推理自身及周围车辆的位置,最后规划出行驶路线。这其实就是一种数字司机的表现形式。同样地,在医疗领域,我们可以观察CT扫描图像,理解并推理出图像中的信息,如果发现异常,可能代表着肿瘤的存在,然后我们可以标记出来并告知放射科医生。此时,我们就扮演了数字放射科医生的角色。在我们所做的几乎每一件事情中,都可以找到与人工智能相关的应用,它们能够出色地完成特定的任务。 如果我们拥有足够多的数字智能体,并且这些智能体能够与产生这些数字信息的计算机进行交互,那么这就构成了数字人工智能。然而,目前我们所有人对数据中心的总体消耗,虽然看似庞大,但数据中心主要是在生产一种名为“Token”的东西,而并非真正的数字智能。 我可以解释一下这两者之间的区别。300年前,通用电气公司和西屋电气公司发明了一种新型仪器——发电机,并最终演化为交流发电机。他们非常明智地创造了一种“消费者”来消费他们所生产的电力,这些“消费者”包括灯泡、烤面包机等电器设备。当然,他们还创造了各种各样的数码设备或电器,这些设备都需要消耗电力。 现在,来看看我们正在做的事情。我们正在创建Copilots、ChatGPT等智能工具,这些都是我们创造出的不同类型的智能“消费者”,它们实际上就像灯泡和烤面包机一样,是消耗能量的设备。但想象一下,那些令人惊叹的、我们所有人都会使用的智能设备,它们将连接到一个新的工厂。这个工厂曾经是交流电发电厂,但现在,新的工厂将是数字智能工厂。 从工业的角度来看,我们实际上正在创造一个新的产业,这个产业在吸收能量并产生数字智能,而这些数字智能可以被应用于各种不同的场景。我们相信,这个数字智能产业的消耗量将是巨大的,而这个行业在以前是不存在的,就像交流电发电行业在以前也不存在一样。 沈向洋:你为我们勾勒了一幅充满希望的光明未来,而这在很大程度上得益于你和英伟达在过去十多年间对该领域的卓越贡献。摩尔定律在业界一直备受瞩目,而近年来,“黄氏定律”逐渐为人们所熟悉。在早期的计算机行业中,英特尔提出的摩尔定律曾预言计算能力每18个月翻倍。然而,在过去10到12年间,特别是在你的引领下,计算能力的增长速度甚至超越了这一预测,实现了每年翻倍甚至更高速度的增长。 从消费端观察,大语言模型在过去12年里的计算需求每年都以四倍以上的速度激增。若以此速度持续10年,计算需求的增长将是一个惊人的数字——高达100万倍。这也正是我向他人阐释英伟达股价在过去10年间上涨300倍原因时的重要论据。考虑到计算需求的这一巨大增长,英伟达的股价或许并不显得高昂。那么,当你运用你的“水晶球”预测未来时,你认为在接下来的10年里,我们是否还会见证计算需求再次实现100万倍的增长呢? 黄仁勋:摩尔定律依赖于两个核心概念:一是超大规模集成电路(VLSI)的设计原理,它是受到我、加州理工大学的卡弗·米德教授(Carver Mead)以及林恩·康威教授 (Lynn Conway )的著作启发的,这些著作激励了整整一代人;二是随着晶体管尺寸的不断缩小,我们得以每隔一段时间就将半导体的性能提升一倍,大约每一年半就能实现一次性能翻倍,因此每五年性能提升可达10倍,每十年更是能提升100倍。 我们正身处一个趋势之中:神经网络的规模越大,用于训练的数据量越多,AI似乎就表现得越智能。这一经验法则与摩尔定律有着异曲同工之妙,我们不妨称之为“规模定律(Scaling Law)”,且这一定律似乎仍在持续发挥作用。然而,我们也清醒地认识到,仅仅依靠预训练——即利用全球范围内的海量数据自动挖掘知识——是远远不够的。正如大学毕业是一个至关重要的里程碑,但它绝不是终点。接下来,还有后训练阶段,也就是深入钻研某一特定技能,这要求强化学习、人类反馈、AI反馈、合成数据生成以及多路径学习等多种技巧的综合运用。简而言之,后训练就是选定一个特定领域,并致力于对其进行深度钻研。这就像当我们步入职业生涯后,会进行大量的专业学习和实践。 而在这之后,我们最终会迎来所谓的“思考”阶段,也就是所谓的测试时间计算。有些事情你一眼就能看出答案,而有些则需要我们将其拆解成多个步骤,并从第一性原理出发,逐一寻找解决方案。这可能需要我们进行多次迭代,模拟各种可能的结果,因为并非所有答案都是可预测的。因此,我们称之为思考,且思考的时间越长,答案的质量往往越高。而大量的计算资源将助力我们产出更高质量的答案。 虽然今天的答案已是我们所能提供的最佳结果,但我们仍在寻求一个临界点,即所得到的答案不再局限于我们当前所能提供的最佳水平。在这一点上,你需要判断答案是否真实可靠、是否有意义且明智。我们必须达到这样一个境界,即所得到的答案在很大程度上是值得信赖的。我认为,这还需要数年的时间才能实现。 与此同时,我们仍需不断提升计算能力。正如你之前所提到的,过去十年里,我们将计算性能提升了100万倍。而英伟达的贡献在于,我们将计算的边际成本降低了同样的幅度。想象一下,如果生活中有你所依赖的事物,如电力或其他任何选择,当它的成本降低了100万倍时,你的行为习惯将会发生根本性的变化。 对于计算,我们的看法也已经发生了翻天覆地的变化,而这正是英伟达有史以来最伟大的成就之一。我们利用机器去学习海量的数据,这是研究人员无法单独完成的任务,而这正是机器学习能够取得成功的关键所在。 沈向洋:我迫切希望听听你的看法,香港在当前机遇中应如何作为。现在,一个特别令人兴奋的事情是“AI for Science”,而你对此一直抱有极大的热情。香港科技大学已经投入了大量的计算基础设施和GPU资源,我们特别重视推动各院系之间的合作,如物理与计算机科学、材料科学与计算机科学、生物学与计算机科学等领域的交叉融合。你之前也深入探讨了生物学的未来。另外,值得一提的是,香港政府已决定建立第三所医学院,而香港科技大学是首个提交这个提案的高校。那么,对于校长、我本人以及整个大学而言,你有什么建议? 黄仁勋:首先,我在2018年的超算大会上曾介绍过人工智能,但当时遭遇了诸多质疑。原因在于,那时的人工智能更像是一个“黑箱”。诚然,时至今日,它依然在一定程度上保持着“黑箱”的特性,但已比过去更加透明。 比如,你我皆为“黑箱”,但现在我们可以向AI发问:“你为何提出这样的建议?”或者“请逐步阐述你得出这一结论的过程。”通过此类提问,AI正变得愈发透明和易于解释。因为我们可以借助问题来探究其思考过程,正如教授们通过提问来洞察学生的思考过程一样。重要的不仅仅是获取答案,更在于答案的合理性以及是否基于第一性原理。这在2018年是无法做到的。 其次,AI目前尚未能从第一性原理中直接得出答案,它是通过观察数据来学习和得出结论的。因此,它并非模拟第一性原理的求解器,而是在模仿智能、模仿物理。那么,这种模仿对科学而言是否有价值呢?我认为,其价值无可估量。因为在众多科学领域,我们虽然理解第一性原理,如薛定谔方程、麦克斯韦方程等,但面对大型系统时,我们却难以模拟和理解。因此,我们无法仅凭第一性原理进行求解,这在计算上存在局限,甚至是不可能的。然而,我们可以利用AI,训练它理解这些物理原理,并借助其模拟大型系统,从而帮助我们理解这些系统。 那么,这种应用具体在哪些方面能够发挥作用呢?首先,人体生物学的尺度从纳米级开始,时间尺度则跨越纳秒至年。在如此宽广的尺度和时间跨度上,使用传统求解器是根本无法实现的。现在的问题是,我们能否利用AI来模拟人体生物学,以便更深入地理解这些极其复杂的多尺度系统? 这样,我们或许可以称之为创建了一个人体生物学的数字孪生体。这正是我们寄予厚望之处。如今,我们或许已拥有了计算机科学技术,使数字生物学家、气候科学家以及处理异常庞大复杂问题的科学家们能够首次真正理解物理系统。这是我的期望,希望在这一交叉领域能够实现这一愿景。 提及你们的医学院项目,对于香港科技大学而言,一所与众不同的医学院即将在这里诞生,尽管这所大学的传统专业领域是技术、计算机科学和人工智能。这与世界上绝大多数医学院截然不同,它们大多是在成为医学院后,再尝试引入人工智能和技术,而这通常会面临人们对其技术的怀疑和不信任。然而,你们却有机会从头开始,创建一个从一开始就与技术紧密相连的机构,并在这里推动技术的不断发展。这里的人们深知技术的局限性与潜力。我认为,这是一个千载难逢的机遇,希望你们能够紧紧抓住。 沈向洋:我们当然会采纳你的建议。香港科技大学一直以来在技术和创新方面有着卓越的表现,不断推动计算机科学、工程、生物学等领域的前沿发展。因此,作为香港第三所医学院,我们坚信自己能够走出一条与众不同的道路,将传统的医学培训与我们在技术研究方面的优势相结合。我确信,未来我们还会向你寻求更多的建议。不过,我想稍微改变一下话题,谈谈领导力。你是硅谷任期最长的CEO之一,可能已经远超其他人,担任英伟达CEO的时间已经长达30年或31年之久了吧? 黄仁勋:差不多32年了! 沈向洋:但你似乎从未感到疲倦。 黄仁勋:不,我其实感到非常累。今天早上到这里的时候,我还说超级累。 沈向洋:但你依然在不断前行。因此,我们当然想从你身上学到一些领导大型组织的经验。你是如何领导英伟达这样一个庞大组织的?它拥有数万名员工、惊人的收入和大量的客户,覆盖面极广。你是如何做到以如此惊人的效率领导这样一个大型组织的? 黄仁勋:今天我想说,我感到非常惊讶。通常情况下,你只会看到计算生物学家或者商科学生,但今天我们看到的计算生物学家同时也是商科学生,这真是太棒了。我从未上过任何商业课程,也从未写过商业计划书,我完全不知道如何下手。我依赖于你们所有人来给予我帮助。 我要告诉你们的是,首先你们要尽可能多地去学习,而我也一直在不断学习。其次,关于你们想全身心投入并视为一生事业的任何事情,最重要的是热爱。将你所做的任何事情都视为你毕生的事业,而不是你的工作,我认为这种思维方式会在你的心中产生很大的不同。英伟达就是我的事业。 如果你想成为一家公司的CEO,你有很多东西要学,你必须不断地重塑自己。世界一直在变化,你的公司和技术也一直在变化。你今天所知道的一切,将来都会有用,但还远远不够,所以我基本上每天都在学习。我在乘飞机过来的路上,也在看YouTube,在和我的AI聊天。我找了一个人工智能做导师,问很多问题。AI会给我一个答案,我会问它为什么给出这个答案,让它一步步地告诉我答案,以这种方式向我解释,将这种推理应用到其他事情上,给我一些类比。有很多不同的学习方法,我利用AI。所以,有很多学习方法,但我要强调的是,你要不断学习。 关于担任CEO与领导者的心得,我总结了以下几点: 首先,身为CEO及领导者,你无需扮演无所不知的全能角色。你必须坚定地相信自己所追求的目标,但这并不等同于你必须对每个细微之处都了如指掌。信心与确定性是两个截然不同的概念。在追求目标的过程中,你可以满怀信心地前进,同时开放心态,欣然接受并拥抱其中的不确定性。这种不确定性实际上为你提供了持续学习、不断成长的空间。因此,要学会从不确定性中汲取力量,视其为推动你前行的朋友而非敌人。 其次,领导者确实需要展现出坚韧不拔的一面,因为周围有许多人都在仰仗你的力量,并从你的坚定中汲取勇气。然而,坚韧并不意味着你必须时刻隐藏自己的脆弱。在需要帮助时,不妨勇敢地寻求他人的支持。我始终秉持这一理念,无数次地向他人坦诚求助。脆弱并非软弱的表现,不确定性也不是信心的缺失。在这个复杂多变的世界中,你既可以坚强自信地面对挑战,也可以诚实地接纳自己的脆弱和不确定性。 再者,作为领导者,你的决策应始终围绕使命展开,以他人的福祉和成功为考量。只有当你的决策真正有利于他人时,你才能赢得他们的信任与尊重。无论是公司内部员工、合作伙伴,还是我们服务的整个生态体系,我始终在思考如何促进他们的成功,如何保障他们的利益。在决策过程中,我总是以他人的最佳利益为出发点,以此作为我们行动的指南。我认为这些可能很有帮助。 沈向洋:关于团队合作,我有个很感兴趣的问题想请教。你有60位直接下属需要向你汇报工作,那么你的员工会议是如何进行的?你是如何有效地管理这么多高层管理人员的?这似乎体现了你独特的领导风格。 黄仁勋:关键在于保持透明度。我会在大家面前明确地阐述我们的理由、目标以及我们需要采取的行动,我们一起协作制定策略。无论是什么样的策略,每个人都会在同一时间听到。因为他们都一起参与了制定计划,所以当公司要决定什么事情时,都是大家一起商量好的,不是我一个人说了算,也不是我告诉他们要怎么做。 我们共同讨论,共同得出结论。我的职责就是确保每个人都接收到了同样的信息。我通常是最后一个发言的人,基于我们的讨论结果,来明确方向和优先级。如果存在任何不明确的地方,我会消除这些疑虑。一旦我们达成共识,都理解了策略,我就会基于大家都是成年人的事实来推进工作。我之前提到的关于我的行为准则——不断学习、自信但拥抱不确定性——如果我不清楚,或者他们不清楚某些事情,我希望他们能够主动说出来。如果他们需要帮助,我希望他们能够向我们寻求支持。在这里,没有人会独自面对失败。 然后,当其他人看到我的行为模式——作为CEO、作为领导者,我可以展现脆弱的一面,我可以寻求帮助,我可以承认不确定性,我可以犯错——他们就会明白他们同样可以这样做。我所期望的就是,如果他们需要帮助,就勇敢地说出来。但除此之外,我的团队有60个人,他们都是各自领域的顶尖人才。在大多数情况下,他们并不需要我的帮助。 沈向洋:我必须说,你的管理方法确实成效显著。你在学位授予仪式上的演讲让我记忆犹新,你提及了香港科技大学的诸多数据,特别是校友创立的初创公司数量,以及我们学校培育出的独角兽企业和上市企业数量。这所大学确实以孕育新企业家和公司而著称。然而,即便在这样的环境下,我们今天仍有许多硕士生在此深造。你和你的团队在非常年轻的时候便创立了自己的公司,并取得了今天这样令人瞩目的成功。那么,对于我们的学生和教职员工,你有什么建议呢?他们应该在何时、为何开启自己的事业?除了你曾经向妻子许下在30岁前创办公司的那个,你还有其他的建议吗? 黄仁勋:那确实是我用来搭讪的小手段,并非真有其意。我16岁上大学,17岁时遇到了我的妻子,那时她19岁。作为班上最小的学生,面对250名同学中只有三个女孩的情况,而我又显得像个孩子,所以必须学会一些吸引注意的技巧。我走向她,告诉她,虽然我看起来年轻,但她对我的第一印象肯定是我很聪明。于是,我鼓起勇气说:“你想看看我的作业吗?” 接着,我向她许下了一个承诺,我说:“如果你每个星期天都和我一起做作业,我保证你会得到全优的成绩。”就这样,每个星期天我们都能约会,并且一整天都在一起学习。为了让她最终愿意嫁给我,我还告诉她,到我30岁的时候——那时我才20岁——我会成为CEO。我完全不知道自己当时在说些什么。后来,我们真的结婚了。所以,这就是我的全部建议,带着一点幽默和真诚。 沈向洋:我从学生那里收集到一个问题,他想知道:他在学校表现优异,但需要全神贯注于学习。他读了你的爱情故事后,担心如果自己也花时间谈恋爱,会不会影响到学业。 黄仁勋:我的建议是,绝对不会。但前提是,你必须保持优异的成绩。她(我的妻子)从未发现过这个小秘密,但我一直想让她觉得我很聪明。所以,在她来之前,我就先把作业完成了。等到她来的时候,我已经知道了所有的答案。她可能一直以为我是个天才,而且整整四年都是这样认为的。 沈向洋:有一位华盛顿大学教授在几年前发表了一个观点,他认为在深度学习这场革命中,像麻省理工学院(MIT)这样的顶尖美国大学其实并没有做出太多开创性的贡献。当然,他并非仅指MIT,而是指出整个美国顶尖大学在过去十年里的贡献相对有限。相反,我们看到像微软、OpenAI、谷歌的DeepMind这样的顶尖公司取得了惊人的成果,其中一个重要原因就是它们拥有强大的计算能力。那么,面对这样的情况,我们应该如何应对?是不是应该考虑加入英伟达,或者与英伟达展开合作?作为我们的新盟友,你能给我们一些建议或者帮助吗? 黄仁勋:你提到的这个问题确实触及了大学当前面临的一个严峻的结构性挑战。我们都知道,如果没有机器学习,我们就无法像今天这样推动科学研究的快速发展。而机器学习又离不开强大的计算支持。这就像研究宇宙离不开射电望远镜,研究基本粒子离不开粒子加速器一样。没有这些工具,我们就无法深入探索未知领域。而今天的“科学仪器”就是AI超级计算机。 大学面临的一个结构性问题是,研究人员通常都是自己筹集资金,一旦资金到手,他们就不太愿意与他人分享资源。但机器学习有个特点,就是需要这些高性能计算机在某些时间段内被充分利用,而不是一直闲置。没有人会一直占用所有资源,但每个人在某个时候都需要巨大的计算能力。那么,大学应该如何应对这个挑战呢?我认为,大学应该成为基础设施建设的引领者,通过集中资源来推动全校的研究发展。但这在像斯坦福或哈佛这样的顶尖大学中实施起来非常困难,因为这些大学的计算机科学研究人员通常能筹集到大量资金,而其他领域的研究人员则相对困难。 那么,现在的解决办法是什么呢?我认为,大学若能为全校构建基础设施,将能有效引领这一领域的变革,并产生深远影响。然而,这确实是大学当前所面临的一个结构性难题。正因如此,众多研究人员才会选择前往我们公司、谷歌、微软等企业实习或进行研究,因为我们能够提供访问先进基础设施的机会。随后,他们在返回各自大学时,会希望我们能够保持其研究的活跃性,以便他们继续推进工作。此外,还有许多教授,包括客座教授,会在从事教学工作的同时,兼顾研究工作。我们公司就聘请了几位这样的教授。因此,虽然解决问题的方法多种多样,但最为根本的,还是大学需要重新审视并优化其研究资助体系。 沈向洋:我有一个颇具挑战性的问题想请教你。一方面,我们欣喜地看到计算能力的显著提升以及价格的下降,这无疑是个好消息。但另一方面,你们的GPU会消耗大量能源,有预测指出到2030年,全球的能源消耗将大幅度增加。你是否担忧,因为你们的GPU,世界实际上在消耗更多的能源? 黄仁勋:我会这样回答你,我会采用逆向思考的方式。首先,我要强调的是,如果世界因为为全球AI工厂供电而消耗了更多能源,那么当这一切发生时,我们的世界将会变得更为美好。现在,让我为你详细阐述几点。 第一,AI的目标并非仅仅在于训练模型,而是在于应用这些模型。当然,去学校学习,单纯为了学习而学习,这本身并无不妥,它是一项崇高且明智的举措。然而,大多数学生来到这里,他们投入了大量的金钱和时间,他们的目标是未来能够取得成功并应用所学的知识。因此,AI的真正目标并非训练,而是推理。推理过程是高度高效的,它能够发现新的方式来储存二氧化碳,比如在水库中;它或许能够设计出新型的风力涡轮机;或许能够发现新的电能储存材料,或者更高效的太阳能电池板材料等。所以,我们的目标是最终创造出能够应用的AI,而非仅仅训练AI。 第二,我们要牢记,AI并不在意它在哪里进行“学习”。我们无需将超级计算机放置在靠近电网的校园内。我们应该开始考虑将AI超级计算机放置在稍微远离电网的地方,让它们使用可持续能源,而不是将它们放置在人口密集的区域。我们要记住,所有的发电厂原本都是为了满足我们家庭电器的用电需求而建设的,比如灯泡、洗碗机,而现在因为电动汽车的普及,电动汽车也需要靠近我们。但是,超级计算机并不需要靠近我们的家,它们可以在其他地方进行学习和运算。 第三,我希望看到的是,AI能够高效、智能地发现新的科学成果,以至于我们现有的能源浪费问题——无论是电网的浪费问题,电网在大多数时候都过度配置,而在少数时候又配置不足——我们都能够通过AI在众多不同领域来节约能源,从我们的浪费中节省能源,并期望最终能够节省下20%到30%的能源。这是我的期望和梦想,我希望能够看到,使用能源来进行智能活动是我们能够想象到的最好的能源利用方式。 沈向洋:我完全同意,将能源高效地应用于智能活动是最佳利用方式。若在某个地方,如中国大湾区(包括深圳、香港、广东等地)之外制造设备,其效率往往会降低,因为难以找到所有必需的组件。以DJI为例,这家本土商业无人机公司拥有令人赞叹的技术。我的问题是,当智能的物理层面变得日益重要时,比如机器人——尤其是自动驾驶汽车这一特殊类型的机器人——你对这些物理智能实体在我们生活中快速涌现的趋势有何看法?在我们的职场生活中,应如何把握并利用大湾区硬件生态系统的巨大潜力? 黄仁勋:这对中国和整个大湾区而言,都是一个绝佳的机会。原因在于,这个区域在机电一体化领域,即机械与电子技术的融合方面,已经具备了相当高的水平。然而,对于机器人而言,一个关键的缺失是理解物理世界的AI。当前的大语言模型,例如ChatGPT,擅长理解认知层面的知识和智能,却对物理智能知之甚少。例如,它可能不明白为何放下杯子时,杯子不会穿过桌子。因此,我们需要教导AI理解物理智能。 实际上,我要告诉你的是,我们在这方面正取得显著的进展。你可能已经看过一些演示,通过生成式AI,可以将文本转化为视频。我可以生成一个视频,开始时是我的照片,然后给出指令“Jensen,拿起咖啡杯,喝一口”。既然我能通过指令让AI在视频中完成动作,那么为何不能生成正确的指令来控制机械臂完成同样的动作呢?因此,从当前的生成式AI到通用机器人的飞跃,其实并不遥远。我对这个领域的前景充满期待。 有三种机器人有望实现大规模生产,而且几乎仅限于这三种。历史上出现过的其他类型的机器人都很难实现大规模量产。大规模生产至关重要,因为它能驱动技术飞轮效应。高投入的研发(R&D)能带来技术突破,从而生产出更优秀的产品,进一步推动生产规模的扩大。这个研发飞轮对任何行业都是关键。 实际上,虽然只有三种机器人能真正实现大规模生产,但其中两种将会成为产量最高的。原因在于,这三种机器人都能在当前世界中部署。我们称之为“棕色地带”(即有待重新开发的领域)。这三种机器人分别是:汽车,因为我们在过去150到200年间构建了一个适应汽车的世界;其次是无人机,因为天空几乎没有限制;当然,产量最大的将是人形机器人,因为我们为自己构建了一个世界。凭借这三种类型的机器人,我们可以将机器人技术的应用扩展到极高的产量,这正是湾区这样的制造生态系统所具备的独特优势。 如果你深入思考,就会发现,大湾区是世界上唯一一个同时拥有机电技术和人工智能技术的地区。在其他地方,这种情况并不存在。另外两个机电工业强国是日本和德国,但遗憾的是,它们在人工智能技术方面远远落后,真的需要迎头赶上。而在这里,我们拥有独一无二的机会,我会紧紧抓住这个机遇。 沈向洋:听到你关于物理智能和机器人的看法,我感到非常高兴。香港科技大学在你所描述的这些方面确实很擅长。 黄仁勋:人工智能、机器人技术和医疗保健是我们真正需要创新的三个领域。 沈向洋:的确,随着我们新医学院的建立,我们将进一步推动这些领域的发展。但是,要实现所有这些美好的事情,我们仍然需要你们的支持,我们需要你们的GPU等资源。
划重点:
在黄仁勋看来,大模型的规模定律(Scaling Law)仍在持续发挥作用,但仅仅依靠预训练数据量已经远远不够,接下来还需要后训练数据量和测试时间等的支持。
黄仁勋透露,英伟达帮助将计算性能提高了100万倍,同时将计算的边际成本降低了100万倍,进而帮助改变了整个计算领域。
关于领导力,黄仁勋向学生们给出建议:领导者可以展现脆弱的一面,可以寻求帮助,可以承认不确定性,也可以犯错。
11月23日,在香港科技大学周六举行的博士学位授予仪式上,英伟达创始人兼首席执行官黄仁勋被授予工程学荣誉博士学位。授予仪式结束后,黄仁勋与香港科技大学校董会主席沈向洋对话,探讨关于技术、领导力和创业的故事。
以下为对话全文:
沈向洋:昨晚我辗转难眠,其中一个极为关键的原因在于,我亟欲向诸位引荐这位宇宙间最卓越的首席执行官。但我心中也暗自为贵公司担忧,毕竟昨晚苹果股价上扬,而英伟达的表现却略显逊色。我已迫不及待想要知晓股市收盘的结果!今晨醒来,我第一时间询问妻子英伟达是否挺住了。你在人工智能领域领航已久,能否再谈谈对人工智能的看法,以及这项技术,或是AGI(通用人工智能)可能带来的影响?
黄仁勋:正如你所了解的,当人工智能网络能够学习并掌握从字节、语言、图像到蛋白质序列等多种数据的理解时,一场变革性、开创性的能力便应运而生了。我们突然间拥有了能够理解单词内涵的计算机。得益于生成式AI,信息得以在不同模式间自由转换,比如从文本到图像、从蛋白质到文本、从文本到蛋白质,乃至从文本到化学品等。这一原本作为函数逼近器(Function Approximator,数学领域的重要概念,用于多个领域)及语言翻译器而存在的工具,如今所面对的问题是,我们如何能充分利用它?你见证了全球范围内创业公司如雨后春笋般涌现,它们结合了这些不同的模型与能力,展现出无限可能。
因此,我认为真正令人惊叹的突破在于,我们现在能够理解信息的真正意义。这意味着,作为数字生物学家,你能理解所观数据的含义,从而于万千数据中精准捕捉到关键信息;作为英伟达的芯片设计师、系统设计师,或是农业技术人员、气候科学家、能源领域的研究者,在探寻新材料的过程中,这无疑是开创性的壮举。
沈向洋:如今,通用翻译器的概念已然成形,它赋予我们理解世间万物的能力。许多人都听你描述过人工智能对社会的惊人影响。那些观点深深触动了我,甚至在某些方面让我感到震撼。回顾历史,农业革命让我们生产出了更多的食物,工业革命则让我们的钢铁产量大幅提升。进入信息技术时代,信息的数量更是爆炸式增长。而今,在这个智能时代,英伟达与人工智能正携手“制造”智能。你能进一步阐述为何这项工作如此重要吗?
黄仁勋:从计算机科学的视角来看,我们重新发明了整个堆栈。这意味着,我们过去开发软件的方式已经发生了根本性的变化。提及计算机科学,软件开发自然是不可或缺的一环,它是如何实现的,这至关重要。
以往,我们依靠手工编写软件,凭借想象力和创造力构思功能、设计算法,然后将其转化为代码,输入电脑。从Fortran到Pascal,再到C语言和C++,这些编程语言让我们得以用代码来表达创意。代码在CPU上运行得很好,我们向计算机输入数据,询问它从中发现了什么函数,通过观察我们提供的数据,计算机能够识别出其中的模式和关系。
然而,现在的情况已经有所不同,我们不再依赖于传统的代码编写方式,而是转向了机器学习和机器生成。这不再是简单的软件问题,而是涉及到了机器学习,它生成神经网络,并在GPU上进行处理。这一转变,从编码到机器学习,从CPU到GPU,标志着一个全新的时代的到来。
而且,由于GPU的功能异常强大,我们现在能够开发的软件类型堪称非凡,而在这一强大基础之上,则是人工智能的蓬勃发展。这正是其出现所带来的变革,计算机科学因此发生了巨大变化。现在,我们需要思考的是,这样的变化将如何影响我们的行业?我们都在竞相利用机器学习去探索新的人工智能领域。那么,究竟什么是人工智能呢?这其实是一个大家耳熟能详的概念,即认知自动化和解决问题自动化。解决问题的自动化可以归结为三个核心概念:观察并感知环境,理解并推理环境,然后提出并执行计划。
例如,在自动驾驶汽车中,车辆可以感知周围环境,推理自身及周围车辆的位置,最后规划出行驶路线。这其实就是一种数字司机的表现形式。同样地,在医疗领域,我们可以观察CT扫描图像,理解并推理出图像中的信息,如果发现异常,可能代表着肿瘤的存在,然后我们可以标记出来并告知放射科医生。此时,我们就扮演了数字放射科医生的角色。在我们所做的几乎每一件事情中,都可以找到与人工智能相关的应用,它们能够出色地完成特定的任务。
如果我们拥有足够多的数字智能体,并且这些智能体能够与产生这些数字信息的计算机进行交互,那么这就构成了数字人工智能。然而,目前我们所有人对数据中心的总体消耗,虽然看似庞大,但数据中心主要是在生产一种名为“Token”的东西,而并非真正的数字智能。
我可以解释一下这两者之间的区别。300年前,通用电气公司和西屋电气公司发明了一种新型仪器——发电机,并最终演化为交流发电机。他们非常明智地创造了一种“消费者”来消费他们所生产的电力,这些“消费者”包括灯泡、烤面包机等电器设备。当然,他们还创造了各种各样的数码设备或电器,这些设备都需要消耗电力。
现在,来看看我们正在做的事情。我们正在创建Copilots、ChatGPT等智能工具,这些都是我们创造出的不同类型的智能“消费者”,它们实际上就像灯泡和烤面包机一样,是消耗能量的设备。但想象一下,那些令人惊叹的、我们所有人都会使用的智能设备,它们将连接到一个新的工厂。这个工厂曾经是交流电发电厂,但现在,新的工厂将是数字智能工厂。
从工业的角度来看,我们实际上正在创造一个新的产业,这个产业在吸收能量并产生数字智能,而这些数字智能可以被应用于各种不同的场景。我们相信,这个数字智能产业的消耗量将是巨大的,而这个行业在以前是不存在的,就像交流电发电行业在以前也不存在一样。
沈向洋:你为我们勾勒了一幅充满希望的光明未来,而这在很大程度上得益于你和英伟达在过去十多年间对该领域的卓越贡献。摩尔定律在业界一直备受瞩目,而近年来,“黄氏定律”逐渐为人们所熟悉。在早期的计算机行业中,英特尔提出的摩尔定律曾预言计算能力每18个月翻倍。然而,在过去10到12年间,特别是在你的引领下,计算能力的增长速度甚至超越了这一预测,实现了每年翻倍甚至更高速度的增长。
从消费端观察,大语言模型在过去12年里的计算需求每年都以四倍以上的速度激增。若以此速度持续10年,计算需求的增长将是一个惊人的数字——高达100万倍。这也正是我向他人阐释英伟达股价在过去10年间上涨300倍原因时的重要论据。考虑到计算需求的这一巨大增长,英伟达的股价或许并不显得高昂。那么,当你运用你的“水晶球”预测未来时,你认为在接下来的10年里,我们是否还会见证计算需求再次实现100万倍的增长呢?
黄仁勋:摩尔定律依赖于两个核心概念:一是超大规模集成电路(VLSI)的设计原理,它是受到我、加州理工大学的卡弗·米德教授(Carver Mead)以及林恩·康威教授 (Lynn Conway )的著作启发的,这些著作激励了整整一代人;二是随着晶体管尺寸的不断缩小,我们得以每隔一段时间就将半导体的性能提升一倍,大约每一年半就能实现一次性能翻倍,因此每五年性能提升可达10倍,每十年更是能提升100倍。
我们正身处一个趋势之中:神经网络的规模越大,用于训练的数据量越多,AI似乎就表现得越智能。这一经验法则与摩尔定律有着异曲同工之妙,我们不妨称之为“规模定律(Scaling Law)”,且这一定律似乎仍在持续发挥作用。然而,我们也清醒地认识到,仅仅依靠预训练——即利用全球范围内的海量数据自动挖掘知识——是远远不够的。正如大学毕业是一个至关重要的里程碑,但它绝不是终点。接下来,还有后训练阶段,也就是深入钻研某一特定技能,这要求强化学习、人类反馈、AI反馈、合成数据生成以及多路径学习等多种技巧的综合运用。简而言之,后训练就是选定一个特定领域,并致力于对其进行深度钻研。这就像当我们步入职业生涯后,会进行大量的专业学习和实践。
而在这之后,我们最终会迎来所谓的“思考”阶段,也就是所谓的测试时间计算。有些事情你一眼就能看出答案,而有些则需要我们将其拆解成多个步骤,并从第一性原理出发,逐一寻找解决方案。这可能需要我们进行多次迭代,模拟各种可能的结果,因为并非所有答案都是可预测的。因此,我们称之为思考,且思考的时间越长,答案的质量往往越高。而大量的计算资源将助力我们产出更高质量的答案。
虽然今天的答案已是我们所能提供的最佳结果,但我们仍在寻求一个临界点,即所得到的答案不再局限于我们当前所能提供的最佳水平。在这一点上,你需要判断答案是否真实可靠、是否有意义且明智。我们必须达到这样一个境界,即所得到的答案在很大程度上是值得信赖的。我认为,这还需要数年的时间才能实现。
与此同时,我们仍需不断提升计算能力。正如你之前所提到的,过去十年里,我们将计算性能提升了100万倍。而英伟达的贡献在于,我们将计算的边际成本降低了同样的幅度。想象一下,如果生活中有你所依赖的事物,如电力或其他任何选择,当它的成本降低了100万倍时,你的行为习惯将会发生根本性的变化。
对于计算,我们的看法也已经发生了翻天覆地的变化,而这正是英伟达有史以来最伟大的成就之一。我们利用机器去学习海量的数据,这是研究人员无法单独完成的任务,而这正是机器学习能够取得成功的关键所在。
沈向洋:我迫切希望听听你的看法,香港在当前机遇中应如何作为。现在,一个特别令人兴奋的事情是“AI for Science”,而你对此一直抱有极大的热情。香港科技大学已经投入了大量的计算基础设施和GPU资源,我们特别重视推动各院系之间的合作,如物理与计算机科学、材料科学与计算机科学、生物学与计算机科学等领域的交叉融合。你之前也深入探讨了生物学的未来。另外,值得一提的是,香港政府已决定建立第三所医学院,而香港科技大学是首个提交这个提案的高校。那么,对于校长、我本人以及整个大学而言,你有什么建议?
黄仁勋:首先,我在2018年的超算大会上曾介绍过人工智能,但当时遭遇了诸多质疑。原因在于,那时的人工智能更像是一个“黑箱”。诚然,时至今日,它依然在一定程度上保持着“黑箱”的特性,但已比过去更加透明。
比如,你我皆为“黑箱”,但现在我们可以向AI发问:“你为何提出这样的建议?”或者“请逐步阐述你得出这一结论的过程。”通过此类提问,AI正变得愈发透明和易于解释。因为我们可以借助问题来探究其思考过程,正如教授们通过提问来洞察学生的思考过程一样。重要的不仅仅是获取答案,更在于答案的合理性以及是否基于第一性原理。这在2018年是无法做到的。
其次,AI目前尚未能从第一性原理中直接得出答案,它是通过观察数据来学习和得出结论的。因此,它并非模拟第一性原理的求解器,而是在模仿智能、模仿物理。那么,这种模仿对科学而言是否有价值呢?我认为,其价值无可估量。因为在众多科学领域,我们虽然理解第一性原理,如薛定谔方程、麦克斯韦方程等,但面对大型系统时,我们却难以模拟和理解。因此,我们无法仅凭第一性原理进行求解,这在计算上存在局限,甚至是不可能的。然而,我们可以利用AI,训练它理解这些物理原理,并借助其模拟大型系统,从而帮助我们理解这些系统。
那么,这种应用具体在哪些方面能够发挥作用呢?首先,人体生物学的尺度从纳米级开始,时间尺度则跨越纳秒至年。在如此宽广的尺度和时间跨度上,使用传统求解器是根本无法实现的。现在的问题是,我们能否利用AI来模拟人体生物学,以便更深入地理解这些极其复杂的多尺度系统?
这样,我们或许可以称之为创建了一个人体生物学的数字孪生体。这正是我们寄予厚望之处。如今,我们或许已拥有了计算机科学技术,使数字生物学家、气候科学家以及处理异常庞大复杂问题的科学家们能够首次真正理解物理系统。这是我的期望,希望在这一交叉领域能够实现这一愿景。
提及你们的医学院项目,对于香港科技大学而言,一所与众不同的医学院即将在这里诞生,尽管这所大学的传统专业领域是技术、计算机科学和人工智能。这与世界上绝大多数医学院截然不同,它们大多是在成为医学院后,再尝试引入人工智能和技术,而这通常会面临人们对其技术的怀疑和不信任。然而,你们却有机会从头开始,创建一个从一开始就与技术紧密相连的机构,并在这里推动技术的不断发展。这里的人们深知技术的局限性与潜力。我认为,这是一个千载难逢的机遇,希望你们能够紧紧抓住。
沈向洋:我们当然会采纳你的建议。香港科技大学一直以来在技术和创新方面有着卓越的表现,不断推动计算机科学、工程、生物学等领域的前沿发展。因此,作为香港第三所医学院,我们坚信自己能够走出一条与众不同的道路,将传统的医学培训与我们在技术研究方面的优势相结合。我确信,未来我们还会向你寻求更多的建议。不过,我想稍微改变一下话题,谈谈领导力。你是硅谷任期最长的CEO之一,可能已经远超其他人,担任英伟达CEO的时间已经长达30年或31年之久了吧?
黄仁勋:差不多32年了!
沈向洋:但你似乎从未感到疲倦。
黄仁勋:不,我其实感到非常累。今天早上到这里的时候,我还说超级累。
沈向洋:但你依然在不断前行。因此,我们当然想从你身上学到一些领导大型组织的经验。你是如何领导英伟达这样一个庞大组织的?它拥有数万名员工、惊人的收入和大量的客户,覆盖面极广。你是如何做到以如此惊人的效率领导这样一个大型组织的?
黄仁勋:今天我想说,我感到非常惊讶。通常情况下,你只会看到计算生物学家或者商科学生,但今天我们看到的计算生物学家同时也是商科学生,这真是太棒了。我从未上过任何商业课程,也从未写过商业计划书,我完全不知道如何下手。我依赖于你们所有人来给予我帮助。
我要告诉你们的是,首先你们要尽可能多地去学习,而我也一直在不断学习。其次,关于你们想全身心投入并视为一生事业的任何事情,最重要的是热爱。将你所做的任何事情都视为你毕生的事业,而不是你的工作,我认为这种思维方式会在你的心中产生很大的不同。英伟达就是我的事业。
如果你想成为一家公司的CEO,你有很多东西要学,你必须不断地重塑自己。世界一直在变化,你的公司和技术也一直在变化。你今天所知道的一切,将来都会有用,但还远远不够,所以我基本上每天都在学习。我在乘飞机过来的路上,也在看YouTube,在和我的AI聊天。我找了一个人工智能做导师,问很多问题。AI会给我一个答案,我会问它为什么给出这个答案,让它一步步地告诉我答案,以这种方式向我解释,将这种推理应用到其他事情上,给我一些类比。有很多不同的学习方法,我利用AI。所以,有很多学习方法,但我要强调的是,你要不断学习。
关于担任CEO与领导者的心得,我总结了以下几点:
首先,身为CEO及领导者,你无需扮演无所不知的全能角色。你必须坚定地相信自己所追求的目标,但这并不等同于你必须对每个细微之处都了如指掌。信心与确定性是两个截然不同的概念。在追求目标的过程中,你可以满怀信心地前进,同时开放心态,欣然接受并拥抱其中的不确定性。这种不确定性实际上为你提供了持续学习、不断成长的空间。因此,要学会从不确定性中汲取力量,视其为推动你前行的朋友而非敌人。
其次,领导者确实需要展现出坚韧不拔的一面,因为周围有许多人都在仰仗你的力量,并从你的坚定中汲取勇气。然而,坚韧并不意味着你必须时刻隐藏自己的脆弱。在需要帮助时,不妨勇敢地寻求他人的支持。我始终秉持这一理念,无数次地向他人坦诚求助。脆弱并非软弱的表现,不确定性也不是信心的缺失。在这个复杂多变的世界中,你既可以坚强自信地面对挑战,也可以诚实地接纳自己的脆弱和不确定性。
再者,作为领导者,你的决策应始终围绕使命展开,以他人的福祉和成功为考量。只有当你的决策真正有利于他人时,你才能赢得他们的信任与尊重。无论是公司内部员工、合作伙伴,还是我们服务的整个生态体系,我始终在思考如何促进他们的成功,如何保障他们的利益。在决策过程中,我总是以他人的最佳利益为出发点,以此作为我们行动的指南。我认为这些可能很有帮助。
沈向洋:关于团队合作,我有个很感兴趣的问题想请教。你有60位直接下属需要向你汇报工作,那么你的员工会议是如何进行的?你是如何有效地管理这么多高层管理人员的?这似乎体现了你独特的领导风格。
黄仁勋:关键在于保持透明度。我会在大家面前明确地阐述我们的理由、目标以及我们需要采取的行动,我们一起协作制定策略。无论是什么样的策略,每个人都会在同一时间听到。因为他们都一起参与了制定计划,所以当公司要决定什么事情时,都是大家一起商量好的,不是我一个人说了算,也不是我告诉他们要怎么做。
我们共同讨论,共同得出结论。我的职责就是确保每个人都接收到了同样的信息。我通常是最后一个发言的人,基于我们的讨论结果,来明确方向和优先级。如果存在任何不明确的地方,我会消除这些疑虑。一旦我们达成共识,都理解了策略,我就会基于大家都是成年人的事实来推进工作。我之前提到的关于我的行为准则——不断学习、自信但拥抱不确定性——如果我不清楚,或者他们不清楚某些事情,我希望他们能够主动说出来。如果他们需要帮助,我希望他们能够向我们寻求支持。在这里,没有人会独自面对失败。
然后,当其他人看到我的行为模式——作为CEO、作为领导者,我可以展现脆弱的一面,我可以寻求帮助,我可以承认不确定性,我可以犯错——他们就会明白他们同样可以这样做。我所期望的就是,如果他们需要帮助,就勇敢地说出来。但除此之外,我的团队有60个人,他们都是各自领域的顶尖人才。在大多数情况下,他们并不需要我的帮助。
沈向洋:我必须说,你的管理方法确实成效显著。你在学位授予仪式上的演讲让我记忆犹新,你提及了香港科技大学的诸多数据,特别是校友创立的初创公司数量,以及我们学校培育出的独角兽企业和上市企业数量。这所大学确实以孕育新企业家和公司而著称。然而,即便在这样的环境下,我们今天仍有许多硕士生在此深造。你和你的团队在非常年轻的时候便创立了自己的公司,并取得了今天这样令人瞩目的成功。那么,对于我们的学生和教职员工,你有什么建议呢?他们应该在何时、为何开启自己的事业?除了你曾经向妻子许下在30岁前创办公司的那个,你还有其他的建议吗?
黄仁勋:那确实是我用来搭讪的小手段,并非真有其意。我16岁上大学,17岁时遇到了我的妻子,那时她19岁。作为班上最小的学生,面对250名同学中只有三个女孩的情况,而我又显得像个孩子,所以必须学会一些吸引注意的技巧。我走向她,告诉她,虽然我看起来年轻,但她对我的第一印象肯定是我很聪明。于是,我鼓起勇气说:“你想看看我的作业吗?”
接着,我向她许下了一个承诺,我说:“如果你每个星期天都和我一起做作业,我保证你会得到全优的成绩。”就这样,每个星期天我们都能约会,并且一整天都在一起学习。为了让她最终愿意嫁给我,我还告诉她,到我30岁的时候——那时我才20岁——我会成为CEO。我完全不知道自己当时在说些什么。后来,我们真的结婚了。所以,这就是我的全部建议,带着一点幽默和真诚。
沈向洋:我从学生那里收集到一个问题,他想知道:他在学校表现优异,但需要全神贯注于学习。他读了你的爱情故事后,担心如果自己也花时间谈恋爱,会不会影响到学业。
黄仁勋:我的建议是,绝对不会。但前提是,你必须保持优异的成绩。她(我的妻子)从未发现过这个小秘密,但我一直想让她觉得我很聪明。所以,在她来之前,我就先把作业完成了。等到她来的时候,我已经知道了所有的答案。她可能一直以为我是个天才,而且整整四年都是这样认为的。
沈向洋:有一位华盛顿大学教授在几年前发表了一个观点,他认为在深度学习这场革命中,像麻省理工学院(MIT)这样的顶尖美国大学其实并没有做出太多开创性的贡献。当然,他并非仅指MIT,而是指出整个美国顶尖大学在过去十年里的贡献相对有限。相反,我们看到像微软、OpenAI、谷歌的DeepMind这样的顶尖公司取得了惊人的成果,其中一个重要原因就是它们拥有强大的计算能力。那么,面对这样的情况,我们应该如何应对?是不是应该考虑加入英伟达,或者与英伟达展开合作?作为我们的新盟友,你能给我们一些建议或者帮助吗?
黄仁勋:你提到的这个问题确实触及了大学当前面临的一个严峻的结构性挑战。我们都知道,如果没有机器学习,我们就无法像今天这样推动科学研究的快速发展。而机器学习又离不开强大的计算支持。这就像研究宇宙离不开射电望远镜,研究基本粒子离不开粒子加速器一样。没有这些工具,我们就无法深入探索未知领域。而今天的“科学仪器”就是AI超级计算机。
大学面临的一个结构性问题是,研究人员通常都是自己筹集资金,一旦资金到手,他们就不太愿意与他人分享资源。但机器学习有个特点,就是需要这些高性能计算机在某些时间段内被充分利用,而不是一直闲置。没有人会一直占用所有资源,但每个人在某个时候都需要巨大的计算能力。那么,大学应该如何应对这个挑战呢?我认为,大学应该成为基础设施建设的引领者,通过集中资源来推动全校的研究发展。但这在像斯坦福或哈佛这样的顶尖大学中实施起来非常困难,因为这些大学的计算机科学研究人员通常能筹集到大量资金,而其他领域的研究人员则相对困难。
那么,现在的解决办法是什么呢?我认为,大学若能为全校构建基础设施,将能有效引领这一领域的变革,并产生深远影响。然而,这确实是大学当前所面临的一个结构性难题。正因如此,众多研究人员才会选择前往我们公司、谷歌、微软等企业实习或进行研究,因为我们能够提供访问先进基础设施的机会。随后,他们在返回各自大学时,会希望我们能够保持其研究的活跃性,以便他们继续推进工作。此外,还有许多教授,包括客座教授,会在从事教学工作的同时,兼顾研究工作。我们公司就聘请了几位这样的教授。因此,虽然解决问题的方法多种多样,但最为根本的,还是大学需要重新审视并优化其研究资助体系。
沈向洋:我有一个颇具挑战性的问题想请教你。一方面,我们欣喜地看到计算能力的显著提升以及价格的下降,这无疑是个好消息。但另一方面,你们的GPU会消耗大量能源,有预测指出到2030年,全球的能源消耗将大幅度增加。你是否担忧,因为你们的GPU,世界实际上在消耗更多的能源?
黄仁勋:我会这样回答你,我会采用逆向思考的方式。首先,我要强调的是,如果世界因为为全球AI工厂供电而消耗了更多能源,那么当这一切发生时,我们的世界将会变得更为美好。现在,让我为你详细阐述几点。
第一,AI的目标并非仅仅在于训练模型,而是在于应用这些模型。当然,去学校学习,单纯为了学习而学习,这本身并无不妥,它是一项崇高且明智的举措。然而,大多数学生来到这里,他们投入了大量的金钱和时间,他们的目标是未来能够取得成功并应用所学的知识。因此,AI的真正目标并非训练,而是推理。推理过程是高度高效的,它能够发现新的方式来储存二氧化碳,比如在水库中;它或许能够设计出新型的风力涡轮机;或许能够发现新的电能储存材料,或者更高效的太阳能电池板材料等。所以,我们的目标是最终创造出能够应用的AI,而非仅仅训练AI。
第二,我们要牢记,AI并不在意它在哪里进行“学习”。我们无需将超级计算机放置在靠近电网的校园内。我们应该开始考虑将AI超级计算机放置在稍微远离电网的地方,让它们使用可持续能源,而不是将它们放置在人口密集的区域。我们要记住,所有的发电厂原本都是为了满足我们家庭电器的用电需求而建设的,比如灯泡、洗碗机,而现在因为电动汽车的普及,电动汽车也需要靠近我们。但是,超级计算机并不需要靠近我们的家,它们可以在其他地方进行学习和运算。
第三,我希望看到的是,AI能够高效、智能地发现新的科学成果,以至于我们现有的能源浪费问题——无论是电网的浪费问题,电网在大多数时候都过度配置,而在少数时候又配置不足——我们都能够通过AI在众多不同领域来节约能源,从我们的浪费中节省能源,并期望最终能够节省下20%到30%的能源。这是我的期望和梦想,我希望能够看到,使用能源来进行智能活动是我们能够想象到的最好的能源利用方式。
沈向洋:我完全同意,将能源高效地应用于智能活动是最佳利用方式。若在某个地方,如中国大湾区(包括深圳、香港、广东等地)之外制造设备,其效率往往会降低,因为难以找到所有必需的组件。以DJI为例,这家本土商业无人机公司拥有令人赞叹的技术。我的问题是,当智能的物理层面变得日益重要时,比如机器人——尤其是自动驾驶汽车这一特殊类型的机器人——你对这些物理智能实体在我们生活中快速涌现的趋势有何看法?在我们的职场生活中,应如何把握并利用大湾区硬件生态系统的巨大潜力?
黄仁勋:这对中国和整个大湾区而言,都是一个绝佳的机会。原因在于,这个区域在机电一体化领域,即机械与电子技术的融合方面,已经具备了相当高的水平。然而,对于机器人而言,一个关键的缺失是理解物理世界的AI。当前的大语言模型,例如ChatGPT,擅长理解认知层面的知识和智能,却对物理智能知之甚少。例如,它可能不明白为何放下杯子时,杯子不会穿过桌子。因此,我们需要教导AI理解物理智能。
实际上,我要告诉你的是,我们在这方面正取得显著的进展。你可能已经看过一些演示,通过生成式AI,可以将文本转化为视频。我可以生成一个视频,开始时是我的照片,然后给出指令“Jensen,拿起咖啡杯,喝一口”。既然我能通过指令让AI在视频中完成动作,那么为何不能生成正确的指令来控制机械臂完成同样的动作呢?因此,从当前的生成式AI到通用机器人的飞跃,其实并不遥远。我对这个领域的前景充满期待。
有三种机器人有望实现大规模生产,而且几乎仅限于这三种。历史上出现过的其他类型的机器人都很难实现大规模量产。大规模生产至关重要,因为它能驱动技术飞轮效应。高投入的研发(R&D)能带来技术突破,从而生产出更优秀的产品,进一步推动生产规模的扩大。这个研发飞轮对任何行业都是关键。
实际上,虽然只有三种机器人能真正实现大规模生产,但其中两种将会成为产量最高的。原因在于,这三种机器人都能在当前世界中部署。我们称之为“棕色地带”(即有待重新开发的领域)。这三种机器人分别是:汽车,因为我们在过去150到200年间构建了一个适应汽车的世界;其次是无人机,因为天空几乎没有限制;当然,产量最大的将是人形机器人,因为我们为自己构建了一个世界。凭借这三种类型的机器人,我们可以将机器人技术的应用扩展到极高的产量,这正是湾区这样的制造生态系统所具备的独特优势。
如果你深入思考,就会发现,大湾区是世界上唯一一个同时拥有机电技术和人工智能技术的地区。在其他地方,这种情况并不存在。另外两个机电工业强国是日本和德国,但遗憾的是,它们在人工智能技术方面远远落后,真的需要迎头赶上。而在这里,我们拥有独一无二的机会,我会紧紧抓住这个机遇。
沈向洋:听到你关于物理智能和机器人的看法,我感到非常高兴。香港科技大学在你所描述的这些方面确实很擅长。
黄仁勋:人工智能、机器人技术和医疗保健是我们真正需要创新的三个领域。
沈向洋:的确,随着我们新医学院的建立,我们将进一步推动这些领域的发展。但是,要实现所有这些美好的事情,我们仍然需要你们的支持,我们需要你们的GPU等资源。