Ilya Sutskever很厉害,加拿大可以说是ChatGPT和AlphaGo诞生地

j
jeso1
楼主 (北美华人网)
Ilya Sutskever这个人厉害
ChatGPT一出,OpenAI名声大震,CEO Sam Altman也成为聚光灯下的C位主角,有些报道甚至开始了对他的“造神”运动。 其实Sam Altman进了斯坦福很快就辍学了,没什么AI的知识准备。他厉害是商业战略眼光
说到技术还是Ilya Sutskever,多伦多大学毕业师从Geoffrey Hinton(深度学习教父)。他是OpenAI首席科学家。GPT技术骨骼。 Geoffrey Hinton曾说,AlexNet之所以能引发一场计算机视觉深度学习革命,在于Alex Krizhevsky高超的GPU编码技能及Ilya的信念,即深度神经网络必定会在ImageNet竞赛中获胜。
他不但是GPT灵魂人物,而且也参与AlphaGo研发。
AlphaGo怎么开始的?其实是两组人马走在一起、串起来的结晶
第一条线是DemisHassabis,David Silver和黄世杰 David Silver和Demis Hassabis是剑桥同学,David Silver在加拿大阿尔伯塔大学做博士,师从Rich Sutton教授。 David Silve和黄世杰都是阿尔伯塔大学Rich Sutton实验室的。
第二条线是Google Brain的两位人员Ilya Sutskever和Chris Maddison。
j
jeso1
Ilya Sutskever是多伦多大学博士,师从人工智能之父多伦多大学Geoffrey Hinton教授。他和Alex Krizhevsky是Hinton在多伦多大学得意门生。 著名AlexNet卷积神经网络,就是Alex,Ilya和Hinton一起发表的。在2012年以惊人的表现震惊了科学界,并引发了深度学习革命。
Ilya是俄国犹太人移民以色列,15岁移民加拿大,在多伦多大学读本科+博士10年,后去斯坦福做博士后2年后,觉得AI知识不够用,又跑回多伦多跟着Hinton教授搞了一年人工智能。
alphaGo, chatGPT人工智能两个里程碑项目,基础理论研究都从加拿大开始,Geoffrey Hinton,Alex Krizhevsky,Ilya Sutskever,David Silver,Rich Sutton,这些人是人工智能幕后真正英雄。
j
jeso1
OpenAI首席科学家ILya访谈录

ILya Sutskever是OpenAI的联合创始人和首席科学家(“ILYA”),Craig S. Smith是NYT的记者和前总编辑(“CRAIG”),播客节目“Eye on AI”的主持人。这场对话发生在GPT-4发布的前几天。Hakernoon网站刊载了这篇访谈,节选翻译如下


OpenAI首席科学家ILya Sutskever

下面我与OpenAI的联合创始人Ilya Sutskever探讨了这些新技术。这段对话是在OpenAI发布GPT-4之前不久进行的,该系统用了数十亿的文本进行训练——超过任何一个人在一生中可能阅读的数量。 Ilya Sutskever是OpenAI的联合创始人和首席科学家,也是大型语言模型GPT-4和ChatGPT的主要创造者之一。这不是他第一次改变世界:他是AlexNet的主要推手,AlexNet是一种卷积神经网络,在2012年以惊人的表现震惊了科学界,并引发了深度学习革命。
“GPT”代表生成式预训练转换器(Generative Pre-trained Transformer): “预训练”是指科技巨头通过大量文本语料库的训练,教会AI语言的基本模式和关系——简而言之,是教它理解世界;“生成式”意味着AI可以从这个基础知识库中创造新的想法;转换器(Transformer)是这个核心算法的名字,最早由谷歌提出。

ChatGPT的分步架构 CRAIG: Ilya,我知道你出生在俄罗斯。最初是什么样的冲动,让你对计算机科学、神经科学或其他领域感兴趣的呢? ILYA: 是的,我出生在俄罗斯。我在以色列长大,在我十几岁的时候,我随家人移民到了加拿大。我父母说我从小就对人工智能很感兴趣。本质上,我对“意识”感兴趣,我想知道有什么东西可以帮助我更好地理解它。 我早在17岁时就开始和Geoff Hinton(深度学习的创始人之一,当时是多伦多大学的教授)一起工作。在移民到加拿大以后,我很快就考入了多伦多大学。当时,我特别想从事机器学习方面的研究,因为那是当时接触人工智能最重要的途径。




“AI教父”Geoff Hinton 那是在2003年。我们现在认为计算机可以学习,但在2003年,我们认为计算机根本无法学习。当时人工智能的最大成就是Deep Blue(即“深蓝”,IBM的国际象棋机器人,在1997年击败了世界冠军卡斯帕罗夫)。 如何让机器“学习”,看起来是一个难以解决的谜题。我真的对“学习”非常非常感兴趣。我最大的幸运是,Geoff Hinton当时是大学的教授,我们几乎立即就开始了合作。 那么,智能到底是如何工作的?我们怎样才能让计算机变得稍微智能一些? 我有一个非常明确的目标,就是要对人工智能的发展,做一些可能微小,但具有实质意义的贡献。因此,我面临的问题是,我能否真正理解智能(Intelligence)是如何运作的,并为此作出贡献?这就是我的最初动机。至今几乎刚好是20年。 经过研究,我意识到:如果你在一个大数据集上训练一个大的神经网络和一个深度神经网络,该数据集指定了人们所做的一些复杂任务,比如视觉,那么你必然会成功。它的逻辑非常简单;我们知道人类大脑可以解决这些任务,并且能够快速解决。而人类大脑只是一个有缓慢神经元的神经网络。 因此,我们只需要通过数据训练一个规模较小,但关联性很高的神经网络。然后计算机中最好的神经网络,就可以与我们大脑中执行此任务的神经网络相媲美。 CRAIG: 2017年,谷歌在著名论文《Attention Is All You Need》(“要实现人工智能,你只需要注意力”)一文中,引入了自注意力机制(self-attention)和Transformer架构。GPT项目是在什么时候开始的?当时你们对Transformer的价值,是否已经有了一些直觉上的认识? ILYA: 事实上,早在OpenAI成立之初,我们就一直在探索“预测下一个对象”的能力。我们希望通过一个神经网络来解决“无监督学习”的问题,但当时的神经网络功能还非常有限。我们一直在探索这个想法,因为无监督学习向来被认为是机器学习的圣杯。 后来,《Attention Is All You Need》一文提出了Transformer架构,使用自注意力机制(self-attention)来解决学习的长距离依赖(long-term dependencies)问题。这正是我们所需要的技术。因此,在Transformer问世后的第二天,我们就开始使用它,并不断优化它的效果。这最终导致了GPT-3的诞生,以及我们今天所拥有的各种技术能力。

CRAIG: 目前大型语言模型(LLM)的局限性,在于它们的知识仅限于它们用于训练的语言样本。而我相信每个人都同意,大多数人类知识都是非语言的。 这些大模型的设计目标是满足其回答对于提示词(Prompt)在统计上的一致性,但是并没有对语言所涉及的现实,有哪怕是最为基础的理解。 我向 ChatGPT 问了关于我自己的问题。它知道我是一名记者,曾在多家报纸工作过,但它不停讲述一些我从未获得过的一些奖项。虽然它文笔优美,但很少与基本现实有关系。在你们未来的研究中,是否有在解决这个问题? (这也就是各种大语言模型著名的“一本正经地胡说八道”问题) ILYA: 我的观点与此不同。我认为,学习统计规律比看到表象要重要得多。 随着我们的生成模型变得越来越出色,我认为它们将具有对世界惊人的理解程度,许多微妙之处也将变得更加清晰。这是通过文本(text)视角看到的世界。它试图通过人们在互联网上表达的文本将世界投影到文本空间中,以了解更多关于世界的信息。 确实,这些神经网络有时候会有产生幻觉(Hallucinations,特指人工智能给出的“事实性错误”)的倾向。这是因为语言模型很擅长学习世界,但它们不太擅长输出好的结果。
ChatGPT著名的“幻觉”问题 语言模型在学习世界,学习概念和已知过程的惊人能力要强得多,但它输出的结果却并不如人所希望的那样好,或者说不如它们本应该可以的那样好。 这就是为什么像ChatGPT这样的系统,这种语言模型需要进行额外的强化学习训练过程。我们称之为来自人类反馈的强化学习。 在预训练过程中,我们希望学习有关世界的一切。在来自人类反馈的强化学习中,我们关心输出的结果。每当输出结果不合适时,我们就说“不要再这样做了”。 有些幻觉(“事实性错误”)的问题,AI有时候会有捏造一些东西的倾向,这极大地限制了它们的有用程度。但我很有信心,通过持续改进这个来自人类反馈的强化学习步骤,我们可以教会它不要幻想。
你可能会问:它真的会学习吗?我的回答是:让我们试试看。 我们今天采用的方法,是雇人来教ChatGPT应该如何输出好的结果。你只需与它互动,它就会从你的反应中看出:哦,这不是你想要的,你对它的输出结果不满意。 它会意识到,如果输出结果不好,它下次应该做些不同的事情。我认为这种方法非常有可能解决幻觉问题。 现在杨立坤(Yann LeCun)等科学家对我们提出了很多建议: 第一个主张是系统应当能够理解多模态(即文本、图像、视频等多种形式),而不仅仅从文本中了解世界。 我对此的评论是,确实,多模态理解是可取的,因为你可以更多地了解世界,了解人,了解他们的状况,因此系统将能更好地理解它所要解决的任务。 对此我们已经做了相当多的工作,尤其是我们搭建的两个主要神经网络。一个是Clip,另一个是Dall-E。它们都在朝着多模态的方向发展。 但我也想说,我不认为这是必需的。也就是说,如果你没有视觉,或者不能从视觉或视频中理解世界,那么系统就不能运转了吗?


我想特别重申这点:有些东西从图像和图表中学习起来要容易得多,但是你依然可以只通过文本学习它们,只是学习的速度会更慢。 我给你举个例子。思考一下关于“颜色”这个概念。 显然,人们不能只从文字,就知道“颜色”的具体概念。但是我们为此采用了“嵌入”(Embedding)的方法。每个神经网络都通过“嵌入”,就是高维向量(high-dimensional vector),来表示单词、句子和概念。 我们可以根据这些高维向量,看看什么与什么相似;因此,AI可以知道紫色比红色更接近蓝色,知道红色比紫色更接近橙色。它只是从文本中就知道所有这些。 如果你有视觉,颜色之间的区别会立即引起你的注意,你会立即感知到它们。然而通过文本,你需要花更长的时间,你得先知道如何表达,并且已经理解了句法、单词和语法,在很久之后你才会真正开始理解颜色。 因此,这将是我关于多模态是否必要的观点: 我认为它不是必要的,但它肯定是有用的。我认为这是值得追求的一个好方向。我只是没有觉得它是必不可少的。 CRAIG: 你下一步的研究方向是什么?你现在正关注什么研究? ILYA: 我不能透露太多细节,但总体来说,我希望让这些模型更加可靠、可控,让它们可以更快地从训练数据学习,减少人为指令。我还要确保它们真的不会产生幻觉。 CRAIG: 你曾经提过,要获得更好的模型,我们还需要更快、更多的处理器算力。似乎这些模型的发展是没有止境的,但训练这些模型所需的算力,已经到达了至少是社会目前所能接受的极限。 ILYA: 的确,要想获得更好的效果,我们就需要更大的算力。当然,算力增加,成本也会快速增长。 我要问的问题,不是成本是否高昂,而是我们支付这些成本所获得的东西是否物超所值。有可能你付出了所有这些成本,却什么都没有得到,那就是不值得的。
j
jeso1
英伟达CEO 黄仁勋采访Ilya Sutskever

英伟达碰上OpenAI会擦出怎样的火花? 就在刚刚,英伟达创始人兼首席执行官黄仁勋在GTC的炉边谈话中与OpenAI共同创办人Ilya Sutskever进行了一次深入交流。 前两天,OpenAI推出了迄今为止最强大的人工智能模型GPT-4。OpenAI在官网上称GPT-4是“OpenAI最先进的系统”,“能够产生更安全、更有用的响应”。 Sutskever在谈话中也表示,与ChatGPT相比,GPT-4在许多方面标志着“相当大的改进”,并指出新模型可以读取图像和文本。他说,“在未来的某个版本中,[用户]可能会得到一张图表”以回应提问和查询。 毫无疑问,随着ChatGPT与GPT-4在全球范围内的爆火,这也成为了这次谈话的关注焦点,而除了GPT-4及其前身包括ChatGPT相关话题外,黄仁勋与Sutskever也聊到了深度神经网络的能力、局限性和内部运作方式,以及对未来AI发展的预测。 接下来就和文摘菌一起深入这场对话看看吧~ 从网络规模和计算规模还无人在意时做起 可能不少人一听到Sutskever的名字最先想到的就是OpenAI及其相关的AI产品,但要知道,Sutskever的履历可以追溯到吴恩达的博士后、Google Brain的研究科学家,以及Seq2Seq模型的合作开发者。 可以说,从一开始,深度学习就与Sutskever绑定在了一起。 在谈及对深度学习的认识时,Sutskever表示,从现在来看,深度学习确实改变了世界。不过他个人的出发点更多是在于对AI存在的巨大影响潜力的直觉,对意识与人类体验的浓厚兴趣,以及认为AI的发展会帮助解答这些问题。 2002-03年期间,人们普遍认为学习是一件只有人类才能做到的事,计算机是无法学习的。而如果能让计算机具有学习的能力,那将是AI领域一次重大的突破。 这也成了Sutskever正式进军AI领域的契机。 于是Sutskever找到了同一所大学的Jeff Hinton。在他看来,Hinton所从事的神经网络正是突破口,因为神经网络的特性就在于能够学习,可以自动编程的并行计算机。 而彼时并没有人在意网络规模和计算规模的重要性,人们训练的神经网络只有50个或100个,数百个的规模已经算大的了,一百万的参数也被视为很庞大。 除此之外,他们还只能在没有优化过的CPU代码上跑程序,因为没人懂BLAS,多用优化后的Matlab做一些实验,比如用什么样的问题来提问比较好。 但问题是,这些都是很零散的实验,无法真正推动技术进步。 构建面向计算机视觉的神经网络 当时,Sutskever就察觉到,有监督学习才是未来前进的方向。 这不仅是一种直觉,也是无需争辩的事实。在神经网络足够深足够大的基础上,那么它就有能力去解决一些有难度的任务。但人们还没有专注在深且大的神经网络上,甚至人们根本没有把目光放在神经网络上。 为了找到一个好的解决方案,就需要一个合适的大数据集以及大量的计算。 ImageNet就是那个数据。当时ImageNet是一个难度很高的数据集,但要训练一个大的卷积神经网络,就必须要有匹配的算力。 接下来GPU就该出场了。在Jeff Hinton的建议下,他们发现随着ImageNet数据集的出现,卷积神经网络是非常适合GPU的模型,所以能够让它变得很快,规模也就这么越来越大了。 随后更是直接大幅打破了计算机视觉的纪录,而这不是基于以往方法的延续,关键是在于这个数据集本身的难度与范围。 OpenAI:从100人到ChatGPT 在OpenAI初期,Sutskever坦言道,他们也不是完全清楚如何推动这个项目。 在2016年初,神经网络没有那么发达,研究人员也比现在少很多。Sutskever回忆称,当时公司只有100个人,大部分还都在谷歌或deepmind工作。 不过当时他们有两个大的思路。 其中一个是通过压缩进行无监督学习。2016年,无监督学习是机器学习中一个尚未解决的问题,没有人知道怎么实现。最近,压缩也并不是人们通常会谈到的话题,只是突然间大家突然意识到GPT实际上压缩了训练数据。 从数学意义上讲,训练这些自回归生成模型可以压缩数据,并且直观上也可以看到为什么会起作用。如果数据被压缩得足够好,你就能提取其中存在的所有隐藏信息。这也直接导致了OpenAI对情绪神经元的相关研究。 同时,他们对相同的LSTM进行调整来预测亚马逊评论的下一个字符时发现,如果你预测下一个字符足够好,就会有一个神经元在LSTM内对应于它的情绪。这就很好地展示了无监督学习的效果,也验证了下一个字符预测的想法。 但是要从哪里得到无监督学习的数据呢?Sutskever表示,无监督学习的苦难之处不在于数据,更多关于为什么要这么做,以及意识到训练神经网络来预测下一个字符是值得追求和探索的。于此它会学习到一个可以理解的表征。 另一个大的思路就是强化学习。Sutskever一直相信,更大的就是更好的(bigger is better)。在OpenAI,他们的一个目标就是找出规模扩展的正确途径。 OpenAI完成的第一个真正的大型项目是实施战略游戏Dota 2。当时OpenAI训练了一个强化学习的agent来与自己对抗,目标是达到一定水平能够和人类玩家游戏。 从Dota的强化学习转变为人类反馈的强化学习GPT产出技术基座结合,就成了如今的ChatGPT。 OpenAI是如何训练一个大型神经网络的 当训练一个大型神经网络来准确预测互联网上不同文本中的下一个词的时候,OpenAI所做的是学习一个世界模型。 这看上去像是只在学习文本中的统计相关性,但实际上,学习这些统计相关性就可以把这些知识压缩得非常好。神经网络所学习的是生成文本的过程中的一些表述,这个文本实际上是世界的一个映射,因此神经网络便能够学习越来越多的角度来看待人类和社会。这些才是神经网络真正在准确预测下一个词的任务中学习到的东西。 同时,对下一个词的预测越准确,还原度就越高,在这个过程中得到的对世界的分辨率就越高。这是预训练阶段的作用,但这并不能让神经网络表现出我们希望它表现出的行为。 一个语言模型真正要做到的是,如果我在互联网上有一些随机文本,以一些前缀或提示开始,它会补全什么内容。 当然它也可以在互联网上找到文本进行填充,但这就不是最初构想的那样的,因此还需要额外的训练,这就是微调、来自人类老师的强化学习,以及其他形式的AI协助可以发挥作用的地方。 但这不是教授新的知识,而是与它交流,向它传达我们希望它变成什么样,其中也包括了边界。这个过程做得越好,神经网络就越有用越可靠,边界的保真度也就越高。 再谈GPT-4 ChatGPT成为用户增长最快的应用没多久,GPT-4就正式释出。 在谈到两者的区别时,Sutskever表示,GPT-4相较于ChatGPT在许多维度上都做到了相当大的改进。 ChatGPT与GPT-4之间最重要的区别在于在GPT-4的基础上构建预测下一个字符具有更高的准确度。神经网络越能预测文本中的下一个词,它就越能理解文本。 比如,你读了一本侦探小说,情节非常复杂,穿插了非常多的故事情节和人物,埋了很多神秘的线索。在书的最后一章,侦探收集了所有的线索,召集了所有人,说现在他将揭示谁是犯人,那个人就是…… 这就是GPT-4能够预测的东西。 人们都说,深度学习不会逻辑推理。但不管是这个例子还是GPT能做到的一些事,都展现出了一定程度的推理能力。 Sutskever对此回应称,当我们在定义逻辑推理时,在进行下一步决策时如果你能够以某种方式思考一下或许能得到一个更好的答案。而神经网络能走多远也尚待考察,OpenAI目前还没有充分挖掘出它的潜力。 一些神经网络其实已经具备了这类能力,但是大多都还不够可靠。而可靠性是让这些模型有用的最大阻碍,这也是当前模型的一大瓶颈。这不关乎模型是否具备特定的能力,而是具备多少能力。 Sutskever也表示,GPT-4发布时并没有内置的检索功能,它只是一个能够预测下一个词的很好的工具,但可以说它完全具备这个能力,将检索变得更好。 GPT-4还有一个显著的改进就是对图像的响应和处理。多模态学习在其中发挥了重要的作用,Sutskever说到,多模态有两个维度,第一个在于多模态对神经网络是有用处的,尤其是视觉;第二个在于除了文本学习外,从图像中也可以学习到世界的知识。 人工智能的未来 再说到利用AI训练AI时,Sutskever表示这一部分的数据不应该被忽视。 预测未来语言模型的发展是一件困难的事,但是在Sutskever看来,有充分理由相信这个领域会持续进步,AI也将在自己的能力边界继续用实力震惊人类。AI的可靠性是由是否可以被信任决定的,未来肯定会达到可被完全信赖的地步。 如果它不能完全理解,它也会通过提问来弄清楚,或者告诉你它不知道,这些正是AI可用性影响最大的领域,未来会有最大的进步。 现在就面临这样一个挑战,你想让一个神经网络总结长文档或获取摘要,如何确定重要的细节没有被忽视?如果一个要点显然重要到每个读者都会对此达成一致,那么就可以承认神经网络总结的内容是可靠的。 在神经网络是否清楚地遵循用户意图这一点上也同样适用。 未来两年会看到越来越多这样的技术,让这项技术变得越来越可靠。

1. 零/单/少样本学习(Zero/one/few-shot learning): 通常,深度学习会针对一组特定的类别进行训练和测试。 如果计算机视觉中对星球大战中的 BB8 , R2D2 , C3PO 进行分类,在测试过程中就只能针对这三个类别进行。 但在零样本学习设置中,系统在测试时,可以使用不在训练内的类别(例如,用曼努达人做测试)。 单/少样本学习(one-shot 和 few-shot) 也是一个道理,在测试时,系统会分别看到一个或几个新的类别。
2. 零/单/少样本任务迁移(Zero/one/few-shot task transfer): 这个整合了 零/单/少样本学习和多任务学习的概念。 新任务(或者显示零个、一个或几个新任务的示例)可以随时执行,而不是在测试时才展示新类。 例如, 输入 “I love you -> 我爱你。 I miss you -> ____。” GPT-3 就可以通过单样本任务迁移 ,把之前没有训练过的英语转中文的任务执行起来。
3. Transformers: Transformers 是解决机器翻译问题的框架, 有一个简单的网络结构,基于自注意机制,不依赖于递归和卷积完全。通过并行计算使 Transformer 效率高,需要更少的训练时间。
4. 生成模型(Generative models): 统计学中分类任务有两种模型-判别模型,生成模型。 判别模型对给定的可观察变量和目标变量对的条件概率进行编码:p(y|x)。 生成模型对联合概率进行编码:p(x,y)。 生成模型可以“生成类似于现有数据的新数据”,GPT-3 模型就是应用生成模型来。
5. 多任务学习(Multitask learning): 大多数深度学习系统都是单任务的, 只针对特定的场景。多任务系统克服了这一限制。 他们受过训练,能够针对给定的输入解决不同的任务。 例如我输入一个苹果,他可以帮我翻译成英文的 Apple ,可以找到一张苹果的图片,也可以找到苹果的一些特征等。
6. 半监督学习(Semi-supervised learning): 是以无监督的方式训练具有非常大数据集的模型,然后通过在较小的数据集中使用监督训练来调整模型以适应不同的任务。
h
hxx093020
加拿大没有技术产品化的土壤
j
jeso1
加拿大没有技术产品化的土壤
hxx093020 发表于 2023-04-12 16:37

太可惜了, 没市场没资金 Ilya Sutskever跑到湾区去了。 墙里开花墙外香,果子都掉院外了。
m
mitbbs9
太可惜了, 没市场没资金 Ilya Sutskever跑到湾区去了。 墙里开花墙外香,果子都掉院外了。

jeso1 发表于 2023-04-12 16:41

加拿大 英国两个国家的科技力量非常强大 只不过是有了美国 他们就躺平了 加拿大的力量无论在那个方面都是远超法国
j
jeso1
加拿大吃亏大了。 butt, butt,烈士鲜血会白流吗? 当资本家看到用少的钱,能在北面雇到顶尖人才,还会坐得住吗。
过去8年,美国大公司在加拿大开了许多研发中心,大量雇人。 也许会像制造业outsourcing 一样,
当70万成为贫困线时,hightech也许会加快湾区layoff。 寻找其他人力资源。
这就是物极必反辩证法。


j
jeso1
Dallas based Fortune 122 公司CBRE Group数据

j
jeso1
j
jeso1
十年后再看。