Fireside Chat with Ilya Sutskever and Jensen Huang: AI Today and Vision of the Future 【嘉宾】 Ilya Sutskever, Co-founder and Chief Scientist, OpenAI Jensen Huang, Founder and CEO, NVIDIA 概览 【背景】本次说话发作在GPT-4推出的第二天。过去一段时间内，OpenAI推出的ChatGPT以及其他的GPT产品在全世界范围内构成了十分深远的影响，也将AI 这个曾经是热点的话题再次推向了风口浪尖。在此背景下，本次交流聚焦在AI在今天的应用以及未来的展开。 【Q&A】 Q：我想我想回到最开端问你深度学习的问题。你对深度学习的直觉是什么?为什么你知道它会起作用?你心中就一定以为深度学习会取得如此成就吗? A：深度学习的惊人力气改动了世界。我觉得我个人的动身点在于对AI庞大影响力的直觉。我也很猎奇什么是认识什么是人类阅历，我觉得AI的进步会辅佐我了解这些。 从2000年到2003年时分，学习似乎只是人类能做的事情，而计算机基本做不到。在2003年和2002年，计算机什么也学不到。以至不分明这在理论上能否可行。所以我在想假如能在智能学习或者机器学习方面作出一些成果将很有可能成为AI范畴最大的进步。然后我开端四处寻觅，一开端不够达观。 侥幸的是，Jeff Hinton是当时所在大学的教授，我找到了他，他研讨的是神经网络正好是我以为有意义的，由于神经网络特性就在于能够学习，能够自动编程的并行计算机。那时分并行计算机范围还很小，但当人们弄分明学习神经网络是如何工作的，你能够为小型并行计算机编程。它和大脑也很相似，所以就有了理由继续走下去。但还不分明如何让它起作用，不外依据现有的事情，能够知道他前景是光明的。 Q：当你第一次开端在你第一次开端研讨深度学习神经网络的时分，这个网络的范围有多大?当时的计算范围是多少? A：当时没有人认识到范围的重要性。所以人们锻炼的神经网络只需50个，或者100个，几百个神经元。一百万个参数被以为是十分大的。我们会在没有优化的CPU代码上运转我们的模型。我们研讨人员不知道BLAS，我们运用Matlab。Jeff Hinton对锻炼神经网络在小数字上很感兴味，一方面是分类任务，另一方面是如何生成那些数字。所以生成模型的源头从那里开端。但问题是，那些东西还很零散，什么才干真正推进技术进步？当时看起来并不是正确的问题，但往常被以为是正确的。 Q：AlexNet是在2012年创建，当时你和亚历克斯在AlexNet工作过一段时间。你什么时分肯定想要树立一个面向计算机视觉的神经网络，Imagenet才是那个适合的数据集，应该做些事儿来参与计算机视觉的竞赛? A：我能够谈谈这里的背景。大约在那之前两年，我就分明地认识到监视式学习才是我们行进的方向。我能够精确地解释为什么。这不只仅是直觉，也是无可辩驳的。假如你的神经网络又深又大，那么它就能够被配置来处置这个艰难的任务。这就是关键词“深而大”。 那时分人们关注的不是大型神经网络而是神经网络的一些深度。但大多数机器学习范畴基本没有研讨神经网络。他们研讨各种贝叶斯模型和内核措施，这些理论上都是很好的措施，但并不表示是一个好的处置计划。而大型的神经网络在面对问题求解时能给出一个好的答案，这需求大的数据集以及大量的计算。 我们也在优化方面做了一些工作，优化是一个瓶颈。研讨生James Martens取得了突破，他提出了一种优化措施用二阶函数来完成。但重点是它证明了我们能够锻炼这些神经元。假如你能锻炼神经网络，你就把他变大一些，然后去找一些数据，你就会胜利那么接下来的问题是，找什么样的数据？答案是ImageNet。当时ImageNet是一个难度很高的数据集，但若想锻炼一个大型卷积神经网络，在数据集上它必须胜利。 Q：你怎样能发现GPU在处置这方面的问题上是可用的？是从哪天开端的？ A：一开端Jeff将GPU带到了实验室里，但我们不分明到底要用它们来做什么。但接下来发现，随着ImageNet数据集的呈现，卷积神经网络是十分合适GPU 的模型，能够把它变得十分快，因而就能做范围远超以前的锻炼。Alex Krizhevsky洗砦笏用GPU中止编程，Alex他开发了十分快的卷积核函数，然后去锻炼神经网络最终取得了却果。这是十分显著的突破，突破了当时许多记载。这并不是之前措施的持续，而是一种全新思绪。 Q：快进到你来了硅谷，和朋友兴办了OpenAI。关于OpenAI工作的最初想法是什么？最早的源动力是什么？怎样抵达了往常的成就？ A：是的。所以很明显，当我们开端的时分，并不是100%分明该如何继续。这个范畴和往常的状况也有很大不同。在2015年-2016年，早在2016年初，我们开端的时分，整件事看起来很猖獗，当时的研讨人员少得多可能比往常人数少了100到1000倍。当时我们有大约100个人，他们中的大多数为谷歌/DeepMind工作，人员十分稀缺。 我们有两个大的最初想法。第一个是经过紧缩中止无监视学习。今天，我们理所当然地以为监视学习是一件简单的事情。在2016年，无监视学习在机器学习范畴是一个未处置的问题，我不时以为好的数据紧缩将产生无监视学习。固然紧缩并不是人们常常提起的一个词，但是人们最近忽然了解了这些GPT实践上紧缩了锻炼数据。从数学意义上讲，锻炼这些自回归模型能够紧缩数据的。假如紧缩的好，你就必须能够提取其中存在的一切躲藏信息。这是关键。 我们真正感兴味的第一件事是OpenAI中对心情神经元的一些工作。在机器学习范畴，可能没有很多人关注，但实践上它影响很大，这项工作的结果是神经网络，但它并不是Transformer，而是Transformer之前的模型，那就是小型循环神经网络LSTM，我们运用LSTM预测Amazon评论的下一个字符，我们发现假如预测下一个字符足够好，就会有一个神经元在LSTM内对应它的心情。这展示了无监视学习的一些效果，并考证了良好的下一个字符预测的这种想法，紧缩具有发现数据中的秘密的特性。这就是我们往常在GPT模型中看到的。 Q：那我们从哪里能够取得无监视学习的数据？ A：我想说在无监视学习中，艰难的部分不在于你从哪里得到数据，固然往常这依旧是个问题；但更多的是关于为什么要这么做?艰难的是要认识到锻炼这些神经网络来预测下一个token是一个有价值的目的。在GPT-1之前有关心情神经元的工作对我们有很大的影响。然后Transformer出来了，我们立刻想到就是它了，并在此基础上锻炼了GPT-1 Q：你关于模型和数据大小的扩展规律的直觉，相关于GPT-1、2、3，哪个先呈现？你有看到GPT的展开途径吗，还是现有扩展规律的直觉？ A：直觉。我有一个十分激烈的信心，更大是更好。在OpenAI，我们的目的之一就是弄分明范围扩展的正确途径。问题是如何精确运用它。还有一点很重要，那就是强化学习。在OpenAI中完成的第一个真正的大项目是我们努力处置一个实时战略游戏--Dota 2。所以我们锻炼一个强化学习agent来对立自己，目的是抵达一定水平，这样它就能够和世界上最好的玩家竞争。这也是一项严重担务，是一种十分不同的工作方向。往常有一种趋同的趋向，GPT产出了技术基座，从Dota的强化学习转变为人类反响的强化学习，这种组合给了我们ChatGPT。 Q：往常有一种误解，以为ChaGPT自身只是一个庞大的大型言语模型，但事实上盘绕它有一个相当复杂的系统，你能为观众简单解释一下吗？ A：我们能够这样想，当我们锻炼一个大的神经系统来精确地预测下一个单词时，我们所做的是在学习一个世界模型。名义上看，我们只是在学习统计相关性。但事实证明，只需学习统计相关性就能够很好地紧缩这些学问。 神经网络所学习的，是产生文本的过程的一些表述。这些文本实践上是这个世界的一个映射，所以神经网络正在学习从世界越来越多的方面看待这个世界，看待人类和社会。神经网络学习一个紧缩的、笼统的、可用的表述。这就是从精确预测下一个词的任务中学到的东西。此外，你对下一个词的预测越精确，恢复度越高，在这个过程中你得到世界的分辨率就越高，这就是预锻炼阶段的作用，但这并不能让神经网络表示出我们希望它能够表示出的行为。 一个言语模型，它真正要做的是回答以下问题，如网上有一些随机的文本，以一些前缀开端，一些提示，它将如何完成?假如只是随机寻觅一些片段填充，这和我想具有一个助手是不同的，我想要的助手要诚实，要有辅佐，要恪守一定的指导规则，这就是微调，这就是对来自于人类教员强化学习和其他方式的人工智能辅佐能够发挥作用的对方，不只仅是向人类学习，也是人类和AI协作的强化学习。在这里我们不是在教授它，我们是在与它交流，希望它成为什么样。而这个过程，也就是第二阶段也是十分重要的。第二阶段做得越好，这个神经网络就越有用，越牢靠。所以第二阶段是十分重要的，第一阶段，尽可能多地从世界的映射中学习，也就是文字。 Q：你能够对它中止微调，你能够指示它执行一些特定任务，能不能指示它不做一些事情？这样会给它设置一些保险护栏，去避免某一类型的行为 A：是的。所以锻炼的第二阶段是我们向神经网络传达我们想要的任何东西，我们锻炼得越好，我们传达的边疆的保真度就越高。所以经过不时的研讨和创新来进步保真度，从而使它在遵照预期指令的方式上变得越来越牢靠和精确。 Q：ChatGPT在几个月前就出来了，是历史上增长最快的应用程序；往常是GPT-4发布的第一天，它在许多范畴的表示令人震惊，包含SAT，GRE等，都能取得很高的分数。什么是ChatGPT和GPT-4之间的主要区别？以及GPT-4在这项范畴中的改进有哪些？ A：GPT-4相比ChatGPT的基础上，在很多方面都有了实质性的改进。GPT是第一个主要的区别，这或许是最重要的区别。在GPT-4的基础上构建预测下一个单词具有更高的精确度。这很重要，由于它预测的越好，那么它了解得越多。随着对课文的了解不时加深，GPT-4预测下一个单词的才干也变得更好 Q：人们说，深度学习不会逻辑推理，那么GPT-4是如何能够学会推理的？假如它学会了推理，我将要问的就是做了哪些测试？它在预测下一个单词的时分，能否在学习推理？局限性是什么? A：推理并不是一个很好定义的概念，但我们能够试着定义它。也就是说，当你走得更远的时分，你假如能以某种方式稍微思索一下，并且由于你的推理得到一个更好的答案。我们的神经网络或许有某种限制，基本的神经网络能走多远，或许还有待察看。我以为我们还没有充沛发掘它的潜力。在某种水平上，推理还没有抵达那个水平。 Q：在我看来，当我们运用ChatGPT的时分，它展示了某种水平上的推理水平，所以我以为ChatGPT自然具备这种内在才干 A：某种水平上，用一种方式去了解现状，这些神经网络有很多这样的才干。他们只是不太牢靠。 牢靠性是让这些模型有用目前最大的障碍。有时分，这些神经网络还会产生幻想，或者可能会犯意想不到的错误，而人类不会犯这些错误。正是这种不牢靠性让它们用处大大降低。但我以为，经过更多的研讨，或者一些远大的研讨计划，我们一定能完成更高的牢靠性这样模型才会真的有用，并且能让我们设定精确的护栏，也就是模型学会问分明它不肯定的中央或者压根不知道的学问。 当模型学会后，它不知道的问题不会回答，回答的答案也会十分可信。这是当前模型的一种瓶颈。这不只仅是模型能否具备特定的才干。 Q：我之前看过一个视频，展示了GPT-4应用维基百科做检索的才干。那么GPT-4能否真的包含检索才干？它能否能够从事实中检索信息以增强对你的响应？ A：当前GPT-4发布时，并没有内置的检索功用，它真的只是一个很好的预测下一个词的工具，另外它也能够处置图像。但是它完整具备这个才干，它也将经过检索变得更好 Q：多模态GPT-4能够从图像和文本中学习并对文本和图像作为输入的央求做出响应的才干。从基础来看，多模态为什么如此重要，严重突破是什么，以及由此产生的特征差别是什么？ A：有两个缘由让它如此有趣。 第一个缘由是多模态对神经网络而言是有用的，特别是视觉，由于世界是十分视觉化的。我以为假如没有视觉，神经网络的用处固然相当大，但它并没有抵达应有的范围。所以GPT-4能够“看”得更好； 第二个缘由，那就是我们除了能够经过文字学习世界，也能够经过从图像中学习来更多天文解世界。人类能够从视觉中学到很多东西，对神经网络而言同样如此，除了神经网络能够从相当多的词中学习。因而，（假如有“视觉”功用）从文本中的几十亿文字认识世界或许会变得更容易，以至能够从数万亿的词语中学习。当我们参与视觉信息的时分，并从视觉中学习学问，你就会学到额外的学问。我不想说这是二进制文件，我以为更多的是交流频率问题。假如有更多的信息输入，好比图像，学习的过程将会快许多。 Q：你说到从图像中学习，能否有一种觉得表明应用音频关于模型学习也会有辅佐吗？我们会好好应用它吗？ A：我以为这是肯定的。音频是一个额外的信息来源，可能没有图片或视频多，但是音频依旧是有必要的，无论是在辨认方面还是消费方面。 Q：在你们发布的测试结果数据中，哪个测试在GPT-3中表示更好？那个测试在GPT-4中表示更好？你以为多模态在这些测试中起了多少作用？ A：在一个有很多图表的问题中，好比美国的AMC12数学竞赛，GPT-3.5在测试中表示的相当差，只需文字模态的GPT-4有大约2%到20%的精确率。当你添加视觉模态时，它会提升至40%的胜利率。所以这个版本真的做了很多工作。我以为能够在视觉层面中止推理和在视觉上中止沟通是十分棒的，状况从我们对世界中仅仅几个事物的了解展开到你能够了解整个世界。然后你能够把这个世界视觉化，做到视觉化沟通，以后或许当你讯问问题的时分，神经网络能够给你提供图表中止回答 Q：之前你提到过关于AI生成另外一个AI的事情。有研讨指出世界上能够被用来中止模型锻炼的数据是有限的，你是承以为这些能够中止锻炼的素材会慢慢耗尽？另外AI 能否会用自己生成的数据来锻炼自己？您如何看待数据生成范畴？ A：我以为我不会低估现有的数据。我以为可能有比人们认识到的更多的数据。关于第二个问题这种可能性还有待察看。 Q：你以为言语模型范畴会去向何处？哪个范畴是最能使你兴奋的？ A：预测是很难的，特别关于太细致的事情。 我以为能够肯定的是，进步将继续，我们将继续看到AI系统在它的才干边疆继续震惊人类。 AI的牢靠性是由能否能够被信任决议的，未来肯定能够抵达完整信任的地步。假如它不明白，也会经过提问来问分明，它会通知你它不知道，但同时会向你讯问更多的学问。我以为这是AI可用性影响最大的范畴，未来会有最大的进步。 我们往常就面临一个应战，好比让神经网络总结长的文档，获取摘要，应战就是能肯定重要的细节没被疏忽吗？当他的总结能够抵达一切人都认同的时分，我们就能够说它的内容是牢靠的。关于内容护栏也一样，它能否分明的遵照用户的企图也会成为权衡的规范。 Q：最后一个问题。所以从ChatGPT到GPT-4，你是什么时分第一次开端运用它的？它表示出来什么样的技艺连你都为之诧异？ A：简而言之，就是它的牢靠性令人诧异。之前的神经网络，假如你问他们一个问题，有时他们可能会用一种愚笨的方式误解。而GPT-4不会让这种事情发作。 它处置数学问题的才干变得很棒，你能够以为它真的中止了推导，一些长篇且复杂的推导，还转换单位等，这真的很酷。 另一个例子是，很多人留意到，它有才干用同一个字母开头的单词写诗，每个单词都能明晰遵照指令。这并不圆满，但曾经很好了。 在视觉方面，我真的很喜欢它解释笑话的方式。它能够解释网络梗。你能够用一些复杂的图像或图表来追问问题。 退一步说，我从事这项工作差未几20年了，最让我感到诧异的是，它的确有效。对人们的生活而言，它往常变得更重要，更激烈，它还是那个神经网络，只是变得更大，在更大的数据集上锻炼，锻炼的基础算法都是一样的。我们只是常识让这些神经元愈加精确。我会说这是我发现最令人诧异的事情。纪要私享圈 |
名表回收网手机版
