openai首席科学家ilya sutskever的x账号也许是科技界名人里最特别的那种，他很少极少介绍自己的个人生活，除了转发公司产品链接，他的推文通常都是一些零碎的闪念和思考：“自我是成长的敌人”；“gpu就是新时代的比特币”；“假如你把智力看得比人类所有其他品质都重要，那么你会过得很糟糕”；“生活和商业中的同理心被低估了”；“完美毁掉了很多完美的好东西。” 更多时候，是为（通用人工智能）agi站台，正如他的x签名：“打造众多喜欢人类的agi们”（towards a plurality of humanity loving agis）。 在现实生活里同样如此，他不热衷社交，很少在媒体前抛头露面。唯一能让他感到兴奋的东西，就是人工智能。 伊尔亚·苏茨克维（ilya sutskever）低头沉思。他双臂张开，手指放在桌面上，就像音乐会上即将弹奏第一个音符的钢琴家。大家静静地坐着。 我是来和openai的联合创始人兼首席科学家sutskever会面的，他的公司位于旧金山传教区一条不起眼的街道上，办公楼没有任何标志，我想听听他一手打造的这项颠覆世界的技术的下一步计划。我还想明白他的下一步计划，尤其是，为什么建立他公司的下一代旗舰生成模型不再是他的工作重点。 sutskever告诉我，他的新工作重点不是制造下一代gpt或图像制造机dall·e，而是研究如何阻止人工超级智能（他认为这是一种假想的未来技术，具有先见之明）的失控。 他说： “重要的是要讨论这一切的方向。” 他在预测agi（通用人工智能，像人类一样聪明的ai）的未来时，仿佛它就像另一部iphone一样信心满满： “总有一天，agi会实现。也许来自opena。也许来自别的公司。” 自去年11月发布红极一时的新产品chatgpt以来，围绕openai的讨论一直令人印象深刻，即使在这个以炒作著称的行业也是如此。没有人不会对这家市值800亿美元的初创公司感到好奇。世界各国领导人寻求（且得到）和ceo sam altman私人会面。chatgpt这个笨拙的产品名称在闲聊中不时出现。 今年夏天，openai的首席执行官sam altman花了大半个夏天的时间，进行了长达数周的外联之旅，与政客们亲切交谈，并在世界各地座无虚席的会场发表演讲。但sutskever并不像他那样是个公众人物，他也不常常接受采访。 他说话时深思熟虑，有条不紊。他会停顿很长时间，思考自己想说什么、怎么说，把问题像解谜一样反复推敲。他似乎对谈论自己不感兴趣。 他说： 但当大家谈到人工智能，谈到他所看到的划时代的风险和回报时，他的眼睛亮了起来： 越来越好，越来越好 在一个没有openai的世界里，sutskever仍将载入人工智能史册。作为一名以色列裔加拿大人，他出生在前苏联，但从五岁起就在耶路撒冷长大（他至今仍能说俄语、希伯来语和英语）。之后，他移居加拿大，在多伦多大学师从人工智能先驱杰弗里·辛顿（geoffrey hinton）。(sutskever不想对辛顿的言论发表评论，但他对超级智能灾难的关注表明他们是同道中人）。 辛顿后来与杨立昆（yann lecun）和约书亚·本吉奥（yoshua bengio）介绍了图灵奖，以奖励他们在神经网络方面的研究成果。但当sutskever在2000年代初加入他的团队时，大多数人工智能研究人员都认为神经网络是一条死胡同。辛顿是个例外。 sutskever说： “这就是生成式人工智能的开端。真的很酷，只是还不够好。” sutskever对大脑非常着迷：它们是如何学习的？以及如何在机器中重新创建或至少模仿这一过程？和辛顿一样，他看到了神经网络的潜力，以及辛顿用来训练神经网络的试错技术，即深度学习。sutskever说：“它变得越来越好，越来越棒。” 算力的提升来自于英伟达公司生产的一种名为图形处理器（gpu）的新型芯片。gpu的设计目的是以闪电般的速度将快速移动的视频游戏视觉效果投射到屏幕上。但gpu擅长的计算——大量数字网格的乘法——却与训练神经网络所需的计算十分相似。 英伟达现在已经是一家市值上万亿美元的公司。当时，它正急于为其市场狭窄的新硬件寻找应用领域。 “当你发明一项新技术时，你必须接受疯狂的想法，”英伟达首席执行官黄仁勋说。“我的思想状态总是在寻找一些古怪的东西，而神经网络将改变计算机科学的想法，就是一个非常古怪的想法。” 黄仁勋说，在多伦多团队开发alexnet时，英伟达给他们寄了几块gpu让他们试用。但他们想要的是最新版本，一种名为gtx580的芯片，这种芯片在门店里很快就卖光了。根据黄仁勋的说法，sutskever从多伦多开车到纽约买到了gpu。 “人们在街角排起了长队，”黄仁勋说。“我不明白他是怎么做到的——我很确定每个人只能买一个；大家有非常严格的政策，每个玩家只能买一个gpu，但他显然把它们装满了一个后备箱。满满一后备箱的gtx580改变了世界。” sutskever本人则更为谦虚，他说： “我想，假如我能取得哪怕一丁点真正的进展，我都会认为这是一种成功。现实世界的影响感觉太遥远了，因为那时的计算机太弱小了。” alexnet取得成功后，谷歌来敲门了。谷歌收购了辛顿的公司dnnresearch，并聘请了sutskever。在谷歌，sutskever展示了深度学习的模式识别能力可以应用于数据序列，如单词和句子，以及图像。sutskever的前同事、现任谷歌首席科学家的杰夫·迪恩（jeff dean）说：“ilya一直对语言很感兴趣，这些年来，大家进行了很好的讨论。ilya对事物的发展方向有很强的直觉。” 但sutskever并没有在谷歌工作太久。2014年，他受聘成为openai的联合创始人。这家新公司拥有10亿美元的资金支持（来自ceo altman、马斯克、彼得·蒂尔、微软、y combinator和其他公司），他们有那种硅谷式的雄心，从一开始就把目光投向了开发agi，这一前景在当时很少有人认真对待。 sutskever是公司的幕后推手，他的雄心是可以理解的。在此之前，他已经在神经网络方面取得了越来越多的成果。y combinator投资董事总经理dalton caldwell说，sutskever当时已经声名在外，他是openai吸引力的关键来源。 caldwell说：“我记得山姆（sam altman）说伊利亚是世界上最受尊敬的研究人员之一。他认为ilya能够吸引很多顶尖的人工智能人才。他甚至提到，世界顶级人工智能专家yoshua bengio认为，不也许找到比ilya更合适的人选来担任openai的首席科学家。” 可是，openai一开始却举步维艰。 sutskever说：“在大家启动openai的时候，有一段时间我并不确定将如何继续取得进展。但我有一个非常明确的信念，那就是不能与深度学习对赌。不知怎的，每次遇到障碍，研究人员都会在半年或一年内找到绕过它的方法。” 他的信念得到了回报。2016年，openai的第一个gpt大型语言模型（该名称代表"生成预训练转换器"）问世。随后，gpt-2和gpt-3相继问世。然后是引人注目的图片生成模型dall·e。当时还没人能造出这么好的东西。每一次发布，openai都提高了人们对也许性的认识。 管理期望值 去年11月，openai发布了一款免费使用的聊天机器人，对其部分现有技术进行了重新包装。它重新设定了整个行业的议程。当时，openai对自己的产品也许达到的热度一无所知。 sutskever说，吸引人的地方在于它的便利性。chatgpt引擎盖下的大型语言模型已经存在了几个月。不过，将其封装在一个易于访问的界面中并免费赠送，让数十亿人第一次了解到openai和其他公司正在构建的东西。 sutskever说： 当chatgpt说出一些蠢话时，这种奇妙的感觉马上就坍塌了。但到那时就无所谓了。sutskever说：“那一瞥已经足够了。chatgpt改变了人们的看法。” “在机器学习领域，agi不再是一个肮脏的词，”他说。“这是一个巨大的变化。人们历来的态度是：人工智能行不通，人工智能行不通，每一步都非常困难，你必须为每一丝进步而奋斗。当人们大肆宣扬人工智能时，研究人员会说：'你在说什么？这个不行，那个也不行。问题太多了。'但有了chatgpt，感觉就开始不一样了。” 这种转变是一年前才开始发生的吗？“是因为chatgpt，”他说。“chatgpt让机器学习研究人员有了梦想。” openai的科学家们从一开始就是传道者，他们通过博客文章和巡回演讲激起了这些梦想。 这一切正在起作用：“大家现在有人在谈论人工智能会发展到什么程度，有人在谈论agi或超级智能。不仅仅是研究人员。各国政府也在谈论它，这太疯狂了。” 不可思议的事物 sutskever坚持认为，所有这些关于尚未存在（也许永远不会存在）的技术的讨论都是好事，因为这让更多人意识到他已经认为理所当然的未来。 他说：“你可以用agi做很多了不起的事情，不可思议的事情：实现医疗自动化，让医疗成本低一千倍，医疗效果好一千倍，治愈很多疾病，真正解决全球变暖问题。但也有很多人担心，天哪，人工智能公司能否成功管理这项巨大的技术？” agi听起来更像是一个实现愿望的精灵，而非可以出现在现实世界的技术。很少有人会拒绝拯救生命和解决气候变化问题。但一项不存在的技术的问题在于，你可以对它说任何你想说的话。 当sutskever谈到agi时，他到底在说什么？ 他说：“agi并不是一个科学术语。它只是一个有用的门槛，一个参照点。它是一种理念。”他开始说，然后停顿了一下。“它是指人工智能的智能程度，假如人类能完成的任务，人工智能也能完成。然后，你可以说实现了agi。” agi仍然是ai领域最具争议性的想法之一。很少有人认为agi的到来是必然的。许多研究人员认为，在大家看到类似sutskever所想的东西之前，还需要在概念上取得重大突破，而有些人则认为大家永远不会看到。 可是，这是他从一开始就有的愿景。sutskever说：“我一直受到这个想法的启发和激励。当时还不叫agi，但你明白，就像让神经网络做所有事情一样。我并不总是相信它们能做到。但这是一座需要攀登的高山。” sutskever说： “假如你相信这一点，假如你允许自己相信这一点，那么就会产生很多有趣的影响。假如你有一个非常大的人工神经网络，它应该能做很多事情。特别是，假如人脑可以做一些事情，那么一个大型人工神经网络也可以做类似的事情。” “假如你足够认真地认识到这一点，一切都会水到渠成，”他说。“我的大部分工作都可以用这一点来解释”。 2022年2月，他发帖称，“也许今天的大型神经网络略有意识”（谷歌deepmind首席科学家、伦敦帝国理工学院教授兼电影《机械姬》（exmachina）科学顾问默里·沙纳汉（murray shanahan）对此回复道：“……就像一大片麦田也许略带意大利面一样”）。 当我提起这件事时，sutskever笑了。他是在开玩笑吗？他没有。"他问道："你熟悉玻兹曼大脑的概念吗？ 他指的是量子力学中以19世纪物理学家路德维希·波兹曼（ludwig boltzmann）命名的一个（调侃式的）思想实验，在这个实验中，人们想象宇宙中的随机热力学波动会导致大脑突然出现或消失。 “我觉得现在这些语言模型有点像波兹曼大脑，”sutskever说，“你开始跟它说话，你说了一会儿；然后你说完了，大脑就……”他用手做了一个消失的动作。噗——再见，大脑。” 我问他，你是说，在神经网络活跃的时候，也就是在它发射的时候，有什么东西在那里？ 他说： “我想也许是的。我不确定，但这是一种很难反驳的也许性。但谁明白会发生什么呢，对吧？” 人工智能，但不是大家所知的那种 当其他人还在为机器能与人类的智能相媲美而纠结时，sutskever正在为机器能超越大家而做准备。他称之为人工超级智能：“它们会看得更透彻。它们会看到大家看不到的东西。” 我还是很难理解这到底是什么意思。人类智能是大家衡量智能的基准。sutskever所说的比人类更聪明的智能是什么意思？ 他说，大家已经在alphago身上看到了一个有限的超级智能的例子。2016年，deepmind的ai围棋机器人在一场围棋比赛中以4:1的比分击败了世界上最好的围棋选手之一李世石。 sutskever说： “它找出了下围棋的方法，与人类几千年来共同开发的方法不同。它提出了新的想法。” 正是这种思路促使sutskever做出了他职业生涯中最大的转变。他与openai的科学家扬·雷克（jan leike）一起成立了一个团队，专注于他们所说的超级对齐（superalignment）。alignment是行话，意思是让人工智能模型做你想做的事，仅此而已。superalignment是openai的术语，指超级智能的对齐问题。 超级对齐的目标是，为构建和控制这项未来技术制定一套万无一失的程序。openai表示，它将分配五分之一的庞大计算资源来解决这个问题，并在四年内解决。 “现有的排列方法对于比人类更聪明的模型不起作用，因为它们从根本上假定人类能够可靠地评估人工智能系统正在做的事情，”leike说，“随着人工智能系统的能力越来越强，它们将承担更艰巨的任务。这种想法认为，人类将更难对它们进行评估。在与ilya组建超对齐团队的过程中，大家已经着手解决这些未来的对齐挑战。” 谷歌首席科学家迪恩说： “不仅要关注大型语言模型的潜在机遇，还要关注其风险和弊端，这一点非常重要。” 不过，对sutskever来说，结盟是不可避免的下一步。“这是一个尚未解决的问题，”他说。他认为，像他自己这样的核心机器学习研究人员正在研究的问题还不够多。“我这么做是为了自己的利益。显然，重要的是，不管是谁构建的超级智能都不能背叛人类。” 我和sutskever的谈话时间快到了，我想大家已经结束了。但他又有了新的想法——一个我没有想到的想法： “一旦你解决了人工智能失控的挑战，然后呢？在一个拥有更智能人工智能的世界里，人类还有生存空间吗？” "有一种也许性——以今天的标准来看也许很疯狂，但以未来的标准来看就不那么疯狂了——那就是许多人会选择成为人工智能的一部分。这也许是人类试图跟上时代的方式。一开始，只有最大胆、最有冒险精神的人才会尝试这样做。也许其他人会跟进，或者不会。” 等等，什么？他准备起身离开。你会这么做吗？我问他，你会是第一批吗？第一批？我不明白，他说。但这是我考虑过的事情。真正的答案是：也许吧。 说完，他站起身，走出了房间。“很高兴再次见到你。”他边走边说。
