我们规划为了使卡塔尔世界杯赛程时间表这是今年的主要优先事项。我们认为这项事业提供了一个杰出的慈善机会——具有极高的重要性、高度的忽视性和合理的可驾驭性(我们对原因的三个标准) -给我们这样的人。我们相信,我们能越快地全面了解关键问题,并探索我们目前看到的机会,我们就能越快地为今年和未来的知情、有效的捐赠奠定基础。
考虑到这一切,今年我们在这项事业上下的“赌注”比我们在其他事业上下的赌注还要大2022世界杯欧洲预选赛比分-不一定是在资金方面(我们不确定今年能否找到非常大的融资机会,我们更关注的是为未来几年奠定基础),而是在高级员工的时间方面,在这一点上,这对我们来说是一个稀缺的资源。符合我们基于点击的捐赠哲学在美国,我们这么做并不是因为我们对未来会如何发展以及我们能如何影响它有信心,而是因为我们看到了值得冒的风险。大约一年后,我们将正式审查我们的进展,并重新考虑如何分配高级职员的时间。
这篇文章将首先讨论为什么我认为这个事业是一个杰出的慈善机会。(我的观点相当具有代表性,但并不完全代表其他从事这项事业的工作人员的观点。)它会给我们一个大致的轮廓计划活动在接下来的一年里,一些关键原则我们希望在这方面的工作,和一些风险和预订我们必须尽可能地优先考虑这个问题。
简而言之:
- 在我看来,人工智能目前是最具活力、最不可预测、最有可能改变世界的科学领域之一。我相信有一个非平凡概率的人工智能将在未来20年内发展起来,产生巨大的全球影响。
- 总的来说,我预计这一进展的结果——无论是否很快开发出革命性的人工智能——都是积极的。然而,我也意识到了风险。变革性人工智能可能是一项非常强大的技术,具有潜在的全球灾难性的误用或发生重大事故的后果。正因为如此,我认为这一事业具有极高的重要性主要标准),即使考虑到未来几十年发展变革性人工智能的可能性以及风险规模的巨大不确定性。我将在下面讨论潜在风险的性质;请注意,我认为它们不适用于今天的AI系统。
- 我认为这项事业在重要方面被高度忽视。围绕人工智能和机器学习的研究有一个实质性的、不断发展的领域,但大多数都没有关注于降低潜在风险。我们已经投入了大量的工作,试图确保我们有一个完整的研究人员、资助者和关键机构,他们的工作与先进人工智能的潜在风险相关。我们相信已经完成的工作量远远没有达到有效的水平(尽管最近媒体关注了);慈善可能是有帮助的;我们正在考虑的活动不会与其他资助者的活动冗余。
- 我认为,为了减轻未来的潜在风险,今天需要做一些有益的工作。特别是,(a)我认为有重要的今天可以解决的技术问题,这可能与降低事故风险有关;(b)我初步认为,对潜在的战略和政策考虑也有相当大的分析余地。
- 更广泛地说,开放慈善项目可能能够帮助卡塔尔世界杯小组赛最新赛程出炉支持更多的人——特别是那些拥有强大相关技术背景的人——思考如何减少潜在风险,这在未来可能是重要的,即使短期内所做的工作被证明不是必要的。我相信,慈善事业最适合做的事情之一是,随着领域和机构的发展,提供稳定、长期的支持。
- 我认为这是一项具有挑战性的事业。我认为在做好事的同时很容易造成伤害。例如,试图提高对潜在风险的关注度可能导致(我认为,在某种程度上已经造成了)媒体对风险的不细致或不准确的描述,这反过来可能增加过早和/或适得其反的监管的风险。我认为开放慈善项目相对适合在关卡塔尔世界杯小组赛最新赛程出炉注缺陷的同时从事这一事业,并将具有强大技术专长的人员深度融入到我们的工作中。
- 我认为,像我们这样高度重视这项事业的决定有很大的辩论余地。然而,我认为它是重要的是,身处我们这个位置的慈善家要愿意承担重大风险我认为,优先考虑这个问题是一个非常值得冒的风险。
随着时间的推移,我对这一事业的看法发生了很大的变化。我将在以后的文章中详细讨论我思考的演变过程,但这篇文章的重点是今天优先考虑这个问题。
重要性
在我看来,人工智能和机器学习研究目前是最具活力、最不可预测、最有可能改变世界的科学领域之一。1特别是,我相信这一研究可能最终导致的发展的人工智能我们粗略地、概念性地将其定义为AI,它促成了一场类似(或比)农业或工业革命的转型。我相信,在未来20年内,变革性人工智能将被开发出来的可能性是很大的(至少10%的中等鲁棒性,至少1%的高鲁棒性)。关于变革性人工智能概念的更多细节(包括更详细的定义),以及为什么我相信它可能在未来20年被开发,请参阅我们的以前的文章.
我相信,今天的人工智能系统正在实现大量的好处,总的来说,我预计人工智能的进一步进展的结果——无论是否很快开发出革命性的人工智能——是积极的。人工智能的改进在提高医疗诊断的速度和准确性方面具有巨大潜力;提高自动驾驶汽车的可行性,减少交通事故;通过更好的搜索和翻译帮助人们交流;促进个性化教育;加快能够改善健康和拯救生命的科学;加快发展可持续能源;并在许多其他方面为改善全球福利和生产力作出贡献。就像我之前写的在美国,我认为经济和技术发展在历史上一直是非常有益的,尽管某些发展在出现之前往往受到大量悲观情绪的影响。我还预计,如果以及当变革性人工智能非常接近发展时,许多人将强烈意识到潜在的好处和风险,并将努力使好处最大化和风险最小化。
话虽如此,我认为卡塔尔世界杯赛程时间表是真实而重要的:
- 滥用的风险。人工智能变革的主要方式之一是通过促进/加速一项或多项强大技术的发展.如果落入坏人之手,这可能成为独裁主义者、恐怖分子或其他寻求权力的个人或机构的强大工具。我认为,在这种情况下,潜在的破坏几乎是无限的(如果变革性的人工智能能使足够强大的技术加速的话),可能包括对整个世界的持久甚至永久影响。我们将这类风险称为“误用风险”。我不认为我们应该让误用场景主导我们对人工智能潜在后果的思考,这比任何其他强大的技术都要重要,但我确实认为有必要问一下,我们今天是否可以做些什么来为未来避免误用风险奠定基础。
- 事故风险。我还相信,有一大类潜在的“意外风险”可能会上升到(像误用风险)的水平全球灾难性的风险.在与该领域的许多人的交谈过程中,我们看到了实质性的(尽管远不是普遍的)担忧,即这种风险可能会出现,并且没有明确的理由相信它们将容易解决。这些风险很难总结;我们已经详细描述过了卡塔尔世界杯赛程时间表我在这里只给出一个基本的轮廓。随着目标导向的AI系统(如强化学习系统)变得更有能力,它们可能会以越来越有效、意想不到和难以理解的方式追求分配给它们的目标(如损失函数所暗示的)。在这些意想不到的行为中,可能有有害的行为,产生于(a)程序员概念上意图的目标与程序员技术上、形式上指定的目标之间的不匹配;(b) AI系统未能检测和响应主要的上下文变化(我认为当前许多高能力AI系统在上下文变化方面表现不佳);(c)其他技术问题。(见下面查看一种可能的故障模式的更详细的描述。)当人工智能系统运行时,可能很难捕捉到不受欢迎的行为,部分原因是不受欢迎的行为可能很难与聪明和可取的行为区分开来。此外,实现自信地防止不良行为的措施可能是困难和耗时的,因为它们可能只出现在特别复杂的现实环境中(这增加了重大环境变化的几率和技术上实现特定目标的意外策略的风险),而不是在测试中。如果机构最终“竞相”部署强大的人工智能系统,这可能会造成未采取充分预防措施的重大风险。的result could be a highly intelligent, autonomous, unchecked system or set of systems optimizing for a problematic goal, which could put powerful technologies to problematic purposes and could cause significant harm. I think the idea of a全球灾难性的来自人工智能的意外只对某些类型的人工智能有意义,而不是对我认为是变革性人工智能的所有东西。我目前的粗略印象是,这种风险的总体可能性并不高(考虑到我希望人们采取措施预防它),尽管它可能有很高的可能性足够的考虑到潜在的利害关系,可能性是非常重要的考虑因素。在关于这个话题的对话中,我已经意识到在这个风险的大小上存在很大的意见分歧,我可以想象在未来一年左右的时间里,我对这个问题的看法会有很大的改变。
- 其他风险。一些风险可能来自人工智能系统的广泛使用所带来的变化,而不是来自特定的事故或滥用。特别是,人工智能的进步可能会导致许多任务(包括驾驶和各种形式的制造)的自动化,从而极大地改变经济,目前这些任务是由许多人专业完成的。这种转变的影响似乎难以预测,可能是非常积极的,但它也有可能通过恶化许多人的就业选择,大大加剧不平等,损害福祉。与上述两类风险相比,我们暂时不太可能关注这类风险,因为我们预计这类风险(a)相对而言可能逐渐发展,随着它的发展有机会作出反应;(b)就潜在损害而言不那么极端,特别是不太可能是全球灾难性的风险正如我们所定义的,它比误用或意外;(c)相对于其他风险较少被忽视。但这很容易改变,这取决于我们学到的东西和遇到的机会。
如果人工智能能力的提高相对迅速且出人意料,上述风险可能会被放大,使社会更难预测、准备和适应风险。这种动态可能(虽然不一定)是一个问题,如果结果是一个相对少数的概念上的突破最终被证明具有非常普遍的应用.
如果上面的推理是正确的(我相信大部分推理是有很大争议的,特别是当涉及到我上一篇文章的论点以及事故风险的重要性),我相信这意味着这个原因不仅是重要的,而且是一种离群值就重要性而言,鉴于我们是在预期价值框架下运作,对低概率、高潜在影响的场景感兴趣.2潜在的利害关系将在质量上高于我们已经探索或采取的任何问题美国的政策范畴在某种程度上,我认为这足以弥补“未来20年有10%的可能性与此相关”的折扣。当考虑其他可能的变革发展在美国,我想不出还有什么东西在类似的时间框架内,似乎同样有可能产生类似的变革,同时在可想象的最佳和最坏结果之间呈现出如此巨大的潜在差异。
我之所以关注20年的时间框架,一个原因是我认为,从某种意义上讲,从慈善家的角度来看,这种窗口应该被认为是“紧迫的”。我认为慈善事业非常适合低概率、长期投资。我相信在过去的很多案例中,慈善事业需要很长时间才能获得回报,3.特别是当它的主要增值是支持组织、领域和研究的逐渐发展,这些最终会产生影响。如果我认为在未来20年里,革命性的人工智能的可能性微乎其微,我仍然会认为这一事业非常重要,足以成为一个关注领域对我们来说,但我们不会优先考虑它我们计划今年去.
以上已经重点介绍了潜在的风险的人工智能.除了具有变革性的人工智能之外,还有许多潜在的人工智能开发可能非常重要。例如:
- 自主车辆可能很快就会广泛传播。
- 计算机视觉、音频识别等技术的不断进步可能会极大地改变监视的种类,带来各种各样的潜在影响;机器人技术的进步可能会对未来的战争或警务产生重大影响。无论它们最终是否成为“变革的”,这些都可能是重要的我们的感觉.
- 自动化可能会产生重大的经济影响,即使潜在的人工智能系统在未来不会“革命性”我们的感觉.
我们对这些潜在的事态发展很感兴趣,并认为帮助解决这些问题的可能性是为这一事业分配资源的一个潜在好处。话虽如此,我的曾表达过这样的观点如果正确的话,就意味着这一事业的大部分“重要性”(正如我们所定义的那样)来自于变革性人工智能的巨大高风险可能性。
Neglectedness
近年来,人工智能和潜在风险都受到了越来越多的关注。4我们已经投入了大量的工作,以确保我们对这一领域的研究人员、资助者和关键机构有一个全面的了解。我们稍后将发布一份景观文件,这将在很大程度上与我们去年出版的《风景》.简而言之:
- 围绕人工智能和机器学习的研究是一个实质性的、不断发展的领域,有大量的学术存在,也有大量的企业资助。
- 有卡塔尔世界杯赛程时间表通过追求特定的技术研究议程或强调战略考虑,专注于减少潜在风险。(后者的一个例子是尼克·博斯特罗姆的作品,收藏于人类未来研究所超智)。这些组织大多与有效的利他主义社区。根据我们过去几个月的谈话,我相信其中一些组织有实质性的更多资金空间.在这些机构工作的人和在AI和机器学习的主流研究领域有丰富经验的人之间往往很少有交集。
- 理想情况下,我希望看到人工智能和机器学习领域的顶尖研究人员在思考潜在风险,包括相关的技术挑战方面发挥主导作用。在现状下,我觉得这些领域——从文化和制度上来说——没有提供太多的动力来参与这些问题。虽然对潜在风险有一些兴趣——特别是一些私人实验室已经对这个问题表示了非正式的兴趣,而且许多有实力的学者也申请了生命未来研究所的提案我们去年共同资助的-我相信还有更多的空间。特别是,我认为,与开放的技术问题相比,专注于减少潜在风险的专门技术工作的数量相对较少。
- 我还希望看到更多的机构致力于解决围绕降低风险的战略和政策考虑的关键问题。我特别感兴趣的是将变革性人工智能未来的误用风险降至最低的框架。我希望看到拥有强大政策专业知识的机构考虑到与变革性人工智能相关的不同潜在场景;考虑到政府、公司和个人研究人员在这些情况下应该如何反应;并与人工智能和机器学习研究人员合作,以识别特定场景变得更有可能发生的潜在迹象。我相信,可能有一些近期的问题(比如如何最大限度地减少对先进监视和无人机的滥用)可以作为这种思考的出发点。
- 埃隆·马斯克是未来生命研究所(Future of Life Institute)为期3年的健壮而有益的人工智能资助项目的主要资助者,目前他正把时间和精力(以及大量资金)集中在OpenAI以及降低潜在风险的努力。(OpenAI是一家非营利性的人工智能研究公司。)我们不知道是否有其他类似的大型私人投资方关注先进人工智能的潜在风险。有一些政府资助方对该领域感兴趣,但它们的运作似乎受到了严重的限制。个别捐助方对这一领域感兴趣,但在我们看来,它们的重点是问题的不同方面,而且(或)规模较小。
底线,我认为这一事业被严重忽视尤其是慈善家,我看到了相关领域的重大差距,而慈善家可能会帮助解决这些差距。
温顺
很长一段时间以来,我一直认为这一事业很重要,但却被忽视了,我最大的保留意见就是易受管教。我看到的人工智能作为一种未来的技术——我认为它在未来20年内被开发出来的可能性是很大的,但也有可能是超过100年的时间,即使20年也是相当长的一段时间。想要降低一项遥远的技术带来的风险,而且对它还有很多未知,很容易是徒劳的。
话虽如此,这个原因在这方面并不像它最初看起来那样独特。我相信,慈善事业最适合做的事情之一是,随着领域和机构的发展,提供稳定、长期的支持。这种活动必然是缓慢的。它要求人们愿意支持那些主要基于他们的领导和使命的团体,而不是直接的影响计划,以便为不确定的未来奠定基础。我已经写过这种基本方法在政策工作方面,而且我相信在这方面有足够的先例慈善事业的历史.这是我们对我们的几个其他重点领域2022世界杯欧洲预选赛比分,如移民政策而且宏观经济稳定政策.
我开始相信,今天有一些潜在的有用的工作可以为减轻未来的潜在风险奠定基础。特别是:
6月24日新增:更多关于技术挑战的信息,请参见人工智能安全的具体问题。
我以前很重视一个论点,“到那时的人工智能那么,人工智能的重要方法将与今天的方法截然不同,以至于今天完成的任何技术工作都不太可能具有相关性。”我的观点发生了重大转变,原因有二。首先,如前所述以前在美国,我现在认为,革命性的人工智能在未来20年被开发出来的可能性非常大,而在关注这种高风险的潜在情况时,上述论点的分量大大降低了。其次,在就可能与降低风险相关的开放技术问题进行了更多的对话后,我开始相信,今天有大量的工作值得做,不管革命性的人工智能需要多长时间才能开发出来。
到目前为止,我们遇到的潜在相关挑战包括价值学习(设计AI系统,通过反向强化学习等方式学习其他代理的价值);如何使强化学习系统和其他AI代理不太可能以不受欢迎的方式行事(设计强化学习系统,使其不试图直接控制其奖励,避免产生不合理的深远影响的行为,并在正式指定的奖励和人类设计师指定这些奖励的意图之间的差异上具有健壮性);机器学习技术的可靠性和可用性(包括透明度、可理解性和对输入分布的大变化的鲁棒性或至少检测);深度学习、强化学习和其他AI系统的正式规范和验证;更好地从理论上理解强大的AI系统所需的特性;和各种挑战相关的方法在一个Paul Christiano的一系列博客文章.
这些挑战的细节超出了本文的范围,但为了让非技术读者了解相关的挑战是什么,我将简要阐述其中一个挑战。强化学习系统被设计成学习行为的方式,以最大化从环境中定期收到的定量“奖励”信号——例如,DeepMind雅达利的球员是一个强化学习系统,学习选择控制器输入(它的行为),以最大化游戏得分(这是系统收到的“奖励”),这在许多雅达利游戏中产生了非常好的玩法。然而,如果未来强化学习系统的输入和行为不局限于电子游戏,如果该系统在学习方面足够优秀,那么就可以采用一种新的解决方案:该系统可以通过直接修改其奖励“传感器”来最大化奖励总是报告尽可能多的奖励,尽可能长时间地避免被关闭或修改回来。这种行为是强化学习问题的正式正确解决方案,但它可能不是理想的行为。而且这种行为可能在系统变得相当复杂并能够访问大量真实数据(足以发现并执行此策略)时才会出现,因此系统可能在测试的基础上显得“安全”,但在部署在高风险环境中时却会出现问题。这里的挑战是设计一种不会导致这种行为的强化学习的变体;直观地说,挑战在于设计系统去追求环境中某些只能间接观察到的实际目标,而不是追求该目标的有问题的代理度量(如“可破解的”奖励信号)。
在我看来,解决上述挑战的工作在短期内是可能的,而且在许多方面都是有用的。这些问题的解决方案可能会直接降低未来开发的变革性人工智能系统的事故风险,或者可能成为降低这些风险的技术的垫脚石;对这些问题的研究可以阐明当前系统的理想特性,这些特性同样适用于长期发展的系统;或者,今天在这些问题上的工作可以帮助人们建立一个社区,这些人最终将致力于长期发展带来的风险,这在缺乏具体技术挑战的情况下是很难做到的。
我初步认为,为了减少未来的误用风险,并就战略和政策考虑提供有用的分析,今天还需要做一些有益的工作。
如上所述,我希望看到更多机构致力于考虑与变革性人工智能相关的不同潜在场景;考虑到政府、公司和个人研究人员在这些情况下应该如何反应;并与机器学习研究人员合作,识别特定场景变得更有可能发生的潜在迹象。
我认为在资助这类工作时值得谨慎,因为它有可能适得其反。我目前的印象是,今天政府对AI的监管可能没有帮助,甚至适得其反(例如减缓AI系统的发展,我认为目前AI系统的风险很少,但有显著的好处,和/或推动研究转入地下或海外)。如果我们资助人们思考和讨论滥用风险,我担心他们会有动机尽可能多地吸引人们关注他们所研究的问题,从而增加这种过早/适得其反的监管的风险。
话虽如此,我认为,潜在的风险现在已经得到了足够的重视——不幸的是,在我看来,其中一些被夸大了——政府机构过早的监管和/或干预已经是一种现实的风险。我对支持机构的可能性很感兴趣这些机构可以提供深思熟虑的,可信的,公开的分析是否当政府的监管/干预是可取的,即使这意味着在可预见的未来简单地反对这类事情。我认为这种分析可能会提高讨论和决策的质量,相对于没有它会发生什么。
我还认为,与事故风险相关的技术工作——沿着上面讨论的路线——也可以间接地有助于减少误用风险。目前,在我看来,该领域不同的人对事故风险的严重性和挑战性有着非常不同的直觉。如果事实证明有非常有前途的途径可以降低事故风险——降低到风险看起来不那么严重的程度——这一进展可能会使人们对误用风险的注意力得到有益的重新集中。(相比之下,如果事故风险很大,并带来了巨大的技术挑战,这就使得研究此类风险的工作极具价值。)
其他关于驯养性的注意事项。
- 长期以来,我一直担心很难对技术的未来发展及其影响做出有意义的陈述(即使是概率性的陈述)。然而,我逐渐改变了对这个话题的看法,部分原因是我在私人时间阅读了一些东西。收集和展示关键数据点将是一个挑战,但我希望在今年的某个时候这样做。
- 在短期内,我们的首要目标是支持增加思考如何减少潜在风险的人数,特别是具有强大相关技术背景的人。即使我们支持的具体技术、战略和其他工作证明没有用处,以这种方式帮助支持一个不断增长的领域可能是有用的。话虽如此,我认为如果我们支持的人做的是有益的工作,我们就能最好地实现这一目标。
底线。我认为,在减少先进人工智能的潜在风险方面,当今值得做的工作有多大程度上存在真正的问题。也就是说,如果有更多的人和机构关注相关问题,我认为有相当大的潜力;鉴于这一事业的重要性和被忽视的程度,我认为这足以把它列为优先事项。
一些Open-Phil-specific注意事项
网络
我认为这是一项具有挑战性的事业。我认为在做好事的同时很容易造成伤害。例如:
- 试图提高对潜在风险的关注度可能导致(我认为,在某种程度上已经造成了)媒体对风险的不细致或不准确的描述,这反过来可能增加过早和/或适得其反的监管的风险。此外,提高这种风险(或被认为这样做)可能会反过来导致许多反对这种监管的人工智能和机器学习研究人员对讨论潜在风险的想法产生敌意。
- 在没有领先的人工智能和机器学习研究人员的充分投入和支持的情况下,鼓励特定领域的研究不仅没有成效,而且会适得其反。这可能会导致人们普遍不那么认真地对待以风险为重点的研究。由于顶尖的研究人员往往非常忙碌,从他们那里获得全面的输入本身就具有挑战性。
我认为在这个领域工作的人高度关注这些风险是很重要的。在我看来,实现这一目标的最佳方法之一是尽可能与那些对关键问题思考得最深刻的人保持良好的联系,包括人工智能和机器学习领域的领先研究人员,以及最关注降低长期风险的个人/组织。
我认为,从这个角度来看,“开卡塔尔世界杯小组赛最新赛程出炉放慈善项目”的定位非常好:
- 我们的关系很好有效的利他主义社区,其中包括许多人们和组织他们在分析和提高对先进人工智能潜在风险的认识方面最为积极。例如,丹尼尔·杜威曾在人类未来研究所和生命未来研究所工作,并一直是机器智能研究所的助理研究员。
- 我们在与人工智能和机器学习领域的领先研究人员进行协调方面也处于相当有利的位置。丹尼尔有一些现有的关系,部分原因是他的工作去年生命未来研究所的提案请求.正如前面提到的以前在美国,我们中的一些人还与几位顶级机构的研究人员建立了牢固的关系。我们最近联系了许多顶尖的研究人员来讨论我们的计划,通过我们的网络,它们之间的距离通常只有几个度。
时间与金钱
让我犹豫要不要优先考虑这个问题的一个原因是,我很少看到真正“准备就绪”的给予机会。我将在下一节中列出我们可能的优先事项;我认为这对工作人员来说可能是非常耗时的,我不确定要花多长时间,我们才能看到像其他一些国家那样多的具体捐赠机会2022世界杯欧洲预选赛比分.
默认情况下,我更喜欢优先考虑那些已有的“现成的”机会和最少的必要时间投入的事业,因为我认为开放慈善项目是这样的卡塔尔世界杯小组赛最新赛程出炉在我们发展的这个阶段,相对于资金,能力不足.
然而,我认为这一事业的理由足够令人信服,足以超过这一考虑。我认为,今年对高级职员时间的大量投资可以让我们更好地在未来找到杰出的捐赠机会。
我们的计划
在过去的几个月里,我们专注于:
- 与相关社区的尽可能多的人交谈,特别是AI和机器学习领域的领先研究人员,以获得对我们思维的反馈,加深我们对相关问题的理解,并确保我们与他们有开放的沟通渠道。这些对话中的一些高级注释如下下面.
- 为这个主题制定我们的沟通策略,包括这一系列的博客文章。
- 调查我们所知道的几个潜在的“准备就绪的资助”(我指的是我们可以调查和推荐相对较低的时间投资的资助)。我们将在稍后发布更多相关内容。
- 与几位技术顾问合作,开始了解最重要的具体的、已知的技术挑战是什么。我们的希望是达到能够提供大量资金来支持针对最重要挑战的工作的地步。我们从密切接触开始,并计划从那里开始扩大关于最重要的技术挑战的对话。
- 与密切的技术顾问合作充实关于革命性人工智能可能的时间表的关键考虑.我们期望继续这项工作,希望有越来越多的研究人员参与讨论。
- 就我们应该最关注的滥用风险类型以及最重要的战略和政策考虑进行初步讨论,以便为在这一类别中找到潜在的资助人奠定基础。
- 寻找过去慈善家帮助支持技术领域发展的案例,看看我们能学到什么。
最终,我们期望在以下类别中寻求给予机会:
- 向现有机构和研究人员提供“准备就绪”的资金,专注于减少先进人工智能带来的潜在风险。
- 支持在减少事故风险方面最重要的技术挑战方面的实质性工作。这可以采取资助学术中心、请求提案、召开会议和研讨会以及/或单独研究人员的形式。
- 支持深思熟虑的、细致入微的、独立的分析,寻求帮助为减少潜在风险(包括滥用风险)的关键战略和政策考虑的讨论提供信息。
- “管道建设”:支持项目,如奖学金,可以增加深入了解人工智能和机器学习技术研究的人数,同时也深入了解与潜在风险相关的问题。
- 我们遇到的其他捐赠机会,包括那些与人工智能相关的问题,而不是我们在这篇文章中关注的(一些这样的问题被列出了以上).
要做到这一点可能需要更多的工作和讨论——在内部和更广泛的相关社区。我们可能还需要很长一段时间才能建议在这一领域进行大量捐赠,我认为为这项事业分配大量高级职员的时间将大大加快我们的工作。
我们工作的一些压倒一切的原则
当我们在这个领域工作时,我们认为遵循以下几个核心原则尤为重要:
即使我们专注于降低风险,也不要忽视人工智能的潜在好处
我们的工作聚焦于潜在风险,因为这是人工智能研究中目前最被忽视的方面。然而,如上所述,我认为人工智能在许多方面都有巨大的潜力来改善世界,我预计人工智能进步的结果总的来说是积极的。重要的是要采取相应的行动并进行沟通。
在我们的工作中,深度整合具有强大技术专长的人员
的请提交我们去年共同资助的建议书聘请了一个专家评审小组来挑选受助人。如果是我们自己和非技术人员一起挑选受助人,我们就不会参与了。我们相信,人工智能和机器学习研究人员是最适合进行许多对我们来说很重要的评估的人,比如哪些技术问题似乎是可控的、潜力很大的,哪些研究人员取得了令人印象深刻的成就。
在承诺进行重大奖助金和其他活动之前,要寻求大量的投入,并充分反思
如上所述,我认为这是一个具有挑战性的原因,因为善意的行为很容易造成伤害。我们正在寻求彻底的网络化,并就我们的活动从一系列人那里寻求实质性的建议,包括人工智能和机器学习研究人员,以及专注于降低潜在风险的人。
支持可以在各种方式和各种场景中发挥作用的工作,而不是试图做出精确的预测
我认为,在今天,我们不可能确定什么时候我们应该期待革命性的人工智能,我们应该期待它采取什么形式,以及/或它的后果会是什么。我们倾向于支持那些看起来非常可能有用的工作。特别是,我们的主要目标之一是支持更多的人——特别是具有强大相关技术背景的人——致力于思考如何降低潜在风险。
区分低风险、高风险和高风险的潜在风险
先进的人工智能有许多可以想象的风险。我们的重点可能是那些似乎有最高的赌注,有潜力的点全球灾难性的风险.在我们看来,这意味着涉及变革性人工智能的误用风险和事故风险。我们还考虑忽视性(我们更喜欢在别人不太注意的风险上工作)和可驾驭性(我们更喜欢在那些似乎今天就可以做的有用的工作可以帮助减轻风险的风险上工作)。
关于人工智能和机器学习研究人员对这里讨论的主题的观点的注释
在过去的几个月里,我们一直在接触AI和机器学习研究人员,我们还没有与他们建立牢固的关系,以便讨论我们的计划和背景观点,并获得他们的反馈。我们特别努力寻找怀疑论者和潜在的批评者。到今天为止,我们要求进行35次这方面的对话,已经进行了25次。其中约四分之三的谈话对象是获得终身教职的学者或私人实验室的高级研究人员,其余的谈话对象是顶级AI和机器学习部门和私人实验室的学生或初级研究人员。
我们听到了各种不同的观点。谈话是秘密进行的,而且通常时间有限,所以我们会觉得把特定的观点归咎于特定的人不太舒服。然而,一般来说,我们认为:
- 鉴于我们之前的非正式印象,即许多研究人员对先进人工智能的潜在风险不屑一顾,我们遇到的强烈怀疑论者比我们预期的要少。也就是说,我们与一些高度怀疑的研究人员进行了交谈,而一些我们认为可能高度怀疑的知名研究人员拒绝与我们交谈。
- 与我们交谈过的大多数研究人员似乎都没有花大量时间或精力研究先进人工智能的潜在风险。从某种程度上说,我们采访的大多数人似乎都支持我们在这篇文章中列出的观点和目标(尽管这并不意味着他们会赞同我们所说的一切)。
- 总的来说,这些对话使我们对这个事业的承诺和我们的计划有了稍微积极的更新。我们希望在未来几个月与人工智能和机器学习研究人员进行更多的对话,以加深我们对该领域不同视角的理解。
风险和预订
我认为,像我们这样高度重视这项事业的决定有很大的辩论余地。我已经讨论了我在这篇文章中看到的大部分风险和保留意见。在这里,我将主要的问题列在一个地方。在本节中,我的目标是提供一个风险和保留意见的综合列表,但不一定要对每一个都给出我的全面看法。
- 作为前面讨论的,我指定一个非平凡概率(中等情况下至少10%)鲁棒性,至少1%具有高鲁棒性)对未来20年内革命性AI的发展的影响。我觉得我已经深入思考了这个问题,有了强大的技术顾问,我们也收集了我们所能收集到的信息,尽管我还不能公开分享我的想法中的所有重要输入。我知道我们的信息有限,我的观点很有争议。
- 我看到了一种风险,我们的思维被扭曲在一个“回音室”中,我们关于这个事业的重要性的观点被我们最亲密的技术顾问和有效的利他主义社区。我写以前为什么我不认为这是一个致命的问题,但它仍然是一个问题。
- 到目前为止,媒体对先进人工智能的潜在风险进行了不细致不准确的描述,我不想加剧这种不幸的模式。我认为这可能导致过早和/或适得其反的监管,以及其他问题。我们希望用足够细微的差别来传达我们对这一事业的看法,以增加人们对降低风险的兴趣,而不是让人们认为人工智能是威胁而不是积极的。
- 我认为这个原因是被忽视的是相当强大的,但留下了很多怀疑的余地。特别是,这一事业受到了一些知名人士的关注,多个资金充足的人工智能实验室和许多人工智能研究人员都表示有兴趣尽其所能减少潜在风险。有可能他们最终会追求所有相关的角度,而上面列出的活动将被证明是多余的。
- 我意识到,做出有意义的预测、制定有意义的计划、做有意义的工作来减少相当遥远和不为人知的潜在风险可能是徒劳的。
- 我承认事故风险有多重要是有争议的。预防真正灾难性的事故可能会相对容易,而早期的工作事后看来像是对资源的不当利用。
综上所述,我认为它是重要的是,身处我们这个位置的慈善家要愿意承担重大风险在我看来,优先考虑这一事业是非常值得的。