注:在开放慈善项目博客启动之前,这篇文章出现在卡塔尔世界杯小组赛最新赛程出炉GiveWell博客.在下面的文章中使用“我们”和“我们的”可能指的是开放慈善项目或GiveWell作为一个组织。卡塔尔世界杯小组赛最新赛程出炉更多评论可在最初的发布.
这篇文章充分利用了我们的最近更新在我们对政策性慈善的调查中,包括使用了很多相同的语言。
作为我们研究的一部分卡塔尔世界杯小组赛最新赛程出炉开放慈善项目在美国,我们一直在探索参与改善潜力努力的可能性全球灾难性风险我们指的是那些足以将人类长期发展轨迹向不利方向改变的风险(例如,从全球生活水平提高的急剧放缓到工业文明的终结或人类灭绝)。此类风险的例子可能包括一颗巨大的小行星撞击地球、比预期更严重的气候变化后果,或来自一项新技术的威胁,如工程病原体。
在我们的2014年度计划,我们设定了一个扩大目标,使充实承诺的原因在全球灾难性风险的范围内。我们仍然希望决定是否在这一领域作出承诺,如果是这样,又将根据这一时间表作出承诺。在这一点上,我们至少对我们认为最好的候选人进行了一些调查,我们认为这是一个很好的时机来制定我们可能如何在他们之间做出选择(尽管我们还有大量的调查工作要做)。这篇文章列出了我们目前对我们认为最值得为之努力的gcr的想法卡塔尔世界杯小组赛最新赛程出炉开放慈善项目.
为什么会有全球灾难性风险?
我们认为,全球灾难性风险有几个特点,使它们在概念上很适合全球人道主义慈善家关注。这些数据很好地映射了我们选择原因的两个标准,尽管gcr在第三个标准上表现相对较差:
- 重要性.根据定义,如果全球灾难发生,其影响将是毁灭性的。然而,大多数自然gcr似乎不太可能发生,因此自然gcr的年预期死亡率很低(例如,也许是成百上千;更多的是自然和人为gcr之间的区别下面).gcr的潜在重要性既来自于更有可能造成毁灭性影响的新技术威胁,也来自于考虑到一场低概率灾难的非常长期的影响:根据人们赋予潜在后代的道德权重,gcr的预期伤害(甚至是非常不可能的)可能相对于其他问题相当高。
- 抚慰.由于普遍认为gcr的可能性很小,许多其他通常致力于防范风险的社会代理(如保险公司、富裕国家的政府)似乎不太关注gcr。这并不一定令人惊讶,因为避免gcr的许多好处似乎都是由后代获得的,而后代无法让当代机构承担责任,而且就它们积累到这代人的程度而言,它们分布得非常广泛,没有明确的集中选民有动机优先考虑它们。在避免gcr方面的投资可能需要很长的时间范围,这似乎也使它们成为慈善事业的一个很好的概念,正如GiveWell董事会成员Rob Reich所言认为美国在制度上不同寻常地适合于长期视野。这就更加引人注目了,除了气候变化这个关键的例外,大多数潜在的全球灾难性风险似乎很少或根本没有得到慈善机构的关注(尽管有些风险得到了政府的大力支持)。社会对gcr的整体缺乏关注并不是必然的,但它表明,如果gcr真的值得关注,一个旨在解决它们的新慈善家可能会遇到一些唾手可得的果实。
- 温顺.gcr的非常低的频率表明,处理可能是一个挑战。人类几乎没有处理此类威胁的经验,而且第一次处理好这些威胁可能很重要,但这似乎很困难。一个慈善家可能很难知道他们是否在降低风险方面发挥了作用。
我们对整个gcr的初步结论是,在重要性和拥挤性标准上的强表现的平衡超过了低预期的可处理性,但我们愿意在对看起来特别有前途的gcr进行更深入的探索的基础上,修正这一观点。
我们做了什么来调查gcr
我们发表了关于这两方面的浅层调查GCRs一般以及各种特定的(潜在的)gcr:
我们还将对人工智能的潜在风险进行调查,并委托前GiveWell员工尼克·贝克斯特德(Nick Beckstead)进行调查对改善避难所以增加从全球灾难中恢复的可能性的努力的浅层调查.我们仍然希望对纳米技术、合成生物治理(更多地针对生态威胁而不是生物安全)和新兴技术治理领域进行浅层调查,尽管我们可能不会在优先考虑gcr内部的原因之前这样做。
在浅层之外,我们对……做了更深入的调查地球工程研究而且继续我们对生物安全的调查通过一些额外的对话.
我们的调查远远不够全面;我们会优先考虑那些我们有一些理由认为特别有前途的事业,通常是因为我们怀疑其他慈善家对这些事业的人道主义重要性相对缺乏兴趣,或者是因为我们在我们的网络中遇到了某个特定的想法。
我们还尝试与那些对全球灾难性风险有较广泛和相对思考的人进行对话。据我们所知,大多数这样的人往往与有效的利他主义者社区(我们与他们有紧密的联系,他们往往对gcr有浓厚的兴趣)。我们与这些人的许多交谈都是非正式的,但我们可以从交谈中获得公开的笔记人类未来研究所的研究员卡尔·舒尔曼说,塞斯·鲍姆,全球灾难风险研究所的执行主任.
我们认为有希望的一般模式
以下两点是我们思考的主要依据:
经过大量的浅层调查,我们初步得出结论,“自然”(即非人为)gcr似乎比“人为”(即人为)gcr的威胁更小。我们研究过的具体例子和一个普遍的论点都指向同一个方向。
更担心人为gcr的一般论点如下。人类物种相当古老(晚期智人被认为是在几十万年前进化而来的),给了我们先天的有理由相信我们不面临高背景灭绝风险:如果我们每10000年有10%的概率灭绝,我们不可能活这么久(0.9^30 = ~4%)。请注意,人类的偏见可以使这种推理变得可疑,但这种推理似乎也很好地映射了关于不同潜在gcr的可用数据,如下所述(即,我们没有观察到可能导致人类灭绝的自然风险)。与“自然”风险相比,人为风险给我们带来了潜在的前所未有的局面,对此历史无法提供足够的指导。原子武器和生物技术只有几十年的历史,一些最危险的技术可能是那些还不存在的技术。话虽如此,由于现代世界历史上高度的相互联系和对特定基础设施的依赖,一些“自然”风险可能会给我们带来一些前所未有的情况。
关于各种“天然”gcr的具体情况:
- 近地小行星.美国国家研究委员会2010年的一份报告估计,与据信导致恐龙灭绝的撞击和一场“可能的全球灾难”同样大的撞击发生的背景年概率分别为1亿分之一和70万分之一(PDF, 19页)。美国国家航空航天局报告它跟踪了93%的近地小行星,这些小行星大到足以造成“可能的全球灾难”,所有这些小行星都与据信导致恐龙灭绝的小行星一样大(而且它们在未来几个世纪都不会撞击地球),这表明在下个世纪(很可能更低)发生“可能的全球灾难”的可能性仍在10万分之一左右。彗星可能还有一个类似的剩余风险——瓦茨拉夫·斯米尔彗星索赔“在未来50年里,地球灾难性地遭遇彗星的概率可能不到0.001%”,这与剩余的小行星风险差不多——但我们的理解是,彗星要更难探测到。由于美国宇航局和B612基金会在美国,这个原因看起来也比其他原因更“拥挤”,尽管看起来也更容易处理。
- 大型火山喷发.对于足以算作全球灾难性风险的火山爆发频率的估计存在差异几个数量级但我们目前的理解是,足以导致农作物严重歉收的火山爆发的频率可能不会超过1万分之1年,而且可能要低得多(这意味着下个世纪发生这样的火山爆发的几率小于1%)。大型火山喷发可能比小行星撞击更令人担忧,但这种原因的处理能力相对较差,因为我们预测火山爆发的能力是有限的,目前我们还没有能力阻止火山爆发.
- 抗生素耐药性.目前,微生物对抗生素产生耐药性的速度比新抗生素的研发速度更快,这对公共卫生构成了日益严重的威胁。然而,抗生素耐药性不太可能对人类文明构成威胁,因为人类直到1940年都没有使用抗生素,包括在防治传染病取得最大进展的时期.我们还期望其他行为体努力解决抗生素耐药性问题,因为它继续成为一个更加紧迫的公共卫生问题。(详见我们的文章。)
- 地磁风暴.地磁暴的主要威胁是可能危及一些大型电力基础设施,但其风险还没有被充分理解。他是一名顾问,对许多已出版的关于这个主题的报告作出了贡献认为最坏的情况是,1/200年的风暴可能导致“长达数年的全球停电”,但其他消息来源对此不太担心。建模一个~200年的风暴的影响作为一个风险大约10%的美国人会停电2周到2年)。
我们没有各种原因综合起来的精确数字,但我们的印象是气候变化是一个美国慈善资方每年花费数亿美元的领域,而解决核安全问题的慈善基金似乎有数千万美元.
我们不知道其他任何一个gcr的慈善基金每年超过个位数数百万美元。
主要焦点领域竞争者
下面描述的主要竞争者是最明显的危险和潜在的前所未有的gcr(对我们来说,似乎比上面列出的“自然”gcr更令人担忧,尽管这样的比较必然是一种判断)。与此同时,至少在慈善关注方面,所有这些项目似乎都有有限的“拥挤”,不像核安全(也不像大多数气候变化领域,尽管下面描述的一个项目与气候变化有关)。他们讨论的顺序是,如果我今天必须选择的话,我会选择其中的一个,尽管我们还没有决定我们希望在今年年底承诺多少,其他GiveWell的员工可能不同意。虽然这些是我会选择的gcr,如果我今天选择,我们没有很高的信心,它们代表正确的集合。我们希望在年底得出结论之前解决一些问题(下文将讨论)。
所谓生物安全,我们指的是围绕大流行病、生物恐怖主义、生物武器和生物技术研究的一系列问题,这些问题可能被用来造成巨大的伤害(“双重用途研究”)。我们的理解自然大流行(尤其是流感大流行)可能是目前最大的威胁,但新生物技术的发展可能会导致中期或长期更大的风险。我们认为这个GCR具有很强的“重要性”的理由,因为它似乎结合了相对可信的、可能的当前威胁和在一个相当连贯的项目领域中更多投机性的潜在长期威胁。这一领域受到了美国政府(2012年有50亿美元的资金)但来自基金会的信息很少:斯科尔全球威胁基金是我们所知的目前唯一一个参与这一领域的美国基金会,在一个相对较低的水平,尽管斯隆基金会过去也有这个领域的一个项目.(我们认为,政府和慈善基金之间的区别至少是有潜在意义的,因为这两种类型的参与者有不同的激励和约束;特别是,慈善基金可能会影响更多的政府资金。)虽然我们不确定哪些活动最适合慈善家来支持,但我们采访的许多人都认为目前的准备不足新的慈善资助者还有很大的空间。
虽然我们有一些额外的对话自从完成我们的浅的调查在美国,我们仍然认为慈善家应该在这个广泛的问题中资助什么是一个开放的问题。我们希望通过更深入的调查和宣布有意资助.
地球工程研究与治理
我们看到地球工程研究和治理工作的重要性有两个方面:
- 气候变化结果会比预期的更糟吗,如果确实如此,太阳能地球工程可能会提供一种廉价(仅从财务角度而言,而不一定是成本效益方面)和快速反应.因此,进一步的研究可以确定太阳能地球工程的可行性很有价值的.然而,我们的理解是,地球工程如果有效,将远远低于现在的减排政策,一些人认为,地球工程的研究可能会破坏当前的减排努力,从而导致进一步的研究潜在的有害的。
- 不同国家采用太阳能地球工程的动机可能会有很大不同,而且它可能足够便宜,即使是小国也可以单方面这么做,可能导致冲突.太阳能地球工程是否以及如何管理的问题也因此变得越来越突出。
虽然太阳能地球工程时常见报,关于科学或治理的研究似乎得到的专门资助相对较少:我们的粗略调查发现,每年大约有1000万美元可确认的来自世界各地的支持(大部分来自政府来源),我们还没有发现该领域有任何机构的慈善承诺(尽管比尔·盖茨个人支持该领域的一些研究)。
我们的谈话让我们相信进行地球工程研究有重大的科学利益,而资金是一个障碍,但是,就像生物安全一样,我们没有非常详细的意识到我们可能会资助什么。我们担心,进一步的地球工程研究可能会在概念上削弱对减排的支持,但我们认为这相对不太可能,而且也觉得这是有道理的进一步的研究可以对治理工作作出重大贡献.
我们希望通过更深入的调查和调查来解决一个慈善家在这个领域能支持什么问题宣布有意资助.请注意,我们并没有设想自己在努力鼓励地球工程,而是试图为它获得更好的信息和治理结构,这可能会使实际使用更多或不太可能(考虑到气候变化和地球工程的高潜在风险,我们可以想象,无论朝哪个方向改变概率——取决于更多的探索性工作的结果——都可能带来很大的好处)。
人工智能的潜在风险
我们对这两种原因的调查比对上述两种原因的调查要早,而且还没有产生一份书面记录。对于这个原因有多大可能成为优先事项,内部存在分歧;我不认为它应该超过其他一些没有在这里深入讨论的竞争者。
简而言之,未来几十年似乎有可能看到人工智能的重大进步,甚至可能达到机器在许多或几乎所有智力领域超过人类的程度,尽管很难或不可能对这一领域做出自信的预测。这种情况可能带来巨大的潜在利益,但也可能带来重大的危险(例如,技术失业、事故、犯罪、极其强大的自主代理人)。的大多数学术人工智能研究人员似乎不认为强大的自主代理的快速发展是一个实质性的风险,但相信有一些潜在的风险值得现在准备(如在关键系统的事故或人工智能犯罪;看到幻灯片-).然而,有些人,包括机器智能研究所而且计算机科学家斯图亚特·罗素他认为,随着强大的人工智能的快速发展,今天应该做一些重要的事情,以大幅改善与之相关的社会结果。
总的来说,我倾向于听从专家的意见,但我认为这一领域可能有潜力成为慈善事业,部分原因是我还没有看到可信的人工智能研究人员进行严格的公开评估,以支持人们对强大的自主代理的快速发展所带来的风险(看似普遍)缺乏担忧。这个话题似乎还在酝酿中越来越多有资历的人关注在美国,支持这样的公开评估似乎是有价值的,即使结论是大多数研究人员不担心是正确的。事实上,相当一部分主流人工智能研究人员似乎也认为,人工智能发展过程中更传统的风险(如事故、犯罪)值得在近期内解决,这增加了我对该领域的兴趣,尽管不是很多,因为我不认为这些问题是gcr,而强大的自主代理的快速发展可能是其中之一。如果我们决定进一步研究这一领域,我猜它的资金水平将低于上述其他潜在优先领域。
霍尔顿注:我目前认为这个事业比亚历山大更有前途,在相当大的程度上。我同意,有一些理由,包括专家的多数意见,认为今天值得做的准备工作很少;然而,我认为这一领域的风险足够大,即使产生影响的可能性相对较低。我希望看到资源充足的全职工作——有主流计算机科学家的大量投入——来思考为人工智能的重大发展可以做哪些准备,我的看法是,目前符合这一描述的工作还不存在。我们目前正在努力了解,这种看似缺乏行动的情况,是来自于“有理由相信现在不需要采取行动”,还是来自于“尽管有合理的可能性,现在采取行动会有所帮助,但仍然缺乏行动”。我目前的猜测是后者,如果是这样,我希望把这个事业作为优先事项。
我们将来会写更多关于这个主题的文章。
为什么这三个风险如此突出
一般来说,上述原因(地球工程、生物安全和潜在的(有待进一步调查)人工智能)对我们来说似乎有:
- 相对于我们所研究的其他风险,更有可能造成最极端的直接伤害(极端到可能对人类文明的长期轨迹造成重大改变),除了核武器(一个我们认为比这三个领域更“拥挤”的领域)。
- 很难量化,但在未来50-100年发生这种极端伤害的风险可能相当高(1%以上)。
- 很少有慈善关注。
我们的猜测是,经过充分的调查,大多数其他候选风险似乎比我们的至少一个最佳候选风险更不值得研究——因为它们的潜在危害更小,更不容易处理,或更拥挤,而在其他方面大致相同。也就是说,(a)人工智能的具体评估仍在进行中,我们内部对此没有达成一致,如上所述;(二)我们对工作评估信心不足,计划就现时的工作重点进行更多调查,并寻求更多批判性意见。
进一步研究的课题
虽然我目前认为上面讨论的三个潜在的GCR是GCR重点领域的主要竞争者,但在做出承诺之前,我们想要回答一些问题。2022世界杯欧洲预选赛比分
我们的浅层调查产生了一些后续问题,我们希望在确定原因之前解决这些问题:
- 我们目前的理解是,大型火山爆发目前既不可预测,也不可预防,这使得这一原因显然相当棘手。进一步的研究可以在多大程度上帮助弥补这些缺点,慈善家是否可以通过其他方式帮助解决大型火山喷发的风险?
- 彗星带来的风险与未追踪的近地小行星带来的剩余风险相比如何?我们的理解是,这些风险可能比造成类似伤害的火山爆发风险低一个或两个数量级,但我们不确定它们在可处理性方面如何比较。对于来自彗星的潜在风险,我们能做些什么?
- 现有的对地磁暴潜在危害的估计有多可信?特别是,专家如何评估罕见的地磁事件对电网的风险?电力公司对地磁暴准备得如何?
- 目前在努力提高核安全方面是否存在重大资金缺口?
另外,我们还希望进行浅的调查纳米技术、合成生物治理(更多地针对生态威胁而不是生物安全),以及新兴技术治理作为一个整体,我们认为这些领域可能与一些被称为潜在重点领域的风险具有潜在的竞争力。2022世界杯欧洲预选赛比分