![](http://www.ppapolamd.com/sites/default/files/styles/medium/public/grants/photo%20MIRI.jpg?itok=iDYYnKuC)
开放慈善卡塔尔世界杯小组赛最新赛程出炉项目建议资助500000美元的机器智能研究所(美里),一个组织做技术研究旨在降低卡塔尔世界杯赛程时间表。我们制作了这个格兰特尽管我们米里强烈的保留意见的研究,根据其他因素详细如下。
我们发现米里的工作尤其难以评估,我们建立了一个相当广泛的审查过程五美里最好的论文(根据米里)/ 2015 - 2016年生产的结果。这些论文/结果都关心美里的”代理基础“研究议程,1一直在米里的主要焦点的研究到目前为止。这个过程包括评论和广泛讨论了我们的技术顾问,同时评估研究主题的相关性降低潜在的风险和所取得进展的步伐主题;我们也委托评论八学者帮助后者的话题。
基于这个审查过程,在我们看来,(i)米里相对有限的进展代理基础研究议程,到目前为止,和(2)本研究议程没有潜在降低潜在风险相比与其他先进的人工智能研究方向,我们会考虑支持。我们认为(ii)尤其是试探性的,和我们的一些顾问认为版本的米里的研究方向有重要的价值,如果有效地追求。根据(i)和(ii),我们选不建议每年拨款150万美元在未来两年内,将关闭米里的资金缺口,并允许它招聘4 - 6额外的全职人员。这个页面不包含的细节美里的我们的评估代理基础研究议程,只有高级外卖。我们打算写更多关于未来的细节和内容合并到这个页面。
尽管我们强烈保留意见我们进行的技术研究,我们觉得推荐500000美元是合适的多种原因,包括以下:
- 我们看到我们的评估米里的研究方向不确定,根据米里是致力于技术研究卡塔尔世界杯赛程时间表多年来,几个人,很难找到人显然合格评估工作。如果米里的研究比目前更高的潜在似乎我们,可能会有巨大的价值支持米里,尤其是少画的传统资金来源很可能比大多数其他类型的研究我们可以支持。我们认为这种说法是尤其重要的事实,我们认为从先进的人工智能是一个潜在的风险出色的事业,有几个人或组织工作全职。
- 我们相信资金米里可能增加的供应从先进的人工智能技术人员感兴趣的潜在风险和问题的多样性和方法被研究人员。
- 我们看到了一种可能性,米里的研究可以提高在不久的将来,特别是因为一些研究人员正在追求更多的机器成以学习、反思为重点的研究议程。2
- 我们相信,美里有积极作用(独立于其技术研究)在过去,我们很难预测,并很有可能在未来再次这样做。例如,我们相信米里是最早来表达卡塔尔世界杯赛程时间表详细。
- 米里构成一个相对“蓄势待发”机会,支持从先进的人工智能研究潜在的风险,因为它是特别关注的问题,更多的资金。
- 有很多其他因素。资深员工特别是美里花了大量的时间参加我们的审查过程,我们觉得在这个背景下“参与”是必要的。(这个推理只是我们的思维的一部分,不会证明授予的全部金额;然而,请注意,我们相信美里花了几倍的能力在我们处理非营利组织通常做当他们收到参与资助从GiveWell)。此外,当我们增加参与的面积潜在的风险从先进的人工智能,我们希望寻求更多的时间从米里的员工。
极有可能在明年我们将更新这个格兰特。
使用“我们”的判断和决定语言在这个页面主要参考的意见尼克Beckstead(科研)项目官员丹尼尔·杜威(项目官员,潜在风险从先进的人工智能),和霍尔顿Karnofsky(执行董事)。
1。的背景和过程
这授予属于我们的工作卡塔尔世界杯赛程时间表我们的重点领域之一,在全球2022世界杯欧洲预选赛比分灾难性风险。我们写了更多关于这项事业在我们的博客。
1.1组织
机器智能研究所(米里)是一个非营利组织致力于计算机科学和数学的研究旨在降低潜在风险从先进的人工智能。
米里成立于2000年作为人工智能的奇点研究所(SIAI)的使命是“帮助人类准备的时候机器智能超过人类智能。“我们的理解是,几年来SIAI主要是集中在表达和沟通问题,人工智能安全,通过编写公共内容,影响知识分子,和举办奇点峰会。3SIAI, 2013年更名为美里,其重点转向进行技术研究,追求高度理论”代理基础“研究议程。42016年5月,美里宣布5它是追求机器学习研究议程6与原来的议程。
卡塔尔世界杯小组赛最新赛程出炉开放慈善项目员工一直从事非正式的对话与美里许多年了。这些谈话导致我们的决定从先进的人工智能研究潜在的风险,最终使我们的一个重点领域。2022世界杯欧洲预选赛比分为更多的细节在这些早期的对话,请参考我们浅调查。
我们认为美里的一部分“有效的利他主义”社区。它不是一个主流学术界的一部分。因为米里的研究重点是不同寻常的,它的工作并不总是属于任何特定学术领域,有相对较少的人我们感到明显有正确的上下文来评估其技术研究。由于这个原因,我们和其他人7在有效的利他主义社区发现很难评估米里的影响。
1.2我们的调查过程
科学研究项目官员,尼克Beckstead主调查员格兰特。项目官员丹尼尔·杜威从先进的人工智能,潜在风险也做了大量的调查对于这个格兰特,尤其是在米里的质量评估的研究议程。
我们试图评估米里的研究主要通过个人技术论文的详细审查。美里给我们五个文件/结果它从过去18个月特别值得注意的是:
- Benya Fallenstein和拉·库马尔。2015。“假日Proof-Producing反射:应用程序模型多态性。”在交互式定理证明:第六届国际会议,2015年ITP,南京,中国,8月24日,2015年,诉讼。不可靠的人。8
- 瓦迪姆Kosoy》2015。“最优预测:贝叶斯近似算法的概念。“未发表的草案。
- 斯科特•Garrabrant Benya Fallenstein、亚伯兰Demski和内特Soares》2016。“归纳相干。”arXiv: 1604.05288 (cs.AI)。先前发表的“统一的一致性。”9
- 斯科特•Garrabrant内特苏亚雷斯,杰西卡·泰勒。2016。“渐近收敛在在线学习无限延迟。”arXiv: 1604.05280 (cs.LG)。10
- 2016年。未发表的结果“逻辑感应。”
论文1、3和4是已完成的工程,纸2未发表的作品在进步,结果5是一个未发表的结果,提出了。这个选择有点偏见的新员工,在我们的要求;我们认为这将使我们能够更好地评估新员工边际是否会做出有价值的贡献。此外,旧的工作可能包括米里和保罗global之间的协作,我们的技术顾问之一,我们想最小化任何混乱或可能造成的利益冲突。
所有论文/结果归入一个类别米里调用“高度可靠的代理设计”。四人关心“逻辑不确定性”——分配的挑战“合理”的主观概率逻辑语句太计算昂贵的正式确认。一个是关心“反射推理”——设计一个计算机系统,可以理性的挑战“可靠”类似或相同计算自己的计算。
论文1 - 4都详细介绍了由两个四个技术顾问(Christopher Olah保罗global雅各布•斯坦哈特和达里奥Amodei)。我们也委托七计算机科学教授和一个研究生和相关专业知识作为审稿人。综述了论文2、3和4两个审稿人,而纸1由一个外部审查员审查,因为它特别难找一个合适的背景来评估它。结果5没有收到外部审查结果因为没有写,当时我们是委托外部评审,美里要求我们结果保密。然而,结果是呈现给丹尼尔·杜威和保罗•global和他们写评论的结果。米里现在公开讨论的结果,尽管它尚未发布完成论文。
我们出版的所有外部评审工作(论文1,3,4),虽然评论家的名字保持匿名。上面的四个技术顾问叫,三款提供许可发布匿名评论的发布工作。一个合并文档,其中包含所有公共评论可以找到在这里。
除了这些技术评审,丹尼尔·杜威独立花了大约100小时试图理解米里的研究议程,特别是其相关的目标创造更安全、更可靠的先进的人工智能。他有许多与米里员工作为这个过程的一部分。
一旦所有的评论进行了,尼克,丹尼尔,霍尔顿,我们的技术顾问举行了为期一天的会议来讨论他们的印象米里的质量和相关性的研究。
除了米里的研究综述,尼克Beckstead米里员工谈到米里的管理实践,人员配备和预算需求。
2。我们的美里的印象代理基础研究
当我们没有信心我们完全理解米里的研究,我们目前有印象,(i)米里相对有限的进展代理基础研究议程,到目前为止,和(2)本研究议程限制了潜在降低潜在风险相比与其他先进的人工智能研究方向,我们会考虑支持。我们认为(ii)尤其是试探性的,和我们的一些顾问认为版本的米里的研究方向有重要的价值,如果有效地追求。这个页面不总结我们的推理的细节点(i)和(ii)或我们的推理的细节在下面列出的两个问题。我们打算写更多关于未来的并将它添加到这个页面。
通过技术审查和随后的讨论中,我们试图回答两个关键问题对米里的研究:
2.1如何米里的相关代理基础研究议程?
我们的技术顾问通常不相信在米里的解决问题代理基础研究议程11从先进的人工智能将是至关重要的减少潜在的风险。有些人觉得这可能是有益的解决这些问题,但它很难取得进展。有一个强大的共识,这工作是特别的情况下不太可能有用变革人工智能开发在未来20年内通过深度学习的方法。我们没有彻底审查米里第二,机器成以学习、反思为重点的研究议程,因为很少的时候我们的调查工作已经完成。
2.2已米里取得多少进展代理基础议程?
总的来说,内部和外部审查员认为技术审查工作是重要的,但出众。(论文1,Fallenstein Kumar 2015年,是一个值得注意的例外。论文的审稿人建议在技术上令人印象深刻的工作数量相对有限的计算机科学家将能够做的。纸2收到非常褒贬不一。)注意米里提前预测,内部和外部的评论员相对不太可能对他们的工作没有更多的比评论家来回的时间,这可能会这样美里是否已经取得了实质性的进展。我们没有看到一个令人信服的替代方式解决问题除了其他方法我们已经追求,比如在长度和米里的下属和其他研究人员关心的是人工智能安全。米里的提前预测评审过程可以发现在这里,12连同审查米里的言论是起草完成后我们的决策过程。
我们询问了我们的技术顾问,以帮助我们了解整体总生产力由这些论文。总结我们这次谈话的印象的方法之一是总回顾了输出与输出,可能是一个聪明但的预期无人管理的研究生在1 - 3年。我们的技术顾问觉得监督和非监督工作的区别是特别重要的在这种情况下,指导研究生,将更多的生产时间。
3所示。关于授予
3.1预算和更多的资金
米里运营预算大约每年200万美元。我们的调查的时候,2.4美元和260万美元的储备。美里的费用是165万美元,2015年,而其收入略低,为160万美元。-200万年预计2016年费用1.8美元。米里将获得1.6的-200万年营收为2016美元,不包括我们的支持。
内特·苏亚雷斯米里的执行董事,表示,如果美里能够操作3 - 4美元的预算每年百万,拥有两年的储备,他不会花额外的时间在筹款。这种规模的预算将支付9个核心研究人员,4 - 8支持研究人员和工作人员的操作、筹款和安全性。
任何额外的钱米里接收超出这一水平的资金将投入开放技术问题在人工智能安全奖。米里已经告诉我们他们愿意将500万美元这样的奖项。
3.2例
如果我们决定追求美里的最大增长,我们会建议每年拨款约150万美元,并可能已承诺两年的支持。我们决定对这个选项主要是因为米里的强烈的保留意见代理基础研究(见以上)。尽管如此,我们觉得比推荐更合适的推荐500000美元没有格兰特,原因如下:
3.2.1之上我们的技术不确定性评估
我们看到我们的评估米里的研究方向不确定,根据米里是致力于技术研究卡塔尔世界杯赛程时间表多年来,几个人,很难找到人显然合格评估工作。我们注意到在我们的技术顾问,保罗global一直思考最长的相关主题,他往往是最乐观的美里的工作。他相对乐观可能来自有一个更深的理解的价值定位问题,并更好地理解如何米里的工作可以解决这个问题。
如果米里的研究比目前更高的潜在似乎我们,可能会有巨大的价值支持米里,尤其是少画的传统资金来源很可能比大多数其他类型的研究我们可以支持。我们认为这种说法是尤其重要的事实,我们认为从先进的人工智能是一个潜在的风险出色的事业,有几个人或组织工作全职。
我们预计,在未来几年,美里将有更多的机会为其研究的价值,和一般兴趣相关的研究将增长。我们不太可能继续更新支持美里2 - 3年后如果我们没有看到一个强大的情况下,其研究是有价值的。
3.2.2增加供应和多样性的研究
总而言之,在我们看来,支持美里将增加总供给的技术研究人员非常周到AI的安全实现,尽管通常不画这些人员远离机构(我们猜)安全研究人员可能会有更大的积极影响,如人工智能实验室。(还有待在这些实验室安全工作将产生。前面的评论主要是基于我们和我们的技术顾问的直觉,它似乎是最有前途的安全研究与前沿紧密耦合功能研究。)我们发现它很有价值的增加总供给的研究,因为我们相信从先进的人工智能技术研究潜在风险可能是最重要的和被忽视的原因我们都知道。
我们相信米里的方法和推理是极不寻常的相比,在其他AI-safety-relevant工作展出。具体来说,米里罢工我们分配异常高概率的灾难性事故和对实现健壮的困难是悲观和通用安全措施。我们相信这可能是有益的对某些人在该领域集中在理解方面标准的方法可能会出错,这可能是米里是特别适合做的事情。一般来说,似乎有价值的促进这种知识领域的多样性。
3.2.3改进潜力
米里的研究项目仍然是相当新的,因为它只转移到做全职技术研究,2013年,大部分的研究人员最近有些员工。米里感觉最近的结果(未发表的结果5)比老年人更令人印象深刻的工作,但在这一点上我们会有大量的不确定性,直到工作已经写了,我们有机会回顾更彻底。
2016年5月,美里宣布13它会分裂研究计划,仍有相当一部分时间花在安全系统的设计是从现在的机器学习方法。在这方面我们不确定会发生什么。米里可能更少的比较优势在重叠的工作更多的与标准机器学习研究。然而,有可能我们会评估研究下面这个新议程更积极研究后代理基础议程。
虽然我们没有看到一个强大的理由米里的相关性和技术美学的现有研究,这一论点可能会在未来几年。如果发生这种情况,我们可能会增加对米里的支持。
第3.2.4早期关节的价值定位的问题
我们认为,美里扮演了重要的角色在宣传和加强卡塔尔世界杯赛程时间表。这个问题是在介绍米里的描述代理基础技术议程。14我们知道米里写这个问题公开、深入早在2001年,当时我们认为从别人很少收到了大量的关注。虽然美里并不是第一个从先进的人工智能,讨论潜在的风险15我们相信这是一个相对较早,著名的启动子,而且通常更详细地谈到具体问题如对齐问题比价值更长期的支持者。
有一个普遍的共识我们的技术顾问和格兰特决策者米里应该得到一些支持识别这些贡献。
3.2.5其他的考虑
- 米里的启发,帮助,和/或其他一些研究人员和孵化有效的利他主义者似乎我们做有用的工作。此外,我们的两个的受让人,应用中心的合理性和SPARC从米里,收到大量的初步支持。当考虑这些贡献,以及米里的早期清晰度的价值对齐的问题,我们认为有一个案例,米里进一步将产生积极的影响,是很难预测的。
- 米里似乎特别有效的统一我们的价值观,特别是对有效的利他主义。
- 米里构成一个相对“蓄势待发”机会,支持从先进的人工智能研究潜在的风险,因为它是特别关注的问题,更多的资金。
- 米里资深工作人员花了大量的时间参加我们的审查过程,我们觉得在这个背景下“参与”是必要的。(这个推理只是我们的思维的一部分,不会证明授予的全部金额;然而,请注意,我们相信美里花了几倍的能力在我们处理非营利组织通常做当他们收到参与资助从GiveWell)。
- 当我们增加参与的面积卡塔尔世界杯赛程时间表,我们希望寻求更多的时间从米里员工,都得到陷阱的建议我们可以不考虑,分享和解决我们的一些问题对其活动(见下一节)。
3.3风险和预订
- 虽然我们列出多个点的米里,米里的核心是它的技术研究工作。我们仍不相信这项工作的价值,尽管把大量的精力试图去理解它。对我们来说这是一个主要的预订。
- 我们不相信,美里将增加价值追求其新,机器成以学习、反思为重点的研究方向。它可能更少的比较优势在重叠的工作更多的与标准机器学习研究。
- 我们相信,美里经常沟通相对特殊,非外交方面,这可能会导致问题。我们相信米里传达了value-alignment问题的方式往往导致主流人工智能研究人员更不屑一顾,或者不愿工作从先进的人工智能技术研究,以减少潜在的风险,由于害怕被米里及其相关的想法。我们也觉得不专业行为的实例米里员工也提出类似的风险。我们看到潜在的沿着这些思路在未来更多的负面影响。
- 我们担心美里只有有限的参与主流学术界,特别是很少与机器学习实践经验,除了一个新职员(杰西卡·泰勒)。我们发现这个问题,因为我们的直觉从先进的人工智能研究潜在的风险可能是最有效的,当与尖端的机器学习研究紧密耦合。
3.4的尺寸
我们很难决定授予规模。的观点都支持和反对米里的贡献,我们觉得一个案例可以为任何图每年0和150万美元之间(后者,米里不再优先筹款和将扩大核心员工尽可能快,正如上面所讨论的)。我们最终选定了一个图,我们感觉很准确的信号对米里的态度。我们觉得每年500000美元是一致的在美里看到实质性的价值虽然不支持它的会议全部资金需求。这个数量是类似于我们希望推荐高端(尽管不是这个顶级)学术的受让人在未来在这个领域。注意,这并不意味着我们相信米里的研究的价值仅相当于高端领域的学者;我们认为,美里的其他积极的影响详细的高于大大有助于其整体价值。
4所示。后续的计划
到目前为止,有一种强烈的机会,明年我们将更新这个格兰特。我们相信,我们的大多数重要的开放问题和关切是最好的评估在较长时间内,我们认为,经常性的支持将有助于米里规划未来。
两年后,我们可能会做更深入的评估。为了更新格兰特在这一点上,我们可能会需要看到更强,容易判断的相关性的研究我们以上讨论,和/或令人印象深刻的结果更新,机器成以学习、反思为重点的议程,和/或新的积极的影响以及一些其他维度。
5。来源
文档 | 源 |
---|---|
应用理性中心主页 | 源(存档) |
有效的利他主义论坛,“让我们进行调查的质量米里的实现” | 源(存档) |
Fallenstein & Kumar 2015 | 源(存档) |
Garrabrant et al . 2016 | 源(存档) |
Garrabrant et al . 2016 b | 源(存档) |
米里技术研究议程 | 源(存档) |
美里,“一个新的米里与机器学习焦点”研究项目 | 源(存档) |
美里,“我们过去和潜在影响评估” | 源(存档) |
米里,评论开放慈善的评论卡塔尔世界杯小组赛最新赛程出炉 | 源(存档) |
米里,奇点峰会 | 源(存档) |
卡塔尔世界杯小组赛最新赛程出炉开放慈善项目,匿名评论三个最近的论文从米里的经纪人基础研究议程 | 源 |
SPARC主页 | 源(存档) |
泰勒et al . 2016 | 源(存档) |