注意:开放的慈善项目卡塔尔世界杯小组赛最新赛程出炉原名GiveWell实验室。发射前的开放慈善项目的博客,这篇文章出现在卡塔尔世界杯小组赛最新赛程出炉GiveWell博客。使用“我们”和“我们”在以下文章中可能指开放慈善项目或GiveWell作为一个组织。卡塔尔世界杯小组赛最新赛程出炉额外的评论可能是可用的最初的发布。
我们以前制定我们的工作的重点领域GiveWell实验室2022世界杯欧洲预选赛比分。这篇文章进一步阐述了“meta-research”,解释了为什么的原因为我们meta-research目前一个非常高的优先级——这是我们的# 2最高优先级的重点区域,在全球卫生和营养。
Meta-research指改善激励机制在学术世界,带给他们更多的符合生产工作最大的社会福利。下面,我们将讨论
- 问题和可能的解决方案我们感知(激励)发展经济学领域的学术界目前我们最熟悉的。
- 一些初步想法meta-research干预措施在其他领域的潜力,特别是医学。
- 为什么我们发现meta-research承诺和高优先级的原因。
- 我们的计划目前meta-research进一步调查。
缺乏足够的措施发表偏倚。我们有写了很多发表偏倚,一般指研究的趋势是偏向画“正确”的结论(结论作者想相信,结论总体对等社区愿意相信,等等)发表偏倚可以从“数据挖掘”(作者解释数据在很多不同的方式和发布/强调指出“正确”的方式的结论)和“文件抽屉问题”(没有找到“正确”的研究结论在发表上非常困难)。
从概念上讲,发表偏倚似乎我们最基本的威胁之一学术界产生有用的知识——这是一个力,推动研究”找到“已经相信(或人们愿意相信),而不是什么是正确的,在某种程度上,用户的研究很难检测到。的现有的研究发表偏倚表明它是一个大问题。发表偏倚,特别是有可能的解决方案预先登记充分利用出现(我们看到旁边没有在发展经济学中使用预先登记)。
最近一个资助者转发我们下面的评论从杂志上一篇论文进行审查,这说明了这个问题:
总的来说,我认为本文地址非常重要的研究问题。作者在试图解决的问题的因果关系。但是缺乏结果削弱了范围和论文的相关性。除非作者大大产生新的和积极的结果说看更多的异构处理效果,本文不能,在我看来,在学术期刊出版等[问题]》杂志上。
缺乏公开数据和代码,我们的意思是学术作者很少分享的事实全部细节在计算和索赔。David Roodman在2010年写道:
作者不仅常常把他们的数据和计算机程序的秘密,但是期刊,他们的工作是保证质量,让他们侥幸成功。例如,花了两个相对庞大的efforts-Jonathan Morduch在1990年代末,我和(Jonathan)加入更多最近在皮特和Khandker检查数学论文声称在孟加拉国小额信贷减少了贫困。现在很明显,数学是错误的。
他讨论了,在我们看来,是一个优秀的插图作者时出现的问题不共享他们的计算的全部细节:一个研究指出,多年来是一些最好的现有证据关于小额信贷的影响,但它最终是严重瑕疵,后来更严格的研究反驳它的结论。(见我们的2011年的讨论。)
开放数据的重要性是我们的另一个例子2011年发现的错误突出成本效益估算除寄生虫。这估计是公众和引用自2006年以来,和我们花了几个月的反复获得其背后的全部细节;此时结果包含多个基本的错误导致它~ 100倍。
开放数据的缺乏是重要原因以外的困难理解和研究著名的发现。它也具有重要意义,因为开放数据可能是研究人员的公共利益;一个数据集可能被许多不同的研究人员利用生成多个有价值的发现。目前,激励创造这种公共产品显得疲软。
不足的关键讨论和检查突出的研究成果。上面的两个例子中,除了说明open-data-related问题,说明另一个问题:似乎很少有激励在学术界批判性审查和挑战别人的结果。重要的考试和挑战确实发生时,他们很难找到。注意,鲁德曼的批判和Morduch(从上面的示例)被拒绝的杂志发表了这项研究,他们批评吗(唯一的评论家评论的作者研究);至于DCP2估计的情况下,批评来自GiveWell,只在我们的博客已经发表(五年后出版的估计)。
总的来说,我们的印象是,几乎没有激励学者积极研究和问题彼此的发现,这样做是很困难的,由于缺乏公开数据(上面提到的)。
缺乏复制。除了质疑突出研究的分析,这也将是有用的复制:尝试进行类似的干预,在类似的情况下,看到相似的结果。
在医学领域,它是常见的干预进行许多不同的严格的研究(例如,文学的影响分发经杀虫剂处理的蚊帐包括22个不同的随机对照试验,程序执行类似的虽然有些差异)。但在发展经济学,这种做法是相对罕见。
更多的在由Berk Ozler最近的一篇文章。
一般脱节”动机发布”和“激励贡献最大的有用的知识。”这一点含糊不清,但我们听见它在多个与学者的对话。一般来说,似乎鼓励学者做某种工作:工作,导致频繁的见解,会导致出版物。其他有用的工作可能under-rewarded:
- 为其他研究人员创建公共物品,如公共数据集(如前所述)
- 工作的主要收益是遥远未来的(例如,研究需要20年才能生成最重要的发现)
- 研究挑战普遍,基本假设在这个领域(因此会有困难尽管发表和被引用高值)
- 研究的发现是重要的从制定政策或资金的角度看,但不是有趣的(因此很难发表)提供惊人的或普遍的新见解。例如,我们只能够识别一个随机对照试验程序的改善农村point-of-source水质受欢迎的程度,尽管这种类型的干预的重要性。
我们有几个与学者和资助者从事发展经济学关于上述问题如何解决。大多数都是针对具体问题我们上面列出的,尽管一些更普遍的范畴“创建公共物品的研究社区作为一个整体。“我们遇到的一些有趣的多的点子:
- 资金努力推广使用预先登记和数据/代码共享,如提倡期刊需要这些东西的出版物(杂志可能需要预先登记和数据/代码共享作为出版的条件)或资助者需要这些东西的受让人(一个资助者可能需要预先登记和数据/代码共享资助研究)。
- 创建一个“好问题杂志”——日记出版决定基础抢注的研究计划的基础上,而不是结果。这个想法是为了奖励(出版)的好选择主题和假设和调查的计划,不管自己是“有趣的结果。”(我们有以前讨论的这个想法)。
- 资金日报、杂志特刊,致力于开放获取的数据集。每个数据集将伴随着一个解释它的价值和作为“出版”发布援引任何未来出版利用数据集。这可能会提高激励创建和发布有用的开放获取的数据集,因为学者很可能最终发布了数据集文件和引用。
- 资金的大规模、通用开放获取的数据集。目前,研究人员通常收集数据进行特定研究的目的;特别努力,目的是创建一个公共利益可能更适合的总体效用最大化收集到的数据,,可以在更大的规模比现实的目标数据集来回答一个特定问题。例如,一个可能基金长期努力跟踪代表人口在一个特定的发展中国家,人口随机分离成一个大的“对照组”和一组“治疗组”,可以处理不同干预措施的一般利益(现金转移、奖学金、营养计划等)。
- 资金日报、杂志特刊,专门讨论,批评,re-analyses,等现有的研究中,为了更加重视并给予更多的奖励——这个活动。
- 资金奖励优秀的公共数据集和优秀的复制的研究,再分析,其他工作原因确认或复审的早期研究发现。
- 创建一个组织,专门从事高品质的系统评价,总结了证据在一个特定的问题,给予更重的重量更多可信的研究(类似的工作Cochrane协作下面,我们将讨论更多)。这些评论可能方便资助者,决策者、等的研究,也提供激励研究人员进行他们的研究更可靠的方法(使用预先注册、数据/代码共享等)。
- 创建一个web应用程序共享、讨论和评级文件(前面讨论的)。
- 奖最有用的和重要的研究从政策制定者或资助者的角度(这些可以考虑实践数据共享和登记作为输入到研究的可信度)。
- 促进报纸的“另类/补充声誉系统”(和潜在的学者)直接基于价值的研究从资助者或政策制定者的角度来看,考虑到实践数据共享和登记作为输入研究的可信度。
- 创建一个组织致力于采取快速行动利用“冲击”(自然灾害、政策变化等),可以提供机会来测试假设。“冲击”发生时,组织可以调查有关学者最重要的问题是什么,应该收集哪些数据,记录学者预测,和基金的相关数据的集合。
- 我们最近遇到的代表Cochrane协作,一群医学文献的系统评价。我们发现科克伦是有价值的和高质量的工作,我们感到惊讶被告知美国Cochrane中心提出了很少的无限制的资金。与更多的人交谈后,我们已经形成了一个初步的印象,没有什么资金用于医疗计划跨越生物类别,包括类工作,科克伦(我们被誉为“meta-research”在某种意义上,它对改善激励和高附加值的研究)。我们将进一步调查Cochrane协作的资金状况和将来写更多关于它。
- 非正式的对话给我留下了这样的印象:上面描述的许多问题,尤其是缺乏足够的措施发表偏倚,缺乏预先登记,缺乏数据/代码共享,和一般偏差之间的学者激励研究最有价值的是什么——适用于自然科学和社会科学中的许多其他领域。
- 我也听说过其他特定于其他领域的问题和想法。例如,我的一个朋友在计算机科学领域的对我说
- 有太少的文学评论在计算机科学领域,总结什么是已知的和什么还有待决定在一个特定的领域。文学评论确实存在,但很快就会过时。更多最新的文学评论会让人们更容易导致字段不用在正确的学校(因此在正确的社交网络)为这些字段。
- 有些子字段在计算机科学,需要测试不同的算法对数据集,这样适当的可用数据集的数量是非常有限的。(例如,测试一种算法对一个数据集分析在线社会网络基于一个实际的在线社交网络)。在实践中,学者通常设计的算法是合身的”“使用的数据集,这样他们的预测能力在新数据集是有问题的。他提出一套集中“规范”的数据集,每个分裂成一个“探索”和“确认”一半一半;而“勘探”将开放获取,一半一半“确认”将由一个中央权力机构和学者能够测试他们的算法只在有限的,可控的方式(例如,也许每个学术每月将获得5测试运行)。这些数据集将构成公共利益使其更容易比较不同学者的算法以一种有意义的方式,通过减少风险的过度学习,通过把更多的标准化测试。
总的来说,谈话我有meta-research——即使不是精心挑选的人,如私人朋友,导致异常高密度强劲(电子邮件保护)Aopinions和小说(我)的想法带来积极的改变。
似乎忽视其他资助者。我们看到很多的初步迹象表明这个地区被忽视其他资助者:
- 在检查今天基金会工作,我们还没有看到那些似乎关注meta-research。我们最近参加了一个资助者的会议上推动预先登记,从会议得到相同的印象。
- 正如上面提到的,非正式的谈话似乎导致更快”理念的项目可以工作但不是目前从事”比其他领域的对话。
- 正如上面提到的,我们很惊讶美国Cochrane中心明显的低水平的资金,需要更多资金,并认为这可能指向meta-research作为一个被忽视的领域。
良好的学习机会。我们已经确定了科学研究的资助作为一个重要的领域进行进一步的调查。我们相信这是一个慈善事业和最有前途的地区也是我们最不了解的领域。我们认为,调查这个问题,”以何种方式尚未学术研究函数的世界吗?”自然会有助于更好的理解这个世界如何运作,在我们最有可能找到忽视给予机会。
- Cochrane协作的进一步调查,从对话开始与潜在资助者为何难以吸引资金。我们相信Cochrane协作可能会是一个很好的机会,如果是这样,这将提供进一步的证据表明,meta-research是一种很有前途的和under-invested-in原因;另一方面,如果我们发现理由怀疑科克伦的有效性或需要更多的资金,这将可能是高度教育思考meta-research一般。
- 与学者meta-research-related问题。我们一直在问的一些关键问题并将继续问:
- 有什么方法学术体系是低于其潜力产生有用的知识?他们是什么?
- 能够做些什么?
- 在解决这些问题的办法是谁?谁会资助者的合乎逻辑的人一起工作呢?
- 有研究,你希望你能但不能得到资金做什么?通常有研究,你觉得应该发生,不是吗?如果是这样,为什么会这样?
- 有研究领域你认为是过度或过度?你认为这是为什么?
- 你怎么认为的到目前为止我们已经积累的想法吗?在某种程度上,你会发现一个或更多的好主意,谁你会推荐使用前进或进一步调查?
- 你会推荐其他跟谁?
- 想鸟瞰世界的学术研究,即。的各个领域是什么,他们是多大(和资金的人),并为他们的资金从哪里来。我们希望这个鸟瞰将帮助我们更多关于哪些字段的战略最好把“高潜力”与“主要干预措施改善他们的增值的空间”,从而选择字段为meta-research关注以更系统的方式比我们迄今为止所做的。