在Uber实验室,我们的使命是利用行为科学的见解和方法,帮助产品和营销团队改善客户体验。最近,我们介绍了中介模型这是一种来自学术研究的统计方法,旨在解决用户的痛点。雷竞技是骗人的
中介建模超越了简单的因果关系,试图理解导致结果的底层机制。使用这种类型的分析,我们可以微调产品变化,并开发新的产品,重点关注优步平台上成功功能背后的潜在机制。
知道是否与理解为什么
在Uber,我们有强烈的改进文化,经常进行实验,测试一个变量是否会影响另一个变量,以确保可靠、安全、无缝的用户体验。
大多数时候,我们都有一个关于两个变量为什么相关的假设。例如,假设我们认为,在新乘客的前几次出行中给予他们旅行折扣的促销活动可能会提高新乘客的留存率。虽然标准的分析可以告诉我们这种促销是否有助于提高新骑手的留存率,但却无法告诉我们原因。例如,新乘客在第一次出行后是否会因为票价降低而再次使用应用程序?或者是这次促销活动帮助新乘客熟悉了这款应用,或者完全是其他原因?如果存在多种机制,那么哪一种机制的作用更大,作用有多大?在标准的分析中,一个潜在的机制(即,为什么某事发生)通常被假设存在,但没有用数据进行实证检验。
虽然我们可能有一些证据表明两个变量是相关的,但我们可能不清楚为什么它们是相关的,当我们不明白为什么时,我们不得不依靠试验和错误。然而,就像在学术研究中一样,了解原因对优步同样重要,因为这有助雷竞技是骗人的于我们为用户打造更好的产品。例如,在上面的例子中,如果我们发现他们对应用程序的熟悉会让新的乘客留在平台上,我们就应该优先考虑鼓励乘客使用应用程序的产品变更。
中介建模:开放黑匣子
中介建模打开了治疗和结果变量之间的黑箱,以揭示潜在的机制,即。为什么发生了一件事。尽管这种方法在学术研究中得到了广泛应用,但在商业中却没有得到充分利雷竞技是骗人的用。1 2 3当我们有一个因果假设时,而不是让它停留在那里或依赖于相关证据,中介建模让我们可以经验地测试(而不是逻辑地推断)两个变量之间的因果路径。更重要的是,理解这些机制使我们能够更快、更有效地开发更好的产品,因为它帮助我们确定这些变化的哪些特征是导致产品成功的原因。
那么,我们究竟可以用中介建模做些什么来改善用户体验?我们在图1中概述了一些假设的示例用例:
首先,我们可以使用中介建模来测试产品假设。例如,我们可能认为一个新的骑手促销活动可以提高用户留存率,因为旅行票价降低了(图1a)。通过中介建模,我们可以经验地测试这个假设。这些测试结果可以告诉我们我们的假设是否正确,如果是的话,与其他机制(例如,对应用程序的熟悉程度)相比,有多少影响是由于降低了旅行费用。
其次,我们可以使用中介建模来比较多种机制。在一个假设的例子中,我们可能认为Uber Eats菜单的新设计可以通过不止一种机制增加订单(图1b)。通过中介建模,我们能够估计每种机制对治疗效果(即增加的订单)的影响,以及哪种机制发挥了最大的作用。结果有助于告知我们如何设计我们的产品及其未来的迭代。
中介建模还允许我们将无形变量(如消费者情绪)与特定功能与业务度量联系起来。我们知道,客户的感受和满意度对企业的成功至关重要。然而,通常很难量化它们的业务影响。然而,中介建模使我们能够测试这些变量如何影响下游业务指标(例如,如图1c所示的骑手推荐)。
此外,中介建模是将长期目标分解为更小的中间步骤的一种创造性方法。例如,假设我们的目标是提高Uber的长期乘客满意度。我们如何把这个目标分解成更小的、可以与日常工作联系起来的部分?如果我们之前已经确定了骑手满意度背后的关键中介,那么我们就可以利用这个中介作为短期关键绩效指标(KPI)(图1d)。如果干预的大部分效果是通过一种特定的机制来调节的,那么影响这个关键的中介可能是干预工作的必要条件(尽管不是充分条件)。
在各种用例中,我们识别上游和下游变量,并测试它们如何相互连接。接下来,我们进一步解释并讨论中介建模背后的概念细节。
作为因果推断的中介建模
为了成功地执行这项技术,我们究竟估计了多少数量,采用了什么方法?为了回答这些问题,我们在下面的图2中描述了最简单的中介模型:
从这种类型的模型中,我们的目标是估计三个关键的量:
-
- 平均直接效应(ADE):c
- 平均因果中介效应(ACME):ab
- 平均总效应(ATE): ab + c
近年来,研究者开始从因果关系的角度雷竞技是骗人的来理解中介模型。4 5 6这使他们能够使用为因果推断开发的正式框架将中介概念化,例如潜在结果法由内曼、鲁宾等人开发。7
为了更好地理解这个框架是如何工作的,假设我们有一个结果Y以及治疗分配t,以致于t如果一个人在治疗组是1,如果一个人在对照组是0。然后是结果Y治疗分配中t对个人我易(t)。
现在,我们经常对估计差异感兴趣Y治疗与控制之间,这对于个体而言我是
易(1)−易建联(0)
然而,大多数时候我们只观察到这两种结果中的一种,因为一个人通常只处于一种实验状态。举个例子,如果是个人我在治疗条件下(t=1),则该个体的结局Yi(0)只是一个潜在的结局,即可能发生但实际上没有发生的结局。
由于我们通常不能在个体水平上观察治疗效果,所以我们估计群体水平的平均治疗效果,定义为
易建联E[(1)−(0))
这里是结果Y在处理和控制下,分配从群体水平的数量估计。
所有这些与中介建模有什么关系?事实证明,我们可以使用上面的框架来表示三个关键的中介量。设M(t)对应处理分配下的潜在中介值t.然后,我们可以开始定义关键中介数量,如下所示:
吃= E[易(Mi(1))−易Mi (0) (0)
简而言之,ATE是当中介因素发生变化时,在治疗和控制分配下的潜在结果之间的差异,因为它实际上是在治疗分配中发生的。这解决了治疗对结果的平均影响。
如前所述,中介分析的目标是将总治疗效果分解为两部分:平均直接效应(ADE)和平均因果中介效应(ACME)。换句话说,ADE是治疗对结果的影响不通过中介。因此,如果您固定中介的值,而改变治疗状态的值,那么您将产生直接效应。使用潜在结果符号,我们有
正面= E[易(Mi (t))−易建联(0,Mi (t)))
t = 0, 1。因此,ADE可以理解为一旦我们阻止中介因治疗状态而改变,治疗任务对结果的任何额外贡献。8(这种预防并不是真的发生。我们使用统计模型来估计如果中介是固定的,结果会是什么。)
一旦我们建立了ADE,很明显ACME只是它的补充:
ACME = E[易(t, Mi(1)−易建联(t, Mi (0)))
t = 0, 1。ACME对应的是,如果我们将中介转换为它在治疗状态下将获得的值,同时保持治疗状态本身固定,则可能发生的潜在结果的差异。
这些定义的优点之一是它们没有引用任何特定的模型。因此,像Imai等人这样的研雷竞技是骗人的究人员。8开发了使用任何有效模型估计关键中介数量的算法。这意味着,除其他外,我们可以自由地使用非参数和非线性模型来估计中介图中的关系,与过去相比,这是一个相当大的进步。9,10,11,12例如,在Hayes的传统方法中过程方法时,中介不能是分类变量,结果变量仅限于那些可以用普通模型正确建模的变量最小二乘或逻辑回归13.PROCESS方法对中介和结果变量的限制使我们无法对离散数据建模,这使得它不适合我们在Uber的工作。
最后,潜在结果框架被证明有助于制定中介效应的识别假设。在随机实验的背景下,主要的假设是,中介因素应该在统计学上独立于的潜在结果Y根据观察到的处理状态和模型中包含的预处理协变量的值。14、15在没有这个假设的情况下,不能一致地估计中介数量的原因是,如果没有这个假设,就可能有第三个变量混淆中介-结果关系。
尽管潜在结果框架帮助我们清楚地定义了这一假设,但不可能最终验证这一假设是否成立。我们所能做的最好的事情是(1)包括任何预处理协变量,理论考虑表明,这些协变量可以消除中介因素和结果之间的关系;(2)进行敏感性分析,看看如果我们的假设没有得到不同程度的满足,我们的估计将如何变化。16幸运的是,作为一家数据驱动的技术公司,我们通常有一组很好的预处理协变量,我们可以在模型中使用这些协变量来降低混淆的风险。
应用示例:客户支持票据
现在,让我们通过Customer Obsession团队最近的分析来看看我们如何在Uber应用中介模型的具体示例。我们想知道添加一个显示司机收入的图表是否会导致更少的支持票。为了帮助用户提交更少的支持票据,我们需要了解为什么他们一开始就在开罚单。
在之前的一个实验中,“顾客痴迷”团队发现,添加一张显示司机-合作伙伴每周收入的图表,可以显著提高他们对自己收入的理解。下图3显示了治疗组和对照组的用户界面:
在这项分析中,对收入的理解是通过一项单项调查来衡量的,该调查询问司机对收入信息的理解程度,分为五级。
我们想知道收益理解是否是收益相关支持票背后的重要行为机制。换句话说,我们想了解这种治疗是否提高了对收益的理解,从而减少了支持票。如果是这样的话,我们还想估计有多少待遇效应是通过收益理解的途径介导的(而不是其他机制)。
为了回答这些问题,我们使用中介模型,以干预为自变量,收入理解为中介变量,与收入相关的支持票作为结果变量(图4)。此外,我们还包括司机的实验前支持票和实验前的收入经验(例如,以前的收入、终身旅行次数和活跃天数)作为控制变量。我们通过敏感性分析来确定我们的结果对未测量的中介因素-结果混杂因素的稳健性。
中介模型结果表明,收入理解确实是收入相关支持票背后的一个重要机制,它约占总治疗效果的19%。基于这些结果,我们更好地理解了收益理解是如何减少客户支持票的重要途径。
有了这些见解,我们可以更好地设计产品和沟通,提高司机对他们收入的理解,从而使用户体验更加无缝和愉快。与此同时,我们也认识到,我们的团队有很大的机会进一步利用模型来揭示调节剩余81%效应的机制。为了实现这一点,我们正在与客户痴迷团队合作,测试更多剩余的行为机制。这些结果将为司机收入产品路线图提供信息。
中介建模的未来
中介建模的未来是令人兴奋的:近年来,学术研究人员已经开始研究使用高维数据进行自动中介选择的前景。雷竞技是骗人的17、18在这些应用程序中,我们可以指定数百个介于治疗和结果之间的介质。然后,我们测试治疗和每个候选中介因素之间或每个候选中介因素和结果变量之间是否存在统计上可靠的关联。通过这些方法,我们有可能以前所未有的细节解开治疗-结果关系的黑匣子。
在Uber,我们期待着测试这些数据驱动的算法,看看它们与传统的理论驱动的方法相比如何,研究人员在进行研究之前通过这些方法指定中介。雷竞技是骗人的我们认为中介建模是另一个有趣的领域,其中使用机器学习方法分析实验具有巨大的潜力。
如果你对利用应用行为科学为产品和城市提供动力感兴趣,可以了解一些工作机会超级实验室.
引用:
- 阿加瓦尔,P., &麦吉尔,A. L.(2007)。那辆车在对我微笑吗?模式一致性是评估人格化产品的基础。消费者研究杂志雷竞技是骗人的, 34(4), 468-479。
- Luo, X., & Bhattacharya, C. B.(2006)。企业社会责任,客户满意,市场价值。市场营销杂志, 70(4), 1-18。
- 厄斯本,E. &泰勒,D. M.(2010)。文化认同清晰度对自我概念清晰度、自尊和主观幸福感的作用。人格与社会心理学公报, 36(7), 883-897。
- (2001)。直接和间接影响。第17届人工智能不确定性会议论文集。摩根·考夫曼,旧金山,加州,411-420。
- 今井,Kosuke, Luke Keele和Dustin Tingley。因果中介分析的一般方法心理的方法15.4(2010): 309-334。
- 珠儿,朱迪亚。"因果中介公式-评估途径和机制的指南"预防科学13.4(2012): 426-436。
- Rubin, Donald B.“在随机和非随机研究中评估治疗的因果效应。”教育心理学杂志66.5(1974): 688-701。
- 今井,Kosuke, Luke Keele和Dustin Tingley。因果中介分析的一般方法心理的方法,15.4(2010): 309-334。
- 大卫·a·肯尼《调解》(2018):http://davidakenny.net/cm/mediate.htm。
- 海斯,A. F.(2017)。中介、调节和条件过程分析简介:基于回归的方法.吉尔福德出版物。
- 今井,Kosuke, Luke Keele和Dustin Tingley。因果中介分析的一般方法心理的方法,15.4(2010): 309-334。
- Tingley, D., Yamamoto, T., Hirose, K., Keele, L.,和Imai, K.(2014)“调解:因果调解分析的R包。”统计软件杂志第59卷,第5期。
- 海耶斯,A. F.蒙托亚,A. K. &罗克伍德,新泽西州(2017)。机制及其随因分析:过程与结构方程建模。澳大利亚营销杂志(AMJ), 25(1), 76-81。
- 今井,Kosuke, Luke Keele和Dustin Tingley。因果中介分析的一般方法心理的方法,15.4(2010): 309-334。
- 珠儿,朱迪亚。"因果调解的解释和鉴定"心理的方法19.4(2014): 459-481。
- 今井,K.,基尔,L., &山本,T.(2010)。因果中介效应的识别、推断和敏感性分析。统计科学, 51 - 71。
- 张海翔,郑一楠,张周,高涛,Brian Joyce, Grace Yoon,张伟,Joel Schwartz, Allan Just, Elena Colicino, Pantel Vokonas,赵丽辉,吕金池,Andrea Baccarelli,侯丽芳,刘磊。在表观遗传学研究中估计和测试高维中介效应,生物信息学,第32卷,第20期,2016年10月15日,第3150-3154页。
- 于,清照,李斌。mma:一个用于多中介中介分析的R包。开放研究软件杂志雷竞技是骗人的5.1(2017)。






