通过业务实验构建数据驱动的文化

一月24,2019
科尔宾·蔡斯(Corbin Chase)
科尔宾·蔡斯
图标滚动条

0%

加快决策速度对于以数字速度竞争至关重要。领先的组织正在利用业务实验框架将数据定位为迭代设计客户喜爱的体验的驱动力。

“鉴于有100%的回报有10%的机会,您应该每次都下注。但是您仍然有10次中有9次错了。” –杰夫·贝佐斯(Jeff Bezos)

亚马逊,沃尔玛,优步,Netflix,Google X,Intuit和Instagram等领先组织都大力拥护这样一种哲学,即快速试验是满足客户需求的最有效途径。在接受采访时 梅蒂斯策略的Peter High,企业家彼得·迪亚曼迪斯(Peter Diamandis)解释说,诸如Uber和Google X这样最灵活和创新的公司“每年进行1000多次实验,并且正在创造一种可以进行快速实验,不断失败和迭代的文化。”

传统的战略规划教会我们研究棋盘上的所有棋子,制定多年的路线图,然后推出精心雕刻的新产品或服务。高管们认为只有一次机会“做到正确”,这常常使组织让完美主义者成为善良的敌人。

但是,在数字时代,决策速度比完善计划更为重要。

通过实验加快决策速度

最成功的组织相信他们总是能够完美地预测客户或用户的需求,而让数据(而不是意见)指导决策,这是他们的骄傲。可以为决策提供依据的数据来自一系列实验,这些实验是针对一个较小但具有代表性的更广泛的样本来测试假设的。

实验应检查三个问题

  • 您可以使用该产品吗?
  • 您会使用该产品吗?
  • 您是否愿意(以金钱,数据,时间等)支付费用,以使用替代产品?

然后得出以下三个结论之一:

  • 这个假设是绝对正确的,我们应该认真地追求这个想法。
  • 该假设存在积极的势头,我们应该扩大样本量,并继续测试和完善产品。要么
  • 假设是错误的,应该废弃,或者对方法进行重大重新校准

通常,实验属于第二类,在这种情况下,组织展示出足够的可行性来迭代该想法,以进一步磨练并增强产品与市场的契合度。关键是尽早获得这种见识,并在必要时进行正确的课程设置。每十英尺偏离航向两度很容易纠正,但是在一英里以外偏离航向两度会导致您大大错过目标(+/- 0.35英尺对+/- 184英尺)。

一个简单的例子是,梅西百货(Macy's)评估需求时,建立了一项功能,使客户可以根据用智能手机拍摄的照片来搜索产品。其他竞争对手也开发了类似的产品,但是在梅西百货投入巨额资金之前,该零售商想知道这个想法是否可行。

为了验证这一想法,梅西百货在其首页上放置了“视觉产品搜索”图标,并监控了点击行为。尽管Macys.com尚不具备允许进行可视搜索的功能,但仍有成千上万的客户点击,而Macy能够捕获那些希望在功能就绪时得到通知的电子邮件。

这足以开始进一步追求该想法。 梅西百货(Macy’s)的前首席技术官Yasir Anwar表示,团队“被赋予了去测试最适合我们的客户的东西,去运行多个实验,与我们的客户进行测试以及(并)返回结果的权力。”

为了加快决策速度,我们建议所有公司都开发一个类似于Amazon和Walmart之类的框架来创建一个“业务实验实验室”。此业务实验框架(BEF)应该概述技术使具有正确思维方式的人(尽管有时不需要技术)如何利用迭代过程来做出更明智,更快速的决策。这样做使组织摆脱了根深蒂固的官僚作风,并提供了各种机制来快速确定改善客户体验的最佳选择。

业务试验框架对于以下各项至关重要:

  • 快速加快测试和学习周期,使您的组织避免停滞或“分析瘫痪”
  • 提供有关减轻风险的样本数据,深入了解扩展解决方案所需的工作量和成本
  • 经济高效地促进客户反馈,从而使解决方案与市场的契合度更容易获得,并且
  • 创建一个培养高质量想法的环境,而不是一个只支持高层管理人员提出想法的环境

通过沃尔玛的A / B测试进行业务实验

尽管几乎每个部门都可以在他们的运营模型中引入一些试验性的方法,但电子商务中的核心组件和示例是A / B测试或拆分测试。 A / B测试是一种比较单个变量的两个版本并确定哪种方法更有效的方法。

在沃尔玛湾区办公室的最近一次聚会中,电子商务产品和测试经理讨论了维持A / B测试速度并确保进行干净,准确和可控制的实验所需的投资,流程和角色。沃尔玛以自上而下的法令开始了大规模A / B测试之旅-“我们推出的就是我们要测试的东西”-现在能够在任何给定时间运行大约25个实验-沃尔玛已经增加了每个测试的数量年 从2016年的70个增加到2017年的253个.

为了以这种速度和质量进行A / B测试,沃尔玛开发了一个“测试建议”流程,该流程可以组织A / B测试并提供测试治理的指标,以便团队可以在测试结束时快速做出决策。测试建议定义:

  • 测试开始日期和结束日期:测试什么时候开始,应该运行多长时间?
  • 所需测试状态的模型:测试样本中的用户将会体验到什么?
  • 度量:我们将如何度量业务结果和测试成功?我们是评估公司范围内的收入,访问或转化等指标,还是优先处理测试专用的运营指标,例如点击率,浏览项,购物车中的项?
  • 通过/不通过决定:给定定义的度量,要使测试被视为成功或不成功,需要哪个阈值?如果测试成功,下一步将采取什么行动?如果不成功,发布路线图或计划将如何改变?

为了促进持久采用业务实验框架,组织必须配备关键角色,例如测试经理,开发工程师和测试分析师。例如,沃尔玛(Walmart)已创建了 以下角色 每年可以启动和分析250个测试:

  • 2个测试经理(很快将有3个测试经理),负责协调测试版本,确保不发生冲突(重叠测试引起的偏差),为测试分配适当的站点流量等
  • 8位开发工程师,负责开发,增强和维护沃尔玛内部A / B测试平台,并直接与项目工程师合作以支持能够进行A / B测试的建筑功能
  • 20位测试分析师(是,20岁),其职责范围从A / B测试特定任务(例如收集与测试相关的指标,分析并确定测试是否通过或失败)到围绕趋势监控,事后分析和机会确定的其他任务等等。沃尔玛每周大约进行五次测试,需要大量的分析人员来确保测试漏斗消除瓶颈

创建一个以实验为导向的组织

制度化实验的偏见并不容易。我们已经看到了采用业务试验框架的一些障碍,例如:

  • 缺乏分析性的,数据驱动的文化(以及对统计的基本理解)
  • 对测试的耐心要“做我们所知道的是对的”
  • 如果数据不是确定性的,则无法采取任何措施时过度旋转和瘫痪
  • 测试团队在没有明确优先级的情况下变成接单人
  • 成为同时进行测试的瓶颈的技术
  • 认为失败的测试是失败和金钱的浪费-实际上,这是一种学习,可以减轻进一步浪费的资源

通常,一个滩头部门会激发人们进行实验的热情。该部门制定了测试批准流程,该流程由测试,分析,学习和做出准确的通过/不通过决策所需的工具和数据支持。

这是介绍测试优先文化的蓝图:

  • :创建专门的,面向价值流的测试经理角色,负责测试启动并对业务成果负责。提供负责维护测试环境的开发人员以及负责接收测试数据和分析结果的分析师
  • 处理:以客户为中心,将测试注入到敏捷产品管理实践中。经过几次实验,授权测试利益相关者制定自己的测试建议并掌控结果
  • 技术:构建机制以细分目标人群,提供独特的体验并捕获有关体验绩效的数据。提供对与测试关联的指标的访问,以加快决策制定速度。尽管有大量可用于实验的工具,但组织也可以将这些原理应用于实际的,面对面的实验
  • 业务试验框架的成熟度: 开发业务试验框架的方法应与建立其他任何能力一样:随着时间的推移逐渐成熟。这里有一些想法可以帮助您入门:
    • 数字测试 可以是手动的(具有两个不同版本的电子邮件爆炸),自动的(按照Adobe Target或Monetate等工具中的规则进行A / B测试或多变量测试),客户研究实验室(客户与技术产品进行物理交互以及进行热图绘制/眼动追踪以收集数据),付费搜索或虚假冒烟测试(竞标搜索词或跟踪链接并衡量兴趣的网页上的虚假链接),基于调查的情况(情景排名,联合分析等)或其他。
    • 体检 包括主动发送免费样品和监视回购率,更改商店中的流程并监视结帐时间等业务成果,或对一种产品进行另一种产品的客户拦截用户测试。

如果做得好,建立业务试验框架将使组织能够在有限的时间内以有限的成本找出对大多数客户重要的事情,并进行风险回报折衷,最终将对他们有利。

如  贝佐斯说,“我们都知道,如果您为栅栏挥杆,将会击出很多东西,但同时也会击出一些本垒打。然而,棒球与商业之间的区别在于,棒球的结果分布被截断。挥杆时,无论与球的连接程度如何,最多可获得四个。在业务中,每隔一段时间,当您升到板块时,您可以获得1,000次跑步。这种长尾的收益分配是为什么大胆重要的原因。大赢家付了这么多实验。”

后缩略图
2020年12月16日
在cio.com上阅读

有兴趣合作吗?

我们很乐意听取您的意见。
联系我们

联系我们

[验证码]
图标

感谢您提交

我们将尽快与您联系。 回到网站