本文是增长黑盒翻译计划的第一期。该计划旨在将国外Growth Hacking相关的精品文章翻译成中文,把先进的理念引进国内,让更多人学习和了解增长黑客。

翻译者:钟大本

审稿:张伤风、yolo

原文作者Joey DeBruin曾在约翰霍金斯大学医学院任职技术研究员。在神经科学实验室的时光让他学会了从假设到分析的实验能力。现在他在一家“共享厨师“平台Feastly担任增长主管,利用他的能力进行快速实验在他加入两年后,Feastly增长了10倍

 

原文地址:https://www.reforge.com/blog/growth-experiment-management-system

本文的目的是让大家了解国外增长团队先进的工作流程,以及”科学增长”的思维。增长黑客并不是一个人在战斗,而是要依靠整个团队。因此,当公司达到一定规模后,将“增长”体系化、流程化就变得极其重要。

译文如下:


 

那些发展最快的公司仿佛在以光速前进。

Uber、Airbnb、Amazon和Facebook都是过去几年发展极快的公司。要说其中的原因,可能是因为他们从一开始就建立了高速实验的公司文化。

Airbnb增长团队的数据科学经理Lindsay Pettingill说,在过去的两年里,她的团队每周进行的实验从100次增加了到700次。

Airbnb不是唯一重视实验速度的公司,在之前的很多年里,Facebook的信条都是「Move fast and break things」(快速行动,打破常规)。

创业公司如何搭建一套增长实验管理系统?-增长黑盒 - 增长黑客专用工具箱 - 增长黑客社区

2014年,Facebook更新了这个信条:「Move fast with stable infrastructure」(快速行动,基础扎实)。

创业公司如何搭建一套增长实验管理系统?-增长黑盒 - 增长黑客专用工具箱 - 增长黑客社区

虽然和之前略有不同,但表达的意思是一样的——速度非常重要。

尽管知道速度至关重要,但很多公司改进步伐还是非常缓慢。这有两个重要原因:

1.难以让整个团队都参与到增长工作中。

2. 未能建立闭环的、可重复的实验系统。

就像Jira(注:Atlassian公司出品的项目与事务跟踪工具)这种系统工具可以为许多开发团队提高效率和协作一样,专门为实验构建的增长实验管理系统,可以提高增长团队的实践速度。较大的公司可以为工程师开发强大的内部系统,但较小的团队往往认为这些系统太昂贵,太难构建,或两者兼而有之。

比如Google Sheets(注:Google出品的在线办公软件),它是很多初创公司最初的数据管理工具,但它本身太笨重,随着实验迭代速度的提升变得越来越不适合。不适合的工具又给工作带来了反作用,实验速度就因此变得越来越慢,进入了负循环。

不同于大公司通过购买昂贵的软件或者复杂的开发来构建一套流程,在这篇文章中,我会说明我是如何为Feastly搭建一个轻量的、便宜的实验系统,从而实现了:

1. 让公司整体都能参与到增长工作的协作中;

2. 使全公司提交的实验灵感提升了两倍;

3. 使增长实验速度提升了三倍。

达到以上目标,我们仅仅只是通过运用Pipefy(项目管理软件,国内环境可使用trello)和一些简单的插件,就低成本地搭建了一个让我们能快速洞察的实验系统。这个系统可以适用于任何团队,不需要你事先具备进阶的编程能力,而且只需要花费几个小时。

总体来说,搭建实验系统分为四个步骤:

1. 根据你们团队自身的优劣势确定测试的优先级

2.搭建实验流水线去让实验流程可重复;

3.输出强大的报告去帮助你了解并优化实验进程;

4.设置简单的自动化和集成插件让关键操作变得简单。

在下面我会讲解各个步骤,并附上相应案例。我的目标是让你们都能够根据这篇文章搭建适合自己的增长团队的轻量级实验系统。

 

第一步:在开始实验之前,确认测试的优先级。

Feastly秉持增长黑客的理念,通过敏捷性,协作性,可复盘和低成本四个角度来设计了增长实验管理系统,从而使得我们的增长测试更有效率。

1. 敏捷性

我们希望这个系统能让我们的工作变得快速敏捷。我们之前的系统是用Google Sheets搭建的,在实验的数量上来以后,它变得非常笨重。理想的增长实验管理系统可以很大程度替代繁复的人工操作,从而让团队有更多的时间进行测试。

2. 协作性

和很多公司一样,我们由不同的部门去负责产品的不同领域,比如运营、营销和销售,这些不同小组的成员有各自擅长的地方。大多数小公司没有专职的增长团队,所以没有办法简单地去将各个领域的实验灵感收集起来,只能通过周会将他们聚集起来去产生实验灵感。而对于Feastly,我们动员整个公司通过Slack将他们的灵感提交到我们的实验队列中,这样不仅可以让全公司参与到增长实验中,同时也可以在不安排更多会议的前提下方便进行增长实验的灵感收集和协作。

3. 可复盘

仅仅只用一大堆Google表格去跑实验可能难以让分析报告准确和及时,而这样会导致我们没有时间去对实验项目进行事后分析。因此,一个好的增长实验管理系统不仅需要我们按照最佳的方式进行实验,还要在任何实验完成前进行充分复盘。

4. 低成本

我们试用过几个SaaS实验管理平台, 考虑我们公司所处的阶段和预期投入产出比,价格不是很合适。实际上这样一个系统并不是只有高价买来的。你可以尝试通过现成的软件低成本构建属于你们团队的系统,甚至你可以创造一些东西来充实到这套系统之中。

为了达到以上这四个目标,我们事前讨论了针对这些目标所需的功能,专门列了一个列表后才去寻找搭建系统的工具。对于任何一个团队,我都推荐你们在开始搭建系统之前,也通过类似的过程来规划你们的目标。

第二步:打造实验流水线

实验流水线的原理和Trello或Jira这种看板系统类似,你可以将任务卡片从左边移到右边来表示实验的进度。在不同的实验阶段我们设置了不同的内容板块(填写以后才能把任务卡片移到下一个阶段),这些板块的填写可以触发自动化机制和报告。

我们的流水线包含以下阶段:

  • 实验灵感
  • 实验队列
  • 上线排期
  • 进行中
  • 分析
  • 成功
  • 失败

创业公司如何搭建一套增长实验管理系统?-增长黑盒 - 增长黑客专用工具箱 - 增长黑客社区

实验流水线样例

 

你可以根据你的需求设置更精简或更详细的流程。让我们详细讨论每一个阶段。

 

1. 实验灵感 ­

实验灵感可以通过Slack(通过在第四步里的插件)上传到这个板块,或者由增长团队直接在看板系统里创建。这一阶段的目标是最大限度地减少创建实验灵感的障碍,所以任务卡片只需要填写标题字段就可以创建了。

这里的灵感可以通过头脑风暴等方式获得。需要注意的是,这些仅仅是“灵感”,并不代表它们可以真正被执行。公司任何人都可以在这个阶段提供各种奇思妙想。

 

2. 实验队列­­

从这里开始,只有增长团队能控制任务卡片的移动。只有补充完成了以下字段的任务卡片才能从「实验灵感」进入「实验队列」

  • 实验目标
  • 跟踪指标
  • 核心假设
  • 实验灵感针对的业务环节
  • 期望效果
  • 成功信心
  • 需求资源

 

关键环节贯穿整个增长漏斗,比如用户留存、商业化、用户促活,让我们可以看到随着实验的进程和结果如何随着时间影响到公司的不同目标。

这个环节就意味着,想法将要被真正落地了。实际上,第一步收集的大多数灵感都无法进入这一步 – 我们需要结合可操作性、历史经验等,慎重筛选那些更靠谱的点子。

此外,我们使用ICE优先级框架(Impact期望效果,Confidence成功信心,Ease需求资源)去对队列中的实验灵感进行打分并排序。

ICE框架是硅谷增长团队常用的一种优先级评定方法。简单来说,是将Impact、Confidence、Ease三项的分数(1-10分)相加得到一个ICE总分 – 这个分数越高,执行的优先级就越大。具体介绍请参考本文译者钟大本的另一篇文章:硅谷增长黑客需求评估中的ICE法则

 

3. 上线排期

我们在周会时将实验队列里的任务卡片移动到上线排期板块,并直接在任务卡片里安排大家完成需要的前期准备。

 

4. 进行中

当实验启动后,任务卡片会被移动到这个板块,并在里面加上任何和实验相关的跟踪链接、提醒、附件和任务。

 

5. 分析

实验结束以后,任务卡片会被移动到这个板块。我们需要分析实验是否证实了我们之前的假设,效果是否达到了我们预定的目标。一切实验结果都会被记录在里面,包括观察数据、假设是否被证实和效果是否低于/达到/超出我们的预期。

举个例子,比如我们假设这个实验将使转化率提升10%,而实验结果将转化率提升了20%,我们会将它标记为「超出我们的预期」。这不仅能让我们知道实验是否成功,还能在之后让我们知道是否准确测量了不同实验的结果。

创业公司如何搭建一套增长实验管理系统?-增长黑盒 - 增长黑客专用工具箱 - 增长黑客社区

「分析」阶段的任务卡片样例

 

6. 成功

达到了预期目标的实验会被放进这个板块中。如果接下来还会基于它再展开一系列的实验,我们会通过Pipefy的「关联」功能以这个卡片为基础创建后续任务卡片。这样做能让后续的实验项目共享之前的实验经验和获得的信息。

 

7. 失败

没有达到预期目标的实验会被放进这个板块中。 和「成功」列表一样,任务卡片会根据它的结果直接进入相关的列表里,而且也能根据「关联」功能以这个卡片为基础创建后续的任务卡片。

 

8. 归档

如果实验被移除出实验流水线,它会进入这个板块中。当有需要的时候,它可以被再次访问和激活。任务卡片可以在任何实验阶段直接被移到这个板块里。

 

第三步:实验优先级和分析报告

我们搭建一个有序的实验流水线的目的之一,是它能让实验优先级和分析报告成为工作的核心,让公司的管理者可以提高效率,提升实验的影响力,并让整个团队都投入到增长工作中。

 

你可以在看板工具中创建分析报表,也可以把数据导出到Excel或者其他数据分析平台中进行进阶分析。我在这里向你提供一些样例,你可以以此为基础创建其它报表。

 

1. 优先级

这份报表将「实验队列」中的任务列了出来,呈现它们的实验方法和预期目标,并且根据它们的「ICE」分数排序。在项目管理看板里,你可以通过这份报表浏览现有的实验灵感并把高优先级的实验加入到上线排期中。

创业公司如何搭建一套增长实验管理系统?-增长黑盒 - 增长黑客专用工具箱 - 增长黑客社区表格中的项目分别为:

  • 实验名称

  • 执行人

  • 实验方法

  • 跟踪指标

  • 期望目标(I)

  • 成功信心(C)

  • 所需资源(E)

  • ICE总分

 

2. 进度报告

项目管理看板Pipefy内置有进度报告,但我们选择了搭建另一个简单的仪表盘去进行深入一点的分析。

我们先在Pipefy里创建了一个报表,将进行中的实验日志和那些被公司成员填写的内容记录下来,然后我们用Chartio(一个数据可视化平台)搭建仪表盘。之后我们就可以通过这个仪表盘去分析Pipefy记录下来的数据,整个过程甚至不需要一分钟。

创业公司如何搭建一套增长实验管理系统?-增长黑盒 - 增长黑客专用工具箱 - 增长黑客社区

 

3. 实验灵感运用

你可以像我们前面搭建进度仪表盘一样搭建这份报告,也可以用其它你喜欢的工具比如Excel数据透视表。通过这份报告,我们能知道一段时间内有多少成员(无论他们是否属于增长团队)提交了实验灵感。打造数据驱动的文化非常重要,而这个指标能让我们衡量我们是否做到了这点,并让我们将目光专注于实验灵感是否被采用。实验流水线搭建后,流程的改进让提交实验灵感的人提升了两倍。

 

4. 优化假设和成功率

和上面一样,我们可以用Pipefy来导出数据,仪表盘能计算出实验结果和之前假设的对比关系。这很重要——如果不能更好地预测实验结果的话,我们可能陷入不知如何确定实验优先级的困境。比如说,根据以往的经验,我们的假设总是高估改动整个业务漏斗的实验效果,又总是低估简单复制或设计改动方面的实验效果。这让我们学会了从简单的、容易完成的实验着手。

我们可以用一张流程图来总结整个增长实验流程:左边对应的是第二步中构建的流水线,而右边涉及第三步中提到的各种分析报告。

 

创业公司如何搭建一套增长实验管理系统?-增长黑盒 - 增长黑客专用工具箱 - 增长黑客社区
第四步(可选): 自动化和集成插件

上面的内容详细说明了你在搭建一个提供给增长团队使用的系统时应该注意什么。对于增长团队内部来说,创建任务卡片、设置预警和提醒、促进看板工具中的用户协作是很简单的,所以自动化和集成插件主要用于帮助增长团队和其他团队合作。

这样可以简单地为合作团队创建轻量级的任务系统,并且让一些需要对接的事情自动化,使所有人可以专注于增长迭代的工作循环中。

下面是我们目前加入到系统里的两个重要自动化插件。

 

1. Zapier插件:通过Slack在Pipefy里创建任务卡片

我强力推荐这个插件。减少团队成员在沟通简单灵感时的时间消耗,是加快实验节奏和灵感采用的关键。Zapier提供了内置的Zap工具,但它不能在所有Slack频道里使用,所以我们自己开发了一个类似的。任何时候任何人只要通过「#实验」发送消息,消息就会自动被创建成一张任务卡片,加入到实验流水线的「实验灵感」列表中,并将灵感提交者的邮件地址附加到卡片里。

创业公司如何搭建一套增长实验管理系统?-增长黑盒 - 增长黑客专用工具箱 - 增长黑客社区

2. 当任务卡片移动到下一阶段时自动发送提醒邮件

使用Pipefy里的邮件模板系统,你可以在移动任务卡片时触发自动邮件,并将卡片内容中的信息发送出去。我们通过这个方法告诉其他团队成员他们提交的实验被启动了,我们的假设细节、目标、增长团队针对这个灵感设计的实验方法、我们排期的时间和预计完成的时间都会通过这封邮件发送出去。

将实验提交人的邮件地址加入到任务卡片的「接收反馈」字段的话,收到邮件的实验提交人只要回复邮件,就可以将他的评论加入到任务卡片底下。这可以用于任何增长团队和其他团队成员需要进行对接的时候。不需要所有人都创建Pipefy的帐号,也不需要他们专门去学习使用另一个系统。

创业公司如何搭建一套增长实验管理系统?-增长黑盒 - 增长黑客专用工具箱 - 增长黑客社区

 

打造你自己的增长实验管理系统吧

 

最优秀的增长实践者,往往是目标导向的,并且能在实验和洞察的过程中获得成就感。尽管如此,他们总是在使用一些笨重的、不容易进行量化优化的进度管理系统。

如果你搭建了这样一个有效的实验管理系统,你就会至少每周甚至每天都在使用它。你自己搭建的系统最适合你自己使用,并且让你变成更棒的增长黑客——如果不能,那就再改进它。

对我们公司而言,这个系统进化得很快。因为公司里的每个人都在积极地使用它,提供如何改善这个系统的意见,并勤于把他们的实验灵感提交到系统里。

开始做一些简单的改变你们公司和团队效率的事情吧,很快你就会拥有那些最顶尖的技术公司所推崇的活跃的实验文化。

 

总结

 

看完这篇文章,大家可能会意识到一个问题:Pipefy这个工具是国外的,并没有中文版。对于不熟悉英文环境的团队来说,使用起来有一定困难。另外,Zapier、slack这些自动化工具也有同样的局限性。

其实,正如开头所提到的,本文的核心在于实验管理的7个步骤,以及ICE优先级/分析报告。这套框架一旦建立,工具栈都是可以进行替换和调整的。比如,使用Tower、Teambition、Trello等国内可以落地的工具,可以轻松搭建上述的看板。

下图是yolo在之前做过的电商项目中利用teambition制作的“实验管理系统”(跟本文描述的体系有一定区别)。只需稍加改动,调换成本文的7个看板就可以啦!创业公司如何搭建一套增长实验管理系统?-增长黑盒 - 增长黑客专用工具箱 - 增长黑客社区

至于优先级评分、邮件提醒等等,可能没有pipefy那么方便,不过执行起来也很简单:直接在任务备注中添加就可以:

创业公司如何搭建一套增长实验管理系统?-增长黑盒 - 增长黑客专用工具箱 - 增长黑客社区

不过各个环节的统计报告就是付费版的功能啦!我没试过,所以也没法做出评论。不过,整个任务看板是可以用CSV格式导出的,直接用excel进行统计就可以了。

上述内容仅做抛转引玉,增长黑盒会继续探索一套国内能够落地的工具组合。另外,欢迎各位老司机来留言分享一下自己用过哪些“增长实验管理”工具!


最后打个广告!

 

我们的知识星球已经接近600人了,每天都会有增长战术的更新,当然也少不了多位大咖坐镇。增长黑盒社区的第一波福利token到时候会在里面发放,有志向成为增长黑客的朋友,我要把这个知识星球安利你给你,请扫码上车!

 

创业公司如何搭建一套增长实验管理系统?-增长黑盒 - 增长黑客专用工具箱 - 增长黑客社区

不想错过精彩的内容?先加入增长黑盒的读者群吧,已有3000人加入!已累计发布《增长黑客日报》30

 

创业公司如何搭建一套增长实验管理系统?-增长黑盒 - 增长黑客专用工具箱 - 增长黑客社区

始发于微信公众号:增长黑盒