A/B测试是一种营销试验,企业为了测试网站文案、销售邮件、搜索广告、产品设计等营销项目,提供两种(A/B)或多种(A/B/n)版本的营销素材——之前使用的版本称为「冠军(champion)」或对照组,而仅仅有一项元素被改变的版本称为「挑战者(challenger)」或试验组——在同一时间内,向尽量一致的两组或多组受访者展示这些版本,收集各组的用户体验数据和业务数据,来确定哪一种营销素材表现得更好。
A/B测试是「转化率优化(ConversionRateOptimization,简称CRO)」的策略之一。转化率优化是一个系统的过程,以提高访问网站并采取预期行动的用户的百分比。预期行动包括填写表格,成为客户等。转化率优化的过程包括了解用户如何浏览你的站点,他们采取了什么行动,以及是什么阻止他们达到目标,等等。
A/B测试很适合进行单个变量的测试。而同样的试验如果进行用户测试,可能需要数千次才能获得有意义的结果,与如此多的人进行面对面的测试将花费大量的时间和金钱。
A/B测试提供了一种非常系统的方法,来找出特定的营销活动中哪一种策略是有效的,哪一种是无效的。适宜进行A/B测试的营销素材包括:标题和文案,CTA按钮,图片、音频或视频,邮件主题,产品描述,登录页面等。
如何进行A/B测试
大多数线上营销都是为了增加流量。但是,随着流量获取变得更加困难和昂贵,为访问网站的用户提供最佳体验变得至关重要,这将促成这些用户以最快和最有效的方式实现转化。A/B测试让营销人员最大限度地利用你现有的流量,找出最关键的需要优化的问题。下面以网站页面设计为例,说明A/B测试大体上所包含的步骤:
步骤一:研究
在制定A/B测试计划之前,需要对网站当前的运行情况进行彻底的研究。营销人员必须收集所有相关的数据,包括有多少用户访问了这个网站,哪个页面的访问量最大,不同页面的各种转化目标是什么,等等。这里使用的工具可以包括定量的网站分析工具,如Google Analyticsl等,这可以帮助营销人员找出访问量最多的页面,停留时间时间最多的页面,或最高弹出率的页面。
另一个用于进行更深入研究的流行工具是网站用户调查。调查可以作为网站团队和最终用户之间的直接渠道,并可以突出可能遗漏的问题。进一步的定性分析可以从收集访问者行为数据的工具中获得。
步骤二:观察并制定假设
定性和定量研究工具只能帮助收集访问者的行为数据。现在,分析和理解这些数据是营销人员的责任。利用收集到的每一点数据的最好方法是分析、观察,然后得出对网站和用户的洞察,以形成数据支持的假设——为什么试验组会比原先的版本更好——根据预期的影响和实施的难度来对它假设进行优先排序,用各种参数来测试这一假设。
步骤三:创建试验组
下一步是根据假设创建一个「试验组」版本,然后与现有的版本为对比进行测试。不论是优化网站页面还是电子邮件,都会有许多变量需要测试。但是为了保证有效性,营销人员需要确定一个单一变量进行测试。否则,无法确定究竟是哪个变量导致了绩效的变化。新的版本在现有版本基础上,对其中一个变量进行了更改。
步骤四:启动测试
启动试验,等待访客参与。网站的访客将被随机分配到对照组或试验组。他们与每种版本之间的互动结果将会被测量、计算和比较,以确定每种版本的表现如何。
步骤五:结果分析与应用
A/B测试需要持续的数据收集和分析。测试结束后,分析测量结果的指标如增长百
分比等。指标分析后,如果测试成功,则采用最终胜出的版本。如果测试结果仍然不确定的,那么可以从中获得一些洞察,并在随后的测试中实现这些洞察。
案例:PayU的A/B测试提高转化率
PayU 是一家起源于印度的金融科技公司,为新兴市场的本地和跨境商家提供一系列独家金融解决方案。作为支付服务商,PayU 发现保持简单、直观和方便的结账流程并消除所有可能导致下单的合理因素非常重要。但是,该公司通过使用 VWO 表单分析功能,发现很多人从页面上退出。
PayU 决定根据收集的数据对其结帐页面表单进行细微更改,并运行 A/B 测试以验证他们的假设。旧的 PayU Checkout 页面要求用户输入他们的手机号码和电子邮件地址以完成购买过程,而新的 Checkout 页面则只要求用户输入手机号码。
以下是控制和变化的方法:
测试结果表明,通过简单地从结帐页面上的表单中删除电子邮件地址字段,该公司的转化率与对照组相比提高了 5.8%。