Skip to main content

A/B测试

开发者可以通过A/B测试将用户按比例进行分组,对不同分组使用不同的广告策略,并对比其效果。

如何配置A/B测试?#

1、点击 高级功能-A/B测试,在左侧列表中选择需要进行A/B测试的APP,点击“新增A/B测试”。

如果没有看到AB测试的入口,请联系TradPlus AM开通

2、在面板中对A/B测试进行配置。

可以配置的项目:

  • 广告位:可选使用单个或多个广告位进行测试
  • A/B分组:可以配置多个测试组
  • 生效时间:可选立即生效或是指定时间生效
  • 测试名称

3、配置完成后,原有的瀑布流将自动同步到A/B测试中的“A对照组”,其他分组的瀑布流需要前往中介管理处手动进行配置。

需要在广告位数据模块中点击“中介管理”,跳转到中介管理处进行瀑布流配置

也可以直接点击TradPlus后台界面的中介管理,选择对应的产品、广告位和A/B分组,进行瀑布流配置

可以使用“复制中介组配置”的功能,快速完成其他分组的瀑布流配置

复制中介组功能,会将某个分组在当前使用的所有瀑布流配置(包括瀑布流中的PID、PID排序、缓存数、Bidding底价等配置)全部复制到指定的分组当中去。并且,指定的分组下原有的配置将会被删除

如,选择从A对照组复制到B实验组1,那么,A对照组当前所有配置会被复制到B实验组1。即,A对照组会保留原来的配置,B实验组1原有的配置将会被删除,B实验组1会使用A对照组的配置。

A/B测试生效后,如果配置的是生效时间为“立即”,则历史缓存策略(非当前A / B测试的策略)产生的数据,会归到历史流量分组。历史流量分组的广告源无法进行配置。

如果配置的是生效时间为“指定”,则当前瀑布流配置会归入“当前分组”,A/B测试生效前产生的数据,会归到当前分组。到了A/B测试生效的指定时间,“当前分组”会被“历史流量”分组取代。

4、A/B测试完成后,需要点击“结束测试”,可以一键选择最优的分组策略。可以适用到全部广告位,也可以到指定广告位

如何查看A/B测试的数据?#

1、可以在A/B测试页面,按应用维度查看A/B测试数据,也可以按广告位维度查看A/B测试数据

注:AB测试页面上的所有数据均为TradPlus埋点数据,不是三方广告平台数据

关闭A/B测试后可以在 A/B测试页面-历史 中查看历史上配置过的AB测试的数据

2、可以在中介管理处查看每个分组的数据

注:如果每个分组使用不同的PID,则在每个分组中可以查看当前分组所使用的PID的三方数据

如果每个分组使用相同的PID,由于三方数据只能按照国家维度来拆分,每个分组中,相同PID的三方数据将会相同。可以选择查看中介组维度下的TradPlus埋点数据来查看该分组的数据表现

A/B测试的分量逻辑是什么?#

开启A/B测试之后,在A/B测试周期内,用户第一次请求广告,会根据流量分配比去命中分组。比如AB组的流量分配比是各50%,则用户将随机分配到A组或B组,最后A组和B组各分配到50%的用户。一旦用户命中某个分组,就不会变了,后续会一直命中该分组。即一个用户一旦走了A组,就不会走B组。

若调整AB组分量策略,比如把流量分配比从各50%调整为A组90%和B组10%,那么用户会被重新分配。即从B组里随机分配一部分用户进入到A组;A组原有的50%的用户依然走A组。