A/B测试
开发者可以通过A/B测试将用户按比例进行分组,对不同分组使用不同的广告策略,并对比其效果。
#
如何配置A/B测试?1、点击 高级功能-A/B测试,在左侧列表中选择需要进行A/B测试的APP,点击“新增A/B测试”。
如果没有看到AB测试的入口,请联系TradPlus AM开通
2、在面板中对A/B测试进行配置。
可以配置的项目:
- 广告位:可选使用单个或多个广告位进行测试
- A/B分组:可以配置多个测试组
- 生效时间:可选立即生效或是指定时间生效
- 测试名称
3、配置完成后,原有的瀑布流将自动同步到A/B测试中的“A对照组”,其他分组的瀑布流需要前往中介管理处手动进行配置。
需要在广告位数据模块中点击“中介管理”,跳转到中介管理处进行瀑布流配置
也可以直接点击TradPlus后台界面的中介管理,选择对应的产品、广告位和A/B分组,进行瀑布流配置
可以使用“复制中介组配置”的功能,快速完成其他分组的瀑布流配置
复制中介组功能,会将某个分组在当前使用的所有瀑布流配置(包括瀑布流中的PID、PID排序、缓存数、Bidding底价等配置)全部复制到指定的分组当中去。并且,指定的分组下原有的配置将会被删除
如,选择从A对照组复制到B实验组1,那么,A对照组当前所有配置会被复制到B实验组1。即,A对照组会保留原来的配置,B实验组1原有的配置将会被删除,B实验组1会使用A对照组的配置。
A/B测试生效后,如果配置的是生效时间为“立即”,则历史缓存策略(非当前A / B测试的策略)产生的数据,会归到历史流量分组。历史流量分组的广告源无法进行配置。
如果配置的是生效时间为“指定”,则当前瀑布流配置会归入“当前分组”,A/B测试生效前产生的数据,会归到当前分组。到了A/B测试生效的指定时间,“当前分组”会被“历史流量”分组取代。
4、A/B测试完成后,需要点击“结束测试”,可以一键选择最优的分组策略。可以适用到全部广告位,也可以到指定广告位
#
如何查看A/B测试的数据?1、可以在A/B测试页面,按应用维度查看A/B测试数据,也可以按广告位维度查看A/B测试数据
注:AB测试页面上的所有数据均为TradPlus埋点数据,不是三方广告平台数据
关闭A/B测试后可以在 A/B测试页面-历史 中查看历史上配置过的AB测试的数据
2、可以在中介管理处查看每个分组的数据
注:如果每个分组使用不同的PID,则在每个分组中可以查看当前分组所使用的PID的三方数据
如果每个分组使用相同的PID,由于三方数据只能按照国家维度来拆分,每个分组中,相同PID的三方数据将会相同。可以选择查看中介组维度下的TradPlus埋点数据来查看该分组的数据表现
#
A/B测试的分量逻辑是什么?开启A/B测试之后,在A/B测试周期内,用户第一次请求广告,会根据流量分配比去命中分组。比如AB组的流量分配比是各50%,则用户将随机分配到A组或B组,最后A组和B组各分配到50%的用户。一旦用户命中某个分组,就不会变了,后续会一直命中该分组。即一个用户一旦走了A组,就不会走B组。
若调整AB组分量策略,比如把流量分配比从各50%调整为A组90%和B组10%,那么用户会被重新分配。即从B组里随机分配一部分用户进入到A组;A组原有的50%的用户依然走A组。