4.6.1 渠道测试性投放概述
渠道测试性投放是在企业与第三方渠道或媒介在正式营销合作前的测试性活动,这种活动在大型企业中尤为常见,主要渠道集中在硬广告类等费用或资源投入较多的渠道。
本节的测试性投放,特指企业与大型营销渠道(主要是硬广告类)在正式合作之前的测试性投放活动。此外,企业通过自己控制的广告媒体(例如信息流和SEM),例如通过不同广告版本的迭代来测试投放人群、素材、文案等以实现广告效果的提升等,此类活动更多的属于落地过程中的测试及优化操作,不在本节内容范畴内。
4.6.2 测试性投放中的噪音控制
在测试性投放过程中,不可避免的会受到“噪音”影响,这些“噪音”会干扰最终结果的评估与判断。测试性投放的中常见的“噪音”包括:
- 内部运营因素:企业在不同时间下可能有不同的内部运营活动,这会直接影响内部的转化评估。例如电商企业从6月份开始618促销季,而前期都是预热活动。如果测试期横跨5/6两个月份就会导致转化效果差异极大。
- 客观日期和季节性因素:在日期和季节性因素上,如果测试期覆盖节假日、周末等时间,会导致与正常工作期间的流量和转化效果差异极大。
- 网站功能变化:每个企业的网站或APP都会定期改版,大型页面或整站级别的改版周期可能是半年到一年,而小功能的迭代却可能总是在线。如果期间涉及到关键功能(例如加车、收藏、提交订单)的改版和测试,就会直接影响改版前后的测试渠道的转化效果。
- 投放内容及落地页:测试性广告投放中,外部的渠道、媒体及媒介是企业与渠道方共同确定的,但在不同测试期间的广告素材、文案甚至落地页可能发生变化,这会影响渠道的流量效果以及到站后的转化效果。
4.6.3 测试性投放的效果一致性验证
测试性投放的过程可能是一轮,即企业与渠道进行一次性测试即可验证效果;也可能是多轮,此时需要将多次的效果加以对比,基本实施思路是:先小规模的投入资源(或费用)进行测试,如果效果达标再扩量进行二次测试,如果效果仍然达标则确认合作关系。当然,根据不同的测试模式和目标,企业可能选择更多轮次的测试。
多次测试需要通过数据来验证不同测试期间的效果具有一致性,即保证每次的投放效果一样好(当然,如果效果测试越来越好是最好的,但这种场景很少发生)。通过方差分析可以观察不同波次下的效果指标是否一致。
本案例基于某渠道的三次测试性广告投放的数据,数据从Google Analytics中获取。源数据在附件Excel“第4章”-“4-6”中。原始数据包括三个波次下的UV量、跳出率、UV成本、订单转化率四个维度,每个波次投放时间为7天。原始数据如图4-18:
图4-18 测试投放效果对比数据
关于方差分析的基本用法,已经在“4.3.2 使用方差分析确定媒介效果的差异性”的“第4步 通过方差分析投放网络数据差异性”介绍过。这里将介绍主要过程,重复内容不再赘述。由于本次的投放涉及到了4个指标,且4个指标间不具有直接一起检验的前提,因此,这里分别对每个指标的三个波次效果进行检验。
UV量方差分析
以UV量检测为例,设置如图4-19。选择三列UV量列,从B2到D9,勾选标志位于第一行,设置置信水平为0.05。结果如图左侧部分。
图4-19 UV量单因素放方差分析
从图中看出F(3.68)> F crit(3.55)且P-value(0.0456)<设置的0.05,因此说明UV量指标上三个波次下存在显著差异性。接下来分别对每两个波次进行单独的方差分析,以找到是哪两个(也可能是三个)波次之间具有显著的差异性,对第一波和第二波、第二波和第三波、第一波和第三波进行方差分析的结果如表4-12结果。
表4-12 三个波次两两检验结果
表4-12显示,“UV量:第二波和第三波”之间具有显著差异性,表现为F(5.09)> F crit(4.75)且P-value(0.043)<设置的0.05。再结合图4-19的结果中的SUMMARY,可以看到第二波的均值和方差要远大于其他两次,说明了第二波的均值较高,且波动程度更加明显。
跳出率、UV成本、订单转化率方差分析
按照UV量的方差分析步骤,分别对跳出率、UV成本、订单转化率做单因素方差分析,得到如图4-20结果(只选择其中部分关键字段)。
图4-20跳出率、UV成本、订单转化率方差分析
数据显示了三波测试下的跳出率、UV成本、订单转化率虽然在均值和方差上都有一定的差异,但差异都不具备显著性。
通过上述分析发现在UV量指标上具有较大差异性,而跳出率、UV成本、订单转化率等指标上不具有差异性。UV量的差异主要是UV均值在第二波次的增大以及方差较大,如果忽视该信息,可以认为渠道效果的一致性较强且效果和成本指标相对稳定;否则就要重新进行商务谈判或测试。
4.6.4 知识拓展:基于渠道相似性的策略应用
渠道测试性投放的主要目的是确定营销渠道的质量度、流量规模、爆发能力、流量成本以及效益等,在测试期结束后,除了是否合作外,也可以有进一步的渠道策略应用。假如测试结果是后续可以进一步合作,那么可以计算渠道测试期间的效果数据与其他大类类别渠道下(例如硬广告)的媒体效果的相似度,并基于相似媒体的历史投放策略作为该渠道未来的策略参考。
例如,新渠道在目标转化率、每日UV、爆发指数、UV成本、ROI几个方面的指标与渠道A/D/E最相似,那么A/D/E的渠道投放策略可以为新投放渠道在以下几个方向上提供参考:
- 渠道定位与选择。定位该渠道在流量渠道中的能力,当涉及到相关流量目标时重点考虑该渠道的媒体选择与预算倾斜。
- 媒介投放组合。设定其他渠道与投放渠道的组合规则。
- 渠道投放执行。在投放时间、人群、素材、落地页等方面参考之前已有的策略。
提示 这种应用逻辑成立前期是,新的测试性渠道与之前的渠道具有很高的相似度。“历史上类似”渠道的经验和教训,可作为新流量运营的接参考,而无需从0开始。