其他分享
首页 > 其他分享> > 数据会说谎

数据会说谎

作者:互联网

最近做了很多关于产品订阅页的实验,做完实验自然要分析数据,在这个过程中我最大的感触是,数据确实是会说话的。

举一个例子,假设我们做一个强制用户订阅的实验:

A组的用户打开App显示订阅页,无关闭订阅页按钮,不订阅无法继续使用App;

B组的用户打开App后显示订阅页,有关闭订阅页按钮,关闭订阅页后可以继续使用免费功能。

实验上线了一段时间,产生了数据,现在要分析两个实验的效果。我们可以用A组每日新用户的订阅页转化(订阅页购买/订阅页显示)对比B组每日新用户的订阅页转化(订阅页购买/订阅页显示)

但是,仔细想想,如果用了上面的分析方式,那么你的数据就在说谎了。由于A组用户的订阅页是不可关闭的,所以一部分用户会直接退出App,不再使用,另一部分用户则会被迫选择尝试。相比之下,B组的用户不必面临二选一的抉择,会有一部分用户关闭订阅页继续体验产品,这部分用户在后续的使用中有可能产生转化。而刚刚的数据分析方式,则忽略了这部分用户对结果的影响。

所以,比较科学的分析方式应该是将时间拉长,同一时间段用户,在后续一个较长时间段内AB两组转化的用户数量进行对比。这时候,我们会看到不一样的结果。

再举一个例子,假设我们上线了一个新的设计风格的订阅页,并与老的订阅页进行对比实验。如果我们选择的测试用户是App内的活跃用户,并且新的订阅页转化率更高,于是我们得出新订阅的设计更受用户喜欢的结论,这时候数据有可能又在说谎了。

因为,新的订阅页转化率更高,有可能仅仅是因为是它是更新鲜的,从而触发了一些对老订阅页产生疲劳的老用户的转化,随着时间推移,新订阅优势可能会逐渐缩小。我们也可以拉出新用户在新老订阅页的转化情况,来佐证这个判断。

总而言之,实际业务场景中,数据总是错综复杂,产品经理们要警惕被数据所骗。

本文首发于公众号「原住民的自修室」,记录一名产品经理的思考和生活,欢迎关注

标签:订阅,转化,App,用户,说谎,实验,数据
来源: https://blog.csdn.net/weixin_41337483/article/details/121056878