A/B 测试：
作者：互联网
A/B 测试：
测试购物网页的新功能
Photo by Jaime Reimer on pexels.com
在本文中，我们进行了考虑和广告实验的 A/B 测试。数据可通过以下方式访问 关联 .在进行这项研究时，代码改编自 kaggle 中类似的主题作品。您可以通过以下方式访问 .ipynb 文件 关联 .
下面给出了这些数据的故事。所用属性的描述已添加到文章末尾的词汇表部分。
一家公司最近推出了一种新的投标类型“平均投标”，以替代其现有的投标类型，称为“最高投标”。我们的一个客户 ....com 决定测试这一新功能，并希望进行 A/B 测试，以了解平均出价是否比最高出价带来更多转化。 A/B 测试已经运行了 1 个月，....com 现在希望您分析并展示此 A/B 测试 [1] 的结果。
因此，选择了 A/B 测试标准 Conversion Rate。首先完成了 EDA，然后检查了 A/B 测试。
首先，导入所需的库。
测试组数据通过使用导入并分隔成列 九月 范围。
列名已重新排列，不包括主题标签。
使用 info 命令检查列的数据类型。
数据类型 日期 列从对象转换为日期时间。
使用 describe 函数检查 df_test 数据帧的摘要。
试验组的程序也分别对对照组进行，确定对照组有NaN值。这些空数据使用 K-NN 算法填充。
测试和控制数据帧被组合起来，并创建了一个单独的数据帧 df。索引列已根据新数据框重置以避免混淆。用于分析的新属性是通过特征工程创建的。这些属性是：每次购买的美元支出、点击率 (%)、转化率 (%)、加入购物车率 (%)。
探索性数据分析
为了探索数据，创建了各种图表并从不同角度查看数据。
根据下图，控制组在转化率（%）方面更成功，而测试组在每个广告的网站访问量（CTR（%））方面更成功。
测试组和对照组的分布似乎相等，考虑到网站点击次数和购买次数，没有检测到显着差异。
在下图中，对照组中每次商业交易购买的产品数量似乎更高。
与对照组相比，测试组似乎进行了更昂贵的交易，如下图所示。
如下所示，与测试组相比，对照组的展示次数和覆盖率都更高。
检查样本数据时，对照组总共花费了 68,653.0 美元，而测试组总共花费了 76,892.0 美元。总支出提升计算如下：
(76892–68653)/68653 = 0.12
根据这个结果，测试组总共多花了 12% 的钱。
虽然测试组每笔交易的平均花费为 5.9 美元，但在对照组中下降了 1 美元至 4.99 美元。每次购买提升的美元计算如下，
(5.90–4.99)/4.99= 0.18
尽管商业交易数量有所减少，但每次交易购买的产品更多，或者销售的产品类型可能发生了变化。这可以通过查看添加到图表中的产品数量来理解。
在测试组中，添加到购物车中的产品要少得多。因此，产品类型可能会发生变化，或者测试组中添加到购物车的产品可能会被不频繁地移除。
根据转化率 (%) 的组分布如下图所示。
对照组的转化率 (%) 度量平均值计算为 11.4，而测试组计算为 9.23。
根据 CTR (%) 的组分布如下所示的箱线图。箱线图显示，已发布的广告可能更好地抓住了目标受众。另一种可能性是所投放的广告可能更吸引人。
根据展示次数的组分布如下图所示。
在查看有关展示次数和覆盖次数的箱线图值时，结果是平行的。对照组的数值高于测试组。
A/B 测试：转化率
首先，将 df 变量复制到 df_2 变量中，这样 df 变量就不会发生变化。然后将数据集分为test_g和control_g两部分。
对于第一个假设检验，转化率列分配给 test_group_cr 和 control_group_cr 变量。
比较两个样本的标准差以进行假设检验。测试组标准差为 4.449 与对照组标准差为 6.722 之间存在差异。
为了检测异常值，绘制了转化率的箱线图。
在箱线图中看到异常值后，打印点。
从数据中清除检测到的异常点。因此，两个数据集的方差更接近。这样，我们就可以在 AB 测试的同时进行标准独立的 2 样本测试。
清除异常数据后，两个样本的分布恢复到正态分布。
已进行 AB 测试。由于 p 值大于 alpha，显着性水平为 0.05，因此接受了 Ho 假设。因此，就转化率（％）而言，对照组和测试组之间没有统计学意义的差异。
A/B 测试：点击率
在转化率（%）之后，现在将执行 CTR 的 AB 测试。
通过绘制箱线图来说明异常数据。
CTR 值为 34 的点已从样本中删除，因为它是异常数据。
根据经验，如果较大方差与较小方差的比率小于 4，那么我们可以假设方差大致相等并使用学生 t 检验 [2]。当我们比较测试组和对照组的方差时，可以看出方差之间的差异足以使用学生 t 检验进行假设检验。
绘制样本组的分布图并检查它们是否具有正态分布。检查图表后，进行有助于了解组是否具有正态分布的测试可能是有益的。
Shapiro-Wilk 和 Kolmogorov-Smirnov 检验的零假设是总体呈正态分布。因此，如果 p 值小于所选的 alpha 水平，则拒绝原假设 [3]。从下面的测试结果可以看出，测试组分布不正常。因此，不能应用 AB 测试。作为建议，可以在将测试数据转换为正态分布后再次查看 CTR 的 AB 测试。
A/B 测试：加入购物车率 (%)
在 CTR(%) 之后，现在将执行 Add to Cart Rate(%) 的 AB 测试。
通过绘制箱线图来说明异常数据。
加入购物车率 (%) 值大于 140 的点已从样本中删除，因为它是异常数据。
当我们比较测试组和对照组的方差时，可以看出方差之间的差异足以使用学生 t 检验进行假设检验。
绘制样本组的分布图并检查它们是否具有正态分布。尽管图像类似于正态分布，但应用了 Shapiro-Wilk 检验。
由于 p 值大于 alpha 水平 0.05，则接受原假设。因此，可以应用 AB 测试。
已进行 AB 测试。由于 p 值小于 alpha，显着性水平为 0.05，因此拒绝了 Ho 假设。因此，在加入购物车率 (%) 方面，对照组和测试组之间存在统计学意义的差异。
测试组和对照组的平均值分别为 61.79 和 42.00。在这种情况下，可以说网页的新设计在 Add to Cart Rate 参数方面有所改进。
综上所述，在本研究中，我们检查了三个参数：转化率、点击率和加入购物车率，以衡量网站新旧设计之间的差异。
根据转化率参数，新旧设计之间没有统计学上的显着差异。当检查 CTR 参数时，可以看出由于其分布，该参数不适合 A/B 测试。查看加入购物车率参数，可以看出新设计的加入购物车率的平均值高于旧设计。
词汇表：
对照组：一个 在线对照实验 是一组（通常是随机分配的）用户/会话/浏览量/等。谁会 不暴露于实验性治疗 .的表现 测试组 (s) 与对照组的比较，以检查是否存在足够大的差异以拒绝 零假设 [4]。
测试组：是一组（通常是随机分配的）用户/会话/浏览量/等。暴露于某种 治疗 .然后将测试组与 控制组 检查足以拒绝的差异 零假设 感兴趣的[5]。
control_group.csv：它包含控制组数据。
test_group.csv：它包含测试组数据。
活动名称：活动名称包含两个值，分别是测试组和控制组。
日期：日/月/年
花费 [USD]：每天花费的钱。
展示次数：是用户看到广告的变量。
覆盖面：看到广告的唯一身份人数。
网站点击次数：与用户点击广告中的网站链接相关的变量。
搜索次数：它是与用户在网站上执行搜索相关的变量。
浏览内容数量：与用户浏览产品详情相关的变量。
添加到购物车的数量：它是与用户将产品添加到购物车相关的变量。
购买次数：与用户购买商品有关的变量。
转化率：每次访问的商业交易，以百分比显示。
每次购买的美元花费：每件购买的商品花费的美元金额。
CTR(%)：一个比率，显示人们看到您的广告并最终点击它的频率。
添加到购物车率(%)：会话期间添加到购物车的产品的购买率，以百分比显示。
参考：
[1] https://www.kaggle.com/code/evaaasong/ab-testing-analysis/notebook
[2] https://www.statology.org/determine-equal-or-unequal-variance/
[3] https://en.wikipedia.org/wiki/Shapiro%E2%80%93Wilk_test
[4] https://www.analytics-toolkit.com/glossary/control-group/
[5] https://www.analytics-toolkit.com/glossary/test-group/
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明
本文链接：https://www.qanswer.top/30342/05251209
标签：对照组,CTR,购物车,转化率,AB,测试 来源： https://www.cnblogs.com/amboke/p/16685471.html