如何计算几个目标的转化率的统计显着性？

我正在制作python / django拆分测试或a / b测试库供我自己使用.但是,我不知道如何计算我的测试是否具有统计意义.我不了解统计信息,因此我无法理解大多数Wikipedia文章或与此主题有关的网页,因此我正在寻求其他程序员的帮助.

我有4个选项的简单实验,并且有一些使用它的用户数据.每个用户都处于4个选项之一中(出于参数的考虑,我们可以在控件上调用第一个).每个用户要么成功要么失败,所以我知道每个选项的转换率.我如何确定我的测试在统计上是否有意义,或者仅仅是随机的.

基本上,我的输入将是[((a_yes,a_total),(b_yes,b_total),(c_yes,c_total),(d_yes,d_total)]],并且很容易弄清楚每个选项的转换率,甚至每个选项的执行情况如何与a相比,但是我如何弄清楚它的统计意义,因此我可以知道该测试是否告诉我任何信息,还是应该继续让它运行并收集更多数据.

当只有2个选项时(传统的a / b测试),我已经看到了一些使用formulæ的指南,但是我希望该库处理多个选项.甚至有可能使用多个值来计算统计显着性.

本质上,我正在尝试执行与此http://mixpanel.com/labs/split-test-calculator类似的操作,但使用的是python.奖励点是,如果有一些python库,我可以“ pip install…”

解决方法:

我相信您所需要的是对独立性的卡方检验.对于每种治疗,您都有一个“是”计数和一个“不”计数(总计-是).除其他地方外,该方法描述为here.

Scipy具有完成工作的功能：http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.chi2_contingency.html#scipy.stats.chi2_contingency

标签：statistics,ab-testing,python
来源： https://codeday.me/bug/20191202/2085523.html