huyipeng / A-B_test

对于是否为Udacity主流程增加筛选器的问题,设计A/B测试、分析其结果,并提供一个高层次的后续实验。

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

A-B_test

对于是否为Udacity主流程增加筛选器的问题,设计A/B测试、分析其结果,并提供一个高层次的后续实验。

实验中涉及内容

  1. 实验设计
  2. 度量选择,列出实验的不变度量和评估度量,解释选择该度量的原因,并说明期望从评估度量中获得的结果;
  3. 测量每个评估度量的标准偏差,并说明分析估计与经验变异是否类似;
  4. 计算样本需要的规模
  5. 计算实验需要持续的时间,并说明开展此实验的风险;
  6. 对实验进行分析  1)进行合理性计算,对于每个不变度量,对期望观察到的值、实际观察的值及度量是否通过合理性检查给出 95% 置信区间  2)如果通过合理性检验,则继续往下,如果没有通过,则需要说明原因,并找到解决方案
  7. 通过合理性检验后,对于每个评估度量,对试验和对照组之间的差异给出 95% 置信区间。说明每个度量是否具有统计和实际显著性。
  8. 对每个评估度量进行符号检验,看每个度量是否具有统计和实际显著性。
  9. 对结果进行汇总,说明是否使用了 Bonferroni 校正,并解释原因。若效应大小假设检验和符号检验之间存在任何差异,描述差异并说明你认为导致差异的原因是什么。
  10. 给出建议
  11. 说明是否需要后续实验

About

对于是否为Udacity主流程增加筛选器的问题,设计A/B测试、分析其结果,并提供一个高层次的后续实验。


Languages

Language:HTML 100.0%