关於因果关系推论－AB testing

你是不是有碰过以下问题：

• 新产品上线介面优化不知道哪一个版本比较好？
• 行销活动中哪一个素材能真正打动消费者？
• 结帐流程中怎样降低消费者的购物车放弃率？

以上问题也许在你的日常工作中都有碰过，你会想要怎麽解答？该怎麽样给出一个不是「我觉得」的答案？

如果你脑中已经有一些想法了，恭喜你！也许你已经使用过所谓的「随机对照组实验」，如果没有任何想法，没关系！今天就让我们来认识「随机对照组实验」，也就是业界所称的AB testing、AB测试。

什麽是AB testing

简单来说，针对一个想要知道的变数，设计2种不同版本让使用者随机进入测试，再透过统计分析决定哪一个变数下的版本表现得更好。

从上述我们可以看到AB testing的几个特色：单一变数、随机样本、统计上具显着性。

AB testing的注意事项

接下来我们来逐一检视这些特性背後所代表的意义。

首先，AB testing透过更动一个变数去测试该变数是否为影响解果的改变因子，因此要确保不在多变数的情况下进行，以避免最後的结论无法正确归因。

而为了要验证该变因非小概率事件及尽可能降低偶然性，我们要让测试的样本尽可能的随机分配以免有偏误。

最後，我们会碰到２个问题：样本要蒐集多少才够？实验要进行多久才行？

你是否曾听过这句话：开启一个AB testing很简单，但要结束它却很难，因为我们不知道要什麽时候结束。

其实这个问题不难！

这和你最後要验证的结果需要符合统计显着性有关。也就是你必须先要计算你需要蒐集到多少的样本在统计上会具有显着性，再去根据你一天可以蒐集到多少样本，得出你此次实验要进行的效期有多长。

透过上述的方法可以帮助我们找到影响消费者决策的关键，但也必须要小心，如果不熟悉或是在错误的观念下进行，导致实验流程上的偏误，最後得出的数据将可能产生错误的推论！

实际执行需要注意的事

我们来看看有哪些在实验进行中要注意的事！

首先，常常会忽略样本随机性的问题。由於取样上的偏误，导至样本数无法概括母体，AB testing的结果和实际产品上线後的结果落差很大。

其次，没有计算应该要蒐集到的样本统计量。只是凭感觉认为实验只要进行一个礼拜就好、我们只要蒐集100个样本就好等等，测出的结果不一定具有统计上的显着性，所得出的结论也不一定有利於上线後的决策依据。

最後，AB testing已经广泛运用在商业决策上，协助我们在因果关系的推论上提供有效的检验方法，在了解其背後运作的统计原理後，相信大家在实际执行时一定会更有感觉！

在复习完数据分析需要运用到的统计知识後，接下来要进入到分析实战篇，也就是工具的运用！我们会先从Excel开始，再来介绍SQL和Python。

那下一篇就来让我们认识数据分析不容小觑的工具－强大的Excel吧！

参考资料：

http://conversionlab.co/2014/11/30/ab测试第一次就上手～新手基础篇/

http://marketing-cat.tw/facebook/fb-ads-ab-test/