你好，我是博伟。

在过去的这些年里，我一直在和 A/B 测试打交道，研究的时间越久，越能体会出其中蕴含的深意。所以在设计课程大纲时，结束语这一讲的标题，我毫不犹豫地选择了“实践是检验真理的唯一标准”。这句话很朴素，却是我这么多年和 A/B 测试朝夕相处的真实体会。

首先，我想和你聊聊为什么我在课程中会反复强调实践的重要性。

A/B 测试本身，就是一种偏经验和方法论的工具。掌握了我在课程中讲的这些统计原理、规范流程后，也不能保证你在实践中如鱼得水，游刃有余。毕竟听到的经验和方法，想要深刻理解，还是要拿到实际业务场景中反复试炼，才能不断迭代和完善。

即使是我讲过的一些常见误区和问题，以及一些隐形的坑点，由于业务环境的千差万别，你在实践时大概率还是会遇到，而且还会遇到其他的坑。不过不要害怕，因为有些“弯路”非走不可，正是在和“弯路”的博弈中，你才能摸透 A/B 测试中的招式和套路，精进业务。

A/B 测试带给公司和团队的不光是持续提升的结果，更重要的是实验意识。团队中的成员提出一个想法，究竟是突发奇想，还是真正可靠的呢？能不能有效落地实施呢？我们完全可以把这个想法通过 A/B 测试放在实际场景中检验，最后得出具有说服力的结论。正所谓大胆猜想，小心求证，不断调整，快速更迭。

“实践”并不是件容易的事儿，真正去做的时候，还需要主动、耐心、有勇气。

与 A/B 测试相关的项目都可以主动参与。不管你是亲自做测试，还是观摩整个过程，这都是在学习积累。主动提出业务需求，主动尝试，只要去实践，肯定就有收获。

**对“失败”多点耐心。**这里的失败我是打引号的，你可能会觉得做完 A/B 测试后，只要没有把 A/B 测试中的变化在产品或业务中实施就算“失败”，不过我想告诉你的是，从实践数据来看，一大半的 A/B 测试中的变化最终都没有最终实施。在做测试的时候，我们肯定希望结果是显著的，但实际上，不显著的概率比较大。这就是期望与现实的落差。那这就算是失败吗？

在 A/B 测试领域显然不是这样的。每一次“失败”的测试，对我们来说都是宝贵的经验，你可能会从中发现从而改进测试设置、工程实施等方面的问题。哪怕测试结果真的不显著，也没关系，因为这也能帮我们排除不同的想法，减少给业务带来的潜在损失，从而让我们快速迭代到下一个想法中去。

**要敢于提出自己的想法。**我已经记不清有多少次我和同事、领导意见不一致时，A/B 测试就成了我们解决问题的法宝。长此以往，也帮助我们在团队中形成了一种实验的氛围，大家越来越敢提出与别人不一样的想法和意见，而不是管理人员的一言堂。

你看，“实践是检验真理的唯一标准”中包含的朴素智慧，一旦和我们当下的生活、工作结合起来，是不是就有更生动、更丰富的理解了呢？这也正是我平时爱好历史的原因，前人的智慧总能历久弥新。

不过在今天课程结束之际，我还想给你分享更多我自己学习 A/B 测试的故事，聊一聊我的学习心得，希望能带给你一些启发和勉励。

第一个心得，搭建自己的知识框架，能让你的学习效率更高。

就拿我自己来说吧。我呢，其实并不是科班出身的数据从业者，所以想要在这一陌生领域有立足之地，术业有专攻，就要付出更多的努力。

举个小例子。为了搞清楚中心极限定理、P 值、Power 这些难懂的统计概念，我把各种版本的统计课本学了不下 20 遍。为了全面掌握数据科学方面的知识，就利用业余时间学习了将近 10 门与数据科学相关的网课。系统化的学习，给我打下了实践的坚实基础，实践中再遇到其他问题，我就知道怎么去搜索资料、寻找解决方法，而不会无从下手。

所以，这也是我想要做这门课的初衷。根据我多年积累的经验，系统总结 A/B 测试领域的经验和方法，帮助想要学习这个领域的人搭建一个知识框架，让你能够在短时间内获得非线性的突破。

第二个心得，学习要有目的，并且要把学到的知识及时应用到实践中，学以致用。

在学校期间的学习大都是为了学习而学习，工作后的学习就不同了，有目的的学习更能达到一举多得的效果。

我刚才谈到自己曾把统计课本学习了不下 20 遍，这只是相对系统的学习遍数，如果算上实际翻看的次数，那远不止百次了。因为我这个人呢，记性一般，纯知识性的东西一旦不常用就很容易忘记。所以统计书对我来说，就像小学学习语文时的《现代汉语词典》一样，平时用到了就去查，形成肌肉动作。

所以如果你学完这个课程，有些内容没能完全消化，没有关系，我希望你能把它当做你在 A/B 测试上的工具书，遇到棘手的问题就来翻看、学习，有问题也欢迎继续留言，我也会时不时地回复你的问题。

还想分享一个我做专栏的心得：文字输出是检验输入质量的重要标准。

在实践中丰富和完善的知识要怎么检验？文字输出就是一个很好的方式。这也是我在做专栏这几个月保持连续输出的一个重要心得。

这几年我会经常带学生做项目或者做讲座，但文字输出和“讲”是不一样的。脑海中把一个问题想清楚了，也能给别人讲出来，但要落到笔上，就得斟酌每一个细枝末节：全文是不是有逻辑、用词是不是够精准、例子是不是够恰当等等。这对文字表达、专业逻辑都是不小的磨练。

做专栏的文字输出，跟我平时写文章也不一样。写专栏文章，我需要去掉那些学术派的语言，调整粗糙的表达，力求用最简单明了的语言去讲清楚一个问题，同时还要考虑读者的阅读习惯等等。所以反复打磨的不仅是文字内容，还有对问题的周密思考。当然了，这对精力、意志力也都是考验。

我和 A/B 测试已经亲密相处了 7 年多，对我来说，它不仅是工作中的一种增长方法，在深入体会它的精妙之后，它代表的**“实验意识”更成了我生活中的重要理念和原则。**

当生活中偶遇迷茫找不准方向，或者面对未知的不确定心有焦虑时，我不会畏首畏尾，更不会退缩，而是大胆地去尝试。在考虑到可能的结果后，勇于试错。因为不亲自经历，我可能永远也不知道这件事对自己来说是好是坏。

就像过去的 2020 年，注定是个特别的年份，突如其来的疫情打乱了很多人在学习、生活和工作上的节奏。在这种生存与挑战、安稳与不确定的摇摆之间，不如把心里的思绪和想法，投放到实践中，从而突破自己内心的围城。

这也是我最后想与你共勉的：唯有步履不停，人生路上才能遇到更多的惊喜。

最后的最后，我也为你准备了调查问卷，题目不多，希望你可以花两分钟填一下。十分期待能听到你的反馈，说说你对这门课程的想法和建议。