今天摘要的段落是可以「跟着做」的练习,我觉得今天的段落超有趣的!!!
今天内容是【CH5. 校准的估算:你目前所知有多少?】的前半,延续昨天的进度,在真正进行衡量之前,需要思考的议题有:
在本章中,作者讨论的是第 4 题。目标是「了解你已经知道的事」,说得更具体一点,是学会用「量化的表达方法」,来表达自己「已经知道的事」。
在上章 IT 防护的例子里,我们看到专家对病毒攻击影响做出了数量的估算(昨天的最後一张图),作者表示,「有 90% 的机会,真实的数值会落在专家给定的上下区间内」。而本章就在讨论,为什麽当专家说有 90% 机会时,就是 90% 会正确。
刚才说的「表达目前知道什麽」,其实是指「表达不确定性」(注:不确定性=一种以上的可能)
表达方式有:
接下来作者表示,没有经过「校准训练」过的人,靠经验或直觉给出范围或机率时,绝大多数人都有「过度自信」的情况。(反之则为信心不足,但绝大多数人是过度自信)
也就是,当我们要求 90% CI 的估算时,正确答案落在区间的次数少於 90%。
接下来作者介绍校准这种「过度自信」状况的方法!这个环节很有趣!强烈建议跟着做!
接下来作者会给出 10 个题目,让读者可以尝试写出范围 & 机率。写完後会有一连串的引导,来让读者体会「为什麽你估出的数字是过度自信的」,以及校准的方法。
作者真正的校准研习营中,他会给出更多的题目,用至少半天的时间来进行校准练习,真正建立思考的习惯。而在书中只提供了 10 个题目,作者表示:对未经训练的人,光是 10 个题目就可以看出很明显的倾向。
首先是范围类的练习,目标是达到 90% CI,也就是等下对答案时,10 题要有 9 题是命中的。
提醒:
题目如下,请写出范围的上限与下限:
接着要针对每项叙述选择「是/否」,然後圈出一个「机率」来反映你对答案的信心程度,通常情况是:
等等在练习时,直接从 50%, 60%, 70%, 80%, 90%, 100% 之间选一个就好了。
叙述:
在对答案之前,要来衡量刚才的估算是否为 90% CI。
作者从题目中选出其中一个,「牛顿爵士在哪一年发表万有引力定律」来做实验。
A. 如果对答案之後,你命中了牛顿的书籍出版日,你可以获得 1000 美元
B. 去玩一个转盘游戏(如下图),如果转盘停在 90% 的区间,你可以赢得 1000 美元。
你会选哪一个?
作者将此实验称为「相等赌局测试 (equivalent bet test)」,
接下来可以对个答案,来看看命中率。
btw 我在书上发现了 2014 年的练习纪录,因为是过去的事了,所以我就不带羞耻地分享出来。
作者表示:整体来说人们在是非题的表现会比范围题好,但通常在训练前,一致有过度自信的情况。作者的统计在是非题型里,平均预期 74% 答对,而真实情况是 62% 。
至於范围题,会有超过 56% 的人表现非常非常差,不过真正「尺度准确的人」,只有 1/ 612 的错误机率。
本章的後半,作者介绍了他在「校准训练班」中,会用什麽方式来改善,依作者的经验,在半天的密集训练後,通常就会获得大幅校准。
除了前面的相等赌局,还有:
针对先天普遍的过度自信状况,具体的训练:
上述的重复与反馈,一开始执行的效果不佳,於是作者加入了班级讨论:
加入讨论之後,全班同学的尺度表现会大幅提高
范围题目表现很差的理由是,在我们的心理机制里,人们直觉产生范围的模式是:
如此一来非常容易范围太窄。
在训练时,作者会:
或者使用荒谬测试 (absurdity test):
一样是在克服定锚模式,把「我认为数字是多少」转换成「什麽数字是荒谬不可能的」
在书中作者记录了一些实际的对话,这里只快速摘要作者的心得。
最常见的心理障碍:「如果不知道一个确切的数量,我就等於不知道任何事」。
遇到这种情况,作者通常会用「荒谬测试」的手法,引导专家说出「非常不可能发生的数值」,来产生 90% CI 的范围。
在估算时,有些人会「假设」一个范围
在进行尺度校准前,由於人们的数字错误机率太高,以至於绝大多数的认为「要进行真正的数学运算」,才能获得估计。
然而,作者认为,在进行校准以後,你可以获得 90% CI 的范围,因此你可以用极低成本的方式,快速建立最初的量化分析。
今日进度:90~115 页
btw 我在 2014 买这本书时,读到 CH6 之後放弃了,CH6 会介绍蒙特卡罗风险分析模型,是一个数字含量较高的章节,我应该是在看完 CH6 後产生了心理上的厌恶感XD
先回顾一下上次的失败⋯⋯帮自己做一些心理建设⋯⋯
>>: 【Day 10】- 你的爬虫是哪一类的? (网路爬虫的类型)
React 的网路资源很多,这个系列只忠实纪录 30 天阅读 React 官方文件, 消化吸後的所知...
昨天 Day 14 跟大家介绍了 React Hooks 的基本概念之後,今天就要马上带大家来看第...
什麽是 Strategy Pattern? 设计相同介面但不同实作的物件,再由使用端以此介面去选择要...
Dart CheatSheet (2) 认识 Dart 程序语言,从官方提供的dart-cheats...
Netlify CMS 完全就是为了 JAMstack 而设计的 CMS 系统 前面分享了直接使用第...