思维模型格栅

数学与统计 · 7/12

正态与肥尾Normal vs Fat-Tailed Distributions

正态世界里典型值能代表多数,肥尾世界里少数极端值能改写整体

一天的暴跌,就能让多年的平稳记录失去说服力。1987 年 10 月 19 日,纽约股市卖单不断涌入,道琼斯工业平均指数当天跌了 22.6%。交易员面对的跌幅,远远超出平日几个百分点的波动。次日,在华盛顿,美联储主席格林斯潘领导的央行宣布提供流动性,支持金融体系。对持有股票的人来说,这一天只占全年交易日的一小部分,却能吞掉多年积累的收益。拿普通日子的波动安排仓位,遇到这样的日子,损失就会突破原先的尺度。

为什么成立

少数极端值能改写整体时,典型值就失去代表力

给一百名成年人加入一位身高两米的人,平均身高只移动一点。给一百名普通储户加入一位亿万富翁,平均财富却能翻很多倍。身高的极端值离普通值有限,财富的极端值能超过普通值几个数量级。

正态分布让远离中心的结果迅速变少

相近年龄、同性别成年人的身高,可以用正态分布近似。许多小影响相加,当它们的依赖较弱、单项没有压倒其余项时,容易形成钟形分布。用 衡量偏离: 是均值, 是标准差, 就是高于均值三个标准差。正态分布落在正负三个标准差之外的概率约为 0.27%;落在正负六个之外,约为十亿分之二。越远离中心,概率下降得越快。

肥尾把更多概率留给了巨大结果

这里说的肥尾,是尾部比正态分布衰减更慢,极端结果更常出现。财富能借助资产增长拉开差距;灾害损失能沿相互连接的设施扩大。它们没有身高那样紧的尺度约束。

一百笔损失中,99 笔各为 10 元,合计 990 元。另一笔为 1010 元,总损失达到 2000 元。这一笔独占一半以上;平均每笔 20 元,却遮住了真正决定总损失的那一笔。

正态世界重点看中心和波动,肥尾世界还要追问极端值能有多大。 尾部事件稀少,短记录容易漏掉它;一旦它出现,样本均值和标准差就会明显改变。

出处

这一区分来自概率论与统计学,经过多位研究者发展。棣莫弗于 1733 年研究二项分布的正态近似,高斯于 1809 年用正态分布描述测量误差。帕累托在 1896 年的收入研究中展示了厚重的上尾;曼德尔布罗特在 1963 年研究棉花价格时,发现大幅变动比正态模型预测的更频繁。

换个领域看

灾害与保险

巨灾集中赔付

巨灾会让许多保单一起出险。2011 年 3 月 11 日,日本东北地震引发海啸,并造成福岛核事故。住宅、工厂和基础设施同时受损,企业还承受停产损失。保险公司按平静年份的平均赔款准备资金,会低估这种集中负担。储备要覆盖的,是一次灾害同时触发的大批赔付。

技术

均值藏住卡顿

少数超慢请求能藏在漂亮的平均延迟里。一个结账接口处理了 100 次请求:99 次各用 0.1 秒,一次因下游超时用了 10 秒。平均耗时只有 0.199 秒,那位顾客却等了整整 10 秒。工程师要追查慢请求的触发路径,并设置超时和降级,让下游故障及时释放被占住的资源。

个人生活

赶飞机留余量

赶飞机时,严重堵车比平日平均车程更值得关注。一位上班族19 次通勤各花 30 分钟,一次因道路封闭花了 150 分钟,平均耗时是 36 分钟。按均值安排去机场,那次长延误就会让他错过航班。出发时间应给严重堵车留余量,出门前还要查替代路线是否畅通。

遇事时问自己

  1. 这个量受到身高那样紧的限制,还是能比普通值大上几百倍?
  2. 最大的几次结果占总量多少,去掉它们后平均值会变多少?
  3. 历史记录包含哪些严重冲击,最长的平静时期有多久?
  4. 哪些连接和连锁反应会把一次局部故障扩大成巨大损失?
  5. 如果结果远超历史最大值,我有哪些资源和退路可以承受它?

边界与误用

选分布前,先固定人群、时间尺度和所测的量。相近年龄、同性别的身高更适合正态近似;财富要看上尾,灾害要看损失规模。判断尾部应看极端值随规模增大如何变少,并结合损失扩大的机制。单次卡顿展示的是均值如何遮住极端体验,识别延迟分布还要观察更多请求。肥尾不等于均值和方差必然不存在,有些肥尾分布两者都有。最常见的误用,是沿用平静时期的均值和标准差,再套正态概率估算巨灾;记录短时,应把压力情景和可承受损失放进决策。

练一练

连锁餐饮集团的价格运营负责人准备启用自动调价脚本。过去一年,门店手工录错价格通常只影响一笔订单,平均修正成本为几十元。新脚本会把总部价格表同步到全国两千家店;若把“分”读成“元”,所有门店都会同时出错。负责人准备按去年的平均修正成本安排应急预算。

哪种判断最站得住?

早期投资基金的合伙人向出资人汇报一期基金的结果:向20家公司各投入同样金额,18笔归零,一笔收回本金的2倍,一笔收回本金的60倍。基金总共收回投入的3.1倍。出资人提出,最后一笔太特殊,评价基金时应该剔除它。

哪种评价最站得住?

办公室的行政主管接到咖啡杯溢出的投诉,记录了一个月的出杯量。咖啡机有两档:小杯约180毫升,大杯约360毫升;分别统计时,两档都只偏离设定值几毫升。主管把记录合并,看到直方图有两个峰,便把大杯那一峰解释为机器经常出现异常的大量出杯。

行政主管的哪一步判断出了问题?