经济学 · 16/17
古德哈特定律Goodhart's Law
当人们能绕过真实成果来提高指标,把指标当目标就会使它失真。
富国银行要求员工多开户,员工就替客户开出了他们没要的账户。2016年9月8日,美国消费者金融保护局在华盛顿公布调查结果。局长理查德·科德雷指出,员工为完成销售目标、拿到奖金,未经客户同意开设账户。他们还把客户原有账户里的钱转进去,有些客户因此被收取额外费用。该局对银行罚款1亿美元。报表上的账户越来越多,数字本该代表的客户需求却被绕开了。
为什么成立
数字能上涨,事情却没变好
提前关单,就能让客服的结单率达到100%。原来10张工单解决8张,结单率是80%。主管要求全部结单后,员工把剩下2张也标为完成。报表显示全部完成,客户仍有2个问题没解决。数字记录的是工单状态,主管想要的是问题得到解决。
追逐指标会改变它与成果的关系
古德哈特定律说的是:把指标当目标,会改变它原本代表的东西。过去,客服解决问题后才关单,结单率能反映工作成果。考核只看结单率后,提前关单也能得分。过去能预测好结果的数字,不等于推高它就能创造好结果。指标留下了通往高分的捷径,人们便绕开了真实目标。
认真达标也会挤掉重要的工作
员工诚实地完成任务,也能让指标失真。为了多结单,客服专挑简单问题,把复杂问题留在队列里。每张已关闭的工单都确实解决了,最需要帮助的客户却等得更久。被计分的工作得到更多投入,没有被计分的工作受到冷落。
核查真实结果才能堵住捷径
绕过成果越便宜,达标压力越强,追逐数字就越有吸引力。主管可以抽查客户的问题是否解决,并追踪关单后的再次求助。这些检查能揭开漂亮报表背后的缺口。若新增指标同样容易操纵,员工只是从追逐一个数字变成追逐一组数字。
出处
古德哈特定律源于货币经济学。英国经济学家查尔斯·古德哈特于1975年提出,依据历史统计关系来控制经济,会破坏原有关系。他的依据是英国货币管理经验。1997年,人类学家玛丽莲·斯特拉瑟恩将其概括为今天常见的指标与目标表述。
换个领域看
教育
高分掩盖落后
改高考试成绩,会让学校看不见需要帮助的学生。2011年,佐治亚州公布对亚特兰大公立学校的调查。调查针对2009年考试,认定178名教师和校长参与作弊。达标压力被列为主要原因。虚高的分数让数千名学生失去补习机会,成绩表变好了,教学补救却被挡住了。
投资
每股增长的捷径
每股收益增长,可以靠减少股数完成。管理层把每股收益翻倍设为目标。利润保持100万元,股数通过回购从100万股降到50万股。每股收益便从1元升到2元。公司花掉了现金,经营利润却没增长。若投资者把达标当成经营改善,就把资本操作读成了业务进步。
个人学习
读完取代理解
把读书本数当目标,会让选书偏向容易读完的书。上班族给自己定下每月读完四本的任务。月底还差两本,他就挑两册薄的熟悉题材。那本读到一半、正在挑战自己理解的书,被放回书架。月底清单满了,原来想弄懂的问题仍卡在那里。
遇事时问自己
- 我真正想改善什么,这个数字记录了其中哪一部分?
- 只求数字达标,最快的办法会怎样绕过或损害真实目标?
- 考核开始后,人们改变了哪些做法,指标还能代表原来的成果吗?
- 哪些难做但重要的事情,会因为不能计分而被搁置?
- 我能抽查什么真实结果,发现数字上涨却事情变差?
边界与误用
指标紧贴真实成果、又难以被绕过时,把它当目标仍能推动改善。仓库若逐单核实错发,降低错发数量就直接改善了发货质量。若员工能把错发改记成客户退货,这个数字才会偏离目标。古德哈特定律不是放弃量化的理由。用它解释失真,要指出考核怎样改变行为,以及行为怎样破坏指标的含义。普通测量误差和随机波动没有这条路径,不能只因数字异常就套用它。
练一练
外卖平台的支付运维组按“成功请求中,响应低于200毫秒的占比”领取季度奖金。统计不包含报错请求。考核开始后,运维组把超时时限从5秒改成200毫秒,慢请求直接报错。月底,达标占比上升,顾客付款失败的投诉也增加了。
对这次指标改善,哪种判断最站得住?
分别负责看起来能让分工更清楚。但运维提高分数的做法正在制造付款失败,客服接手投诉没有堵住源头。
响应数据变好了,容易让人以为付款更快。但慢请求只是变成了错误,顾客反而更难完成付款。
让慢请求报错就能提高分数。奖金推动了这条捷径,数字变好,付款体验却变差了。
恢复原时限能减少这次改动造成的失败,所以这个办法很诱人。但评分仍排除报错请求,让慢请求报错的捷径还在。
平台想让顾客顺利、快速地付款,奖金却只奖励成功请求中的响应速度。运维组把慢请求变成错误,绕过了真实目标。检查全部请求的付款成功率,才能看见这份报表漏掉的损失。
证券营业部举办客户年度投资评比,按“卖出交易中盈利的比例”排名,不看未卖出的持仓。一位用退休储蓄参赛的客户开始在股票小涨时卖出,亏损股票则继续持有。年底,他卖出的交易九成盈利,账户总资产却比年初少了。
如果继续沿用这项评比规则,接下来最可能怎样?
卖出胜率高,容易让人想到选股能力强。但不卖亏损股票就能保住分数,规则给了客户另一条更省力的路。
交易少时,胜率确实更容易受偶然结果影响。但这里已经出现了挑选统计对象的做法,多卖几笔盈利股票仍会掩盖持仓亏损。
耐心持有有时能避免追涨杀跌,所以等待回本听起来合理。但这项规则让卖出亏损股票扣分,鼓励的是拖延认亏,而非重新判断持仓价值。
亏损股票只要不卖,就不会拉低评分。规则奖励客户挑选进入统计的交易,账户里的损失却依然存在。
评比想识别投资能力,却只统计已经卖出的交易。客户为了排名改变卖出选择,账户缩水也能获得高分。评价投资结果要覆盖整个账户,把尚未卖出的持仓盈亏也算进去。
市环境监测站更换了一批空气监测仪,公布的颗粒物浓度随后明显下降。同地点的独立设备读数没有变化。检修人员发现,新仪器使用了错误的换算系数;监测员仍按原流程操作,也没有与浓度读数挂钩的考核或奖励。
对这次数据变化,哪种判断最站得住?
增加监测项目能提供更多信息,看起来会让判断更稳。但其他项目不会改正颗粒物浓度的换算错误,这项读数仍会偏低。
公开数据有时会带来压力,暂停公布看起来能减少干扰。但题中人员沿用原流程,查明的问题在换算系数,取消公布不会修正读数。
检修已经找到了读数偏低的具体原因。修正换算系数,再与同地点的独立设备对照,能直接检查问题是否解决。
错误让数据变漂亮,容易让人怀疑有人刻意操作。但题中没有浓度达标考核,检修发现的换算错误也没有交代人为达标这条原因。
这里的数据失真来自换算错误,属于测量问题。模型解释的是把指标当目标后,人们改变行为,进而破坏指标与成果的关系;这个处境没有这条路径。修正系数并核对读数,才是针对已知原因的处理。