弹孔多的地方要不要加装甲?——幸存者偏差与 Wald 的反推
二战,前线基地里返航的轰炸机浑身弹孔:机翼、机身弹孔密密麻麻,发动机附近却相对干净。装甲有限、加多了飞不动——该加在哪?
直觉答案:弹孔多的地方,那里最常挨打。据 Wallis(1980)的回忆,军方当时也倾向加固返航飞机上中弹最多的部位。
哥伦比亚大学统计研究小组(SRG,1942 年夏成立)的 Abraham Wald 指出了这套推理的死穴:手头只有返航(幸存)飞机的中弹数据,被击落的飞机完全观测不到——直接用幸存者的弹孔分布评估飞机脆弱性,会产生系统性偏差。他在『命中大致均匀分布』的假设下反推:要害部位中弹的飞机更难返航,所以幸存样本里那儿弹孔反而少——发动机附近『干净』,不是因为不挨打,而是挨了打的都没能回来。
Wald 的真实方法比传说硬核得多:他写了 8 份备忘录《A Method of Estimating Plane Vulnerability Based on Damage of Survivors》,引入条件概率 p_i =『已中 i−1 弹幸存的前提下、第 i 弹被击落』,在『飞机仅因敌方火力坠落(L0=0,未中弹者不坠)』等明示假设下建立方程,从幸存数据反推未返航飞机的中弹分布,其中一份专门估计机身各部位的易损性。这套方法一直沿用到朝鲜战争与越南战争,备忘录 1980 年才由美国海军分析中心(CNA,报告号 CRC 432)重印公开。

各系都对女生不吃亏,总体为什么反过来?——辛普森悖论
1973 年秋,UC Berkeley 研究生院合计数据:男性申请 8442 人、录取约 44%;女性申请 4321 人、录取约 35%——差 9 个百分点,看似铁证如山的性别歧视。
Bickel、Hammel、O'Connell 在 Science(1975)逐系分析后剧情反转:多数院系对女性的录取率并不低。常用教学子集『六大系』合计:男 2691 人录 1198、女 1835 人录 557,其中 4 个系女性录取率反而更高;按系恰当合并后,甚至存在小而统计显著的、对女性有利的偏差。
合计与分组结论相反,凶手是混杂变量『申请的院系』:女性更集中申请竞争激烈、整体录取率低的院系,男性更多申请录取率高的院系。顺带拆一个常见讹传:『伯克利因此被起诉』实无其事——没有诉讼,是研究生院副院长担心可能被诉,才请统计学家核查数据。
这就是辛普森悖论:在每个子组内都成立(或都不存在)的关联/趋势,把子组数据合并后方向反转或消失。现象最早由 Pearson(1899)与 Yule(1903)注意到;Simpson 1951 年用 2×2×2 列联表说明『无二阶交互也不能机械地合并成 2×2 表来检验』;『辛普森悖论』这个名字由 Blyth 1972 年首次提出。

骂比夸管用?——均值回归、小样本与会撒谎的图表
Kahneman 给以色列空军飞行教官讲『奖励比惩罚更有利于技能学习』,一位资深教官反驳:学员被表扬一次漂亮动作后下次往往变差,被痛骂一次糟糕动作后下次往往变好——所以惩罚有效、表扬有害。
听起来无懈可击?破绽在:教官只在表现极端好时表扬、极端差时痛骂,而极端表现之后无论教官做什么,下一次都大概率向平均水平回归。教官把随机波动的必然回落/回升,错读成了自己奖惩的因果效果——这就是回归谬误(regression fallacy)。Kahneman 称这次顿悟是他职业生涯中最满足的 eureka 时刻之一。
『回归』的统计学起源:Galton(1886)测量 205 对父母(取『中亲』身高)与 928 名成年子女,发现父母偏离人群均值越多,子女平均只偏离约其 2/3——他称之为『向平庸回归(regression towards mediocrity)』,统计学『回归』一词即源于此文。要点:这是纯统计现象而非生物『退化』,任何相关不完全(|r|<1)的两个变量间都有,且方向对称(子女特别高的,其父母平均也没那么高)。凡『病重吃药后好转』『事故高发路段整改后事故减少』这类干预恰好发生在极端值之后的场景,先排除均值回归再谈疗效。
再连过两个快陷阱。
样本量忽视:某镇大医院每天约出生 45 名婴儿、小医院约 15 名,男婴比例约 50%——一年中哪家记录到『当日男婴超过 60%』的天数更多?Tversky & Kahneman(1974)的 95 名受试者中 53 人(56%)答『两家差不多』,答对『小医院』的只有 21 人(约 22%)。样本越小,比例的抽样波动越大,越容易越过 60% 门槛;凭『代表性』直觉以为大小样本同等反映总体,就是对『小数定律』的迷信——拿三五个用户、几天的数据就下结论,犯的是同一个错。
截断 Y 轴(Gee-Whiz Graph):Huff(1954)演示:折线图 Y 轴不从零起、再拉伸纵向比例,1% 的变化能画得像暴涨——数字没造假,印象全造假。Pandey 等在 CHI 2015 的众包实验证实这真骗得到人:看到截断轴柱状图的被试,对差距大小的感知被显著夸大;对倒转 Y 轴这类『信息反转』失真受骗率同样很高。Tufte 给了量化标尺:Lie Factor =(图形呈现的效应大小)/(数据中的效应大小),理想应约等于 1。

自测 · 学完检查一下
想真正动手做题、记进度、攒连胜?到互动课里练。
二战返航轰炸机机翼、机身弹孔密布,发动机附近却相对干净。按 Wald 的分析,有限的装甲最该优先考虑保护哪里?
答案:发动机等返航样本中弹孔少的部位——要害部位中弹的飞机大多没能返航,幸存数据里那儿弹孔反而少
手头只有返航(幸存)飞机的中弹数据,被击落的完全观测不到——直接用幸存者的弹孔分布评估飞机脆弱性会产生系统性偏差,这就是幸存者偏差。据 Wallis(1980):军方本倾向加固返航飞机上中弹最多的部位,而 Wald 假设命中大致均匀分布,推出『要害部位中弹的飞机更难返航,所以幸存样本里那儿弹孔反而少』。注意最后一个选项也错:数据不是没法用,Wald 恰恰建立了从幸存数据反推未返航飞机中弹分布的方法。(出处:Mangel & Samaniego, JASA 1984;Wallis, JASA 1980 rejoinder)
流行版故事里,Wald 当场怒怼军方:『装甲该装在没有弹孔的发动机上!』史实核查后,Wald 1943 年那 8 份备忘录里实际写的是什么?
答案:纯技术推导:引入条件概率 p_i(已中 i−1 弹幸存的前提下、第 i 弹被击落),在『飞机仅因敌方火力坠落(L0=0)』等明示假设下,从幸存数据反推未返航飞机的中弹分布——通篇没有任何『装甲应装在哪』的建议
史实核查(Casselman, AMS 2016):Wald 的 8 份备忘录是纯技术推导,通篇没有任何『装甲应装在哪』的建议——SRG 惯例只回答统计问题、不替军方做决策。那句名言查无一手出处,绘声绘色的对话属后人『合理重构』;关于这段工作的一手史料只有备忘录本身和 Wallis 回忆录中两处未点名的简短提及。故事的真实内核载于 Wallis 1980 年 JASA rejoinder:军方倾向保护中弹最多的部位,Wald 以『命中均匀分布』假设推断要害部位中弹者难返航。备课引用时应把『方法史实』与『传说细节』分开陈述。(出处:Casselman, AMS Feature Column 2016;Wallis, JASA 1980)
判断:那张流传极广的『机身布满红色弹孔』飞机示意图,并不是 Wald 当年的史料,而是设计师 Cameron Moll 约 2005 年为演讲自绘的现代插图(维基百科 2016 年重绘版流传最广)。
答案:正确
正确。图作者 Cameron Moll 本人自述:这张红点飞机图是他约 2005 年为演讲创作的现代插图,并非出自 Wald 之手;今天流传最广的是维基百科 2016 年的重绘版。这里藏着本课最好玩的自反梗:讲幸存者偏差的配图本身就是幸存者偏差的活标本——传播中『幸存』下来的是最戏剧化的版本(名言 + 红点图),枯燥的一手备忘录反而没人看见。转发前先问一句:这个『史料』的一手出处在哪?(出处:Moll, 'Abraham Wald and the airplane diagram — origin story';Casselman, AMS 2016)
1973 年秋伯克利研究生院:男性申请 8442 人录取约 44%,女性申请 4321 人录取约 35%,看似歧视女性;可 Bickel 等逐系分析发现多数院系对女性录取率并不低,六大系里 4 个系女性录取率反而更高。总体与分系为什么反向?
答案:混杂变量『申请的院系』作怪:女性更集中申请竞争激烈、整体录取率低的院系,男性更多申请录取率高的院系——按系恰当合并后甚至存在小而统计显著的、对女性有利的偏差
这是辛普森悖论最著名的真实案例:合计与分组结论相反的原因是混杂变量『申请的院系』——女性更集中申请竞争激烈、整体录取率低的院系。六大系合计男 2691 人录 1198、女 1835 人录 557,其中 4 个系女性录取率更高;按系恰当合并后甚至存在小而统计显著的、对女性有利的偏差。样本量解释不成立(上万人的样本,9 个百分点远非随机波动)。另一个常见讹传是『伯克利因此被起诉』——实无诉讼,是研究生院副院长担心可能被诉才请统计学家核查数据。(出处:Bickel, Hammel & O'Connell, Science 1975)
判断:遇到辛普森悖论时,该相信合并数据还是分组数据,是一个纯数学问题——只要算得足够仔细,数学本身就能给出答案。
答案:错误
错误。该信合并还是分组不是数学能单独回答的问题,取决于分组变量在因果结构中的角色:是混杂变量就该分组/调整(如伯克利案的院系),是处理结果的中介就不该调——Pearl 用因果图把这一判定形式化。背景补一课:现象最早由 Pearson(1899)与 Yule(1903)注意到;Simpson 1951 年用 2×2×2 列联表说明『无二阶交互也不能机械地合并成 2×2 表来检验』;『辛普森悖论』这个名字由 Blyth 1972 年首次提出。(出处:Simpson, JRSS B 1951;Blyth, JASA 1972;Pearl, UCLA R-414)
以色列空军飞行教官发现:学员被表扬一次漂亮动作后下次往往变差,被痛骂一次糟糕动作后下次往往变好,于是断定『惩罚有效、表扬有害』。Kahneman 指出这个推理错在哪?
答案:均值回归:表扬只发生在极端好、痛骂只发生在极端差的表现之后,而极端表现之后无论教官做什么,下一次都大概率向平均水平回归——教官把随机波动的必然回落/回升错读成了奖惩的因果效果
这是回归谬误(regression fallacy)的教科书案例:教官只在表现极端好时表扬、极端差时痛骂,而极端表现之后下一次本来就大概率向均值回归——『变差』『变好』与奖惩无关。Kahneman 在《思考,快与慢》里称这次顿悟是他职业生涯中最满足的 eureka 时刻之一;案例在 Tversky & Kahneman 1974 年 Science 论文『对回归的误解』一节即有记载。凡『干预恰好发生在极端值之后』的场景(病重吃药后好转、事故高发路段整改后事故减少),都要先排除均值回归再谈干预疗效。(出处:Tversky & Kahneman, Science 1974;Kahneman, Thinking, Fast and Slow ch.17)
统计学『回归』一词的起源:Galton 1886 年测量 205 对父母(取『中亲』身高)与 928 名成年子女的身高,他发现了什么?
答案:父母偏离人群均值越多,子女平均只偏离约其 2/3:高个父母的孩子平均比父母矮、矮个父母的孩子平均比父母高——他称之为『向平庸回归』,『回归』一词由此而来
Galton 发现父母偏离人群均值越多,子女平均只偏离约其 2/3(原文 'as 2 to 3'),并称之为『向平庸回归(regression towards mediocrity)』——统计学『回归』一词即源于此文。两个要点:① 这是纯统计现象而非生物『退化』,任何相关不完全(|r|<1)的两个变量间都有均值回归;② 方向对称——子女特别高的,其父母平均也没那么高。凡『极端表现之后回落』的场景(超常发挥后下滑、冠军次年变平庸),第一反应应排查均值回归,而不是急着找因果解释。(出处:Galton, Journal of the Anthropological Institute 1886)
某镇大医院每天约出生 45 名婴儿,小医院约 15 名,男婴比例约 50%。一年中哪家医院记录到『当日男婴超过 60%』的天数更多?
答案:小医院——样本越小,比例的抽样波动越大,越容易越过 60% 门槛
正确答案是小医院:样本越小,比例的抽样波动越大,越容易越过 60% 门槛。这道 Tversky & Kahneman 1974 年 Science 论文里的题目,95 名受试者中 53 人(56%)答『两家差不多』,答对的只有 21 人(约 22%)——人们凭『代表性』直觉认为大小样本同等反映总体,对样本量不敏感,Tversky & Kahneman 称之为对『小数定律』的迷信(误以为小样本也服从大数定律)。日常版陷阱:拿三五个用户、几天的数据就下结论,正是同一错误。(出处:Tversky & Kahneman, Science 1974;Kahneman & Tversky, Cognitive Psychology 1972)
判断:只要图表里的数字本身没有造假,这张图就谈不上误导——截断 Y 轴只是排版上的选择,不会影响读者的判断。
答案:错误
错误。Huff 在《How to Lie with Statistics》的 'The Gee-Whiz Graph' 一章演示:折线图 Y 轴不从零起、再拉伸纵向比例,1% 的变化能画得像暴涨——数字没造假,印象全造假。而且这不是杞人忧天:Pandey 等在 CHI 2015 的众包实验证实,看到截断轴柱状图的被试对差距大小的感知被显著夸大,对倒转 Y 轴这类『信息反转』失真受骗率同样很高。所以读图第一步永远是看轴起点与刻度。(出处:Huff 1954;Pandey et al., Proc. ACM CHI 2015)
关于防图表误导的实用守则,下面哪条是对的?
答案:柱状图以长度编码数值,基线必须为零;折线图基线可以不为零但应明示;读图先看轴起点与刻度——Tufte 的 Lie Factor(图形呈现的效应大小 / 数据中的效应大小)理想应约等于 1
实用守则:柱状图以长度编码数值、基线必须为零;折线图基线可不为零但应明示;读图先看轴起点与刻度。Tufte 提出 Lie Factor =(图形呈现的效应大小)/(数据中的效应大小),理想应约等于 1——远大于 1 就是图形在夸大数据。注意第一个选项过头了:『折线图必须从零起』并不是规则,折线图允许非零基线(但要明示),必须零基线的是用长度编码数值的柱状图。(出处:Tufte, The Visual Display of Quantitative Information 1983;Huff 1954;Pandey et al., CHI 2015)