文/姚斌
!
如何理解这个世界所遇到的种种问题?英国皇家学会院士、皇家统计学会前会长戴维·施皮格尔霍尔特在《统计的艺术》中以统计科学的视角回答了这个问题。他在几乎不使用数学公式的情况下,为我们提供了一套扎实的统计学入门基础知识。让我们聚焦于以下几个问题:随机性、因果关系、概率论和贝叶斯定理。
■ 随机性:无数种可能性中的一种
几个世纪以来,统计学一直都是我们认知世界的最重要的工具之一。但统计学家们总是无法回避两大难题:①数据几乎总是无法完美衡量我们的喜好程度;②任何一个我们试图将其数据化的事物都会因地点、人物、时间产生差异,核心的问题在于,我们该如何从这些看上去有些随机的变异性中提炼出有价值的结论。
虽然人类每时每刻都在计算测量,但直到17世纪50年代左右,现代统计学才开始真正逐渐发展成一门独立学科。布莱瑟·帕斯卡和皮埃尔·费马在这一时期首次正确理解了概率论。由于有了处理变异性的坚实数学基础,统计学也得以迅速发展。结合人死亡年龄的数据,概率论为计算养老金和年金提供了坚实的基础。当科学家们掌握了如何利用概率理论处理衡量中的变异性时,天文学也经历了革命性的变革。在维多利亚时代,很多数学爱好者痴迷于收集人体数据,这使得统计分析和遗传学、生物学、医学之间建立了紧密联系。
到了20世纪,统计学变得更加数学化。然而,对许多学生和从业者来说,统计学似乎仅仅是对一套统计工具机械应用的代名词。这种将统计学视为一种工具,并机械地应用于各种情景,而没有更深入理解和思考的观点,目前正面临的重大挑战。事实上,数据处理量正在变得越来越大,科学研究的数量和复杂度也在不断攀升,我们越来越难以归纳出合理的结论,这使得我们对统计知识的需求不降反增。面对愈加庞杂的数据,我们必须更深入了解数据的价值所在。我们必须意识到选择性报道的危害,科学成果可以有不同的、独立的研究人员复现的必要性,以及对某些特定研究进行断章取义、过度解读可能产生的种种隐患。
分析数据的过程就是“归纳推理”的过程。但与归纳推理相比,更重要的是“演绎推理”。柯南·道尔笔下的歇洛克·福尔摩斯就经常使用演绎推理,冷静分析出真凶的身份。在现实生活中,演绎推理就是利用缜密的逻辑分析,根据一般性原理推导出特定结论。然而,归纳推理刚好和演绎推理相反,它是从特定的案例出发,推导出一般性结论。演绎推理和归纳推理最关键的区别就是,前者在逻辑上是确定的,后者通常是不确定的。
所谓的“总体分布”就是全部相关群体的分布模式。体重、收入、身高等观测值,可以被视为连续变量,相应的总体分布是平滑曲线。这类分布中最为经典的就是正态分布或称钟形曲线,1809年,卡尔·弗里德里希·高斯在研究天文学和测量学中的测量误差时,首次对正态分布进行了详细探讨。理论表明,正态分布适用于受大量微小因素影响的现象。比如受大量基因影响的某些复杂的身体特征。正态分布最重要的两个指标是平均数和标准差。高尔顿认为正态分布属于“无序当中存在着有序性”,简直是一种奇迹:“世界越是暴动,越是混乱,它的统治反而就越加完美,它是非理性事物的最高准则”。
所谓的“总体”既可理解为由全部个体组成的物理实体,也可以理解为随机观测的概率分布。抽样调查的数据来自人、交易、树,或是其他什么事物,样本背后的“总体”可以分为三种:总体就是全部人群;总体指的是“一个理想化的概念中的全体”;总体只是一个比喻,实际上并不存在某个更大的群体。这是一种比较特殊的群体。
对此,我们可以发挥想象力。将观测到的某个事物看作从某个理想化的空间中抽取出来。例如,虽然“世界史”就是世界上真实发生过的历史,没有什么总体可言,但我们可以设想不同的世界线、不同的历史走向,并假定我们的历史只是众多可能性当中的一种。这些虚构的可能性共同构成一个理想的总体。例如,在研究2012~2015年英国儿童心脏手术的情况时,我们已经掌握了期间所有的手术数据,明确知道一共有多少儿童死亡,有多少儿童存活。不过,我们可以设想另一种方式的历史情景——在某些不可预知的“偶然因素”的影响下,不同的个体得以存活下来。
在实际应用中,统计学很少会真的涉及随机抽样过程。“已经拥有全部数据,无法收集更多数据”的情况正在变得越来越普遍。尽管如此,仍然有必要设想一个理想化总体,并假定我们的“样本”来自这个总体。因为这样一来,我们就可以便捷地使用那些为“真正在某个总体中进行随机抽样调查”所开发的数学工具了。就施皮格尔霍尔特个人而言,他更喜欢把周边发生的一切当作无数种可能性中随机发生的一种。至于我们到底应该把这一切当做偶然的结果,抑或其他什么因果理论,都完全取决于我们自己。
■ 因果关系:偶然因素占据结果
人们似乎总是喜欢用简单的因果关系来解释各种事情,但因果关系是一个极具争议性的概念。我们一直都忽略这样的一种可能性:我们观察到的只是相关性而不是因果性,结果可能是偶然因素造成的。将20世纪90年代英国儿童心脏手术数据绘制成图后可以发现,病例数与存活率之间存在高相关性——手术量越大的医院,其术后死亡率越低。但我们并不能就此认为,手术量大是死亡率低的原因。
我们根据统计数据总结出来的因果关系,其实并没有严格遵循决定论。我们说X会导致Y并不是指每次X发生时Y都会发生;也不是指只有在X发生了的情况下Y才会发生。我们的意思只是:如果我们进行干预,促使X发生,那么Y往往也会随之发生。因此,我们永远不能说在某个具体案例中,X导致了Y的发生,我们只能说X提高了Y发生的概率。在分析谁是原因,谁是结果时,我们要格外注意两件事:第一,为了更有把握地推断因果关系,我们最好亲自动手做实验;第二,由于事件本身含有大量随机因素,我们的实验次数必须足够多,才能积累出可靠的证据。
我们的行动确实会影响到一些事物,但事物的结果并不一定是我们造成的。这个道理虽然很简单,但经常会被人遗忘:我们总是喜欢对结果做出一些解释,尤其是当事件以我们为中心的时候。这种解释有时是正确的,如果你按下开关,灯亮了,那这个结果就是你造成的。但有时你的行动明显和结果无关:如果你出门没带伞,结果下雨了,那并不是你的错。在大多数情况下,我们并不容易分辨出行动与结果之间的关系。我们有一种“将事物变化归因于自己的干预行为”的强烈心理倾向,这种心理很容易让我们在分析前因后果的时候犯下错误。
好运和霉运都不会永远持续下去,最终一切都会回归平常。这是均值回归的一种表现。不过,如果我们认为好运或霉运都是永恒的,那我们就会错误地认为,均值回归也是我们进行干预的结果。虽然道理很明显,但它的影响却非常广泛。比如,主动型基金经理连续好几年业绩优秀,被人交口称赞,但不久之后其业绩开始一落千丈。足球队的经理在球队连续溃败之后被解雇了,新经理来了之后,球队开始转败为胜,这本来是一种均值回归的现象,但人们往往会认为新经理功不可没。在各种体育赛事中,运气一直都发挥着相当大的作用。均值回归意味着很多时候,表现出色的球队在下一年状态会开始下滑,而表现糟糕的团队在下一年状态会开始上升,尤其是在球队实力相差不大的情况下。
一个多世纪以来,统计工具一直都在各个领域中发挥着重要作用。随着大数据的普及计算能力的提升,各种模型正变得越来越复杂。如果把现实比作领土,那模型就相当于地图。有些地图明显比其他地图好一些:在城市里开车,一幅简化的地图可能就够了,但在乡村行走时,我们就需要一幅更详尽的地图。英国统计学家乔治·博克斯曾说过这样一句名言:“所有模型都是错的,不过也有一些是有用的。”博克斯之所以能够总结出如此精辟的观点,是因为他一生都在为工业领域提供专业的统计知识,这段经历让他既认识到了模型的力量,也看到了过于相信模型所暗藏的危险。
2007~2008年席卷全球的金融危机,很大程度上要归咎于人们对那些用来确定金融工具风险的复杂模型的过度信任。这些模型通常会假定抵押贷款违约事件之间的相关性不大。虽然在房地产市场非常繁荣时,这类模型可以正常运作,但当情况发生时违约事件开始大规模出现时,这类模型就会出现巨大问题:真实的相关性大于模型假定的相关性,这意味着模型严重低估了违约风险。那些高级经理完全忘记了这些模型的理论基础十分脆弱,忘记了模型只是真实世界的简化版——模型只是地图而非实际领土。由此导致的结果就是严重程度数一数二的全球性经济危机。
■ 概率论:必然涉及随机性
概率论不仅可以告诉我们未来的预期结果,也可以告诉我们过往数据中所蕴含的规律,这就是统计推断伟大思想的基础。概率论主要研究随机现象的数量规律,核心是分析随机事件发生可能性的数学理论。然而,当应用概率论分析时,会遭遇三种情况:在第一种情况下,概率论非常有用——数据来自某些随机事物,例如掷骰子、抛硬币,或利用伪随机数生成器对治疗对象进行分组,然后记录不同组别的治疗效果。第二种情况,利用随机过程抽取已有数据,例如在人群中抽取调查样本。第三种情况,事件根本不具有随机性,但我们必须假装数据是随机产生的,比如孩子出生时的体重。
大多数教材都不会对这些情况加以区分。一般来说,教师们会用随机事物来教授概率知识(第一种情况),用随机抽样来教授统计知识(第二种情况)。但事实上,大多数应用统计既不会涉及随机事物,也不会涉及随机过程(第三种情况)。
在对随机事物采取任何动作之前,我们会列出一些可能出现的观测结果,以及各结果的概率。例如,抛硬币有正面朝上和背面朝上两个结果,每个结果的概率都是1/2。如果我们用数字来表示各个结果,比如用1表示正面朝上,用0表示背面朝上,那我们就可以得出随机变量的概率分布。观察到结果的那一刻,随机性就会消失,所有可能出现的未来都坍缩到了眼前的具体结果上。同样,对于第二种情况来说,如果我们随机抽取一个个体来研究收入情况,那我们本质上也是从收入分布这个总体中随机获取到了一个观测值。
由此可见,随机事物必然会涉及概率论。但大多数情况下,我们只需要考虑目前已掌握的观测量,哪怕数据的收集方式没有那么正式。有些时候,已掌握的观测量其实就是全部有可能出现的观测量。以不同医院的儿童心脏手术存活率和全英国所有儿童的考试成绩为例,它们都已经包含了所有可能出现的数据,自然也谈不上什么随机抽样了。
当恶性事件接二连三地发生时,如飞机频繁失事或自然灾害频发,我们会本能地认为这些事件之间存在某种关联。但是,这些事件不涉及随机抽样,也没有明确的随机因素,只是这个极其复杂、不可预测的世界每天都会发生的事件而已。不管这些事件是运气使然也好,命中注定也好,我们把它们看作某种概率因素的随机结果。
我们所有人共同构成一个整体,其中每个人都有很小的概率成为某个事件的受害者。这类数字可以用“泊松分布”的观测结果来表示。泊松分布最早由法国数学家西梅翁·德尼·泊松于19世纪30年代提出,用以分析每年出现的冤假错案的分布规律。之后,泊松分布就被人们用来模拟各种“单位时间内随机事件发生的次数”的情况。比如,足球队在某场比赛中的进球数、每周彩票中奖的次数、每年被战马踢死的普鲁士军官的人数等等。所有类似的情况中,事件都有大量发生机会,但每次发生的概率都很低,这就是泊松分布的主要特征。事件发生的概率非常低,但并非不可能。每个人都有概率被谋杀的可能性,只不过这些案件并没有真的发生——我们观察到的世界只是众多平行世界中的一个,就像我们抛硬币的结果只是众多可能会出现的结果中的一种。
单个数据可能来自各种各样的总体分布,其中有些分布可能会高度偏斜,也可能会带有很长的尾状数据,例如收入分布。瑞士数学家雅各布·伯努利发现,左撇子随着样本规模的增大,其比例的变化幅度将越来越小。对此,他提出了“大数定律”:抛一枚硬币,正面朝上记为1,背面朝上记为0,这就是所谓的伯努利实验,其结果为伯努利分布。如果你持续不断地抛一枚公平的硬币,持续不断地进行伯努利实验,那么两种实验结果的占比就会越来越接近于50%,即我们观察到的比例越来越接近于真实比例。在这种情况下,如果有人认为连续出现几次正面之后,下次就更容易出现背面,这就是所谓的“赌徒谬误”——一种很难矫正的认知偏差。因为硬币自己是没有记忆力的,即使之前的比例有些失衡,它也不会主动去弥补之前的差距。
■ 贝叶斯定理:在经验中学习进步
生活在18世纪的托马斯·贝叶斯生前是位英国牧师。为了证明上帝的存在,他发明了概率统计学原理,遗憾的是,他的这一美好愿望至死也未能实现。贝叶斯在数学方面主要研究概率论。他首先将归纳推理法用于概率论基础理论,并创立了贝叶斯统计理论,对于统计决策函数、统计推断、统计的估算等做出了贡献。然而,直到他去世的时候,人们根本不知道他为世人留下了如此宝贵的知识财富。直到20世纪左右,人们才将他的名字和他提出的统计思想联系起来。
贝叶斯以一种全新视角去分析极为复杂的数据。他为统计思想做出的第一个贡献就是用概率来表达我们对世界或某个世界的无知程度。他认为,概率不仅可以用来表示随机不确定性,比如某些会受到偶然因素影响的、不可预测的未来事件,也可以用来表示认知不确定性,比如某些其他人知道,但我们自己并不知道的事件。
我们身边存在很多结果已经确定、只是我们并不清楚的事件。比如,赌博时猜测下一张是什么牌、买刮刮乐彩票、讨论婴儿出生后是男是女、猜测侦探小说结局、估测野生老虎的数量等等。所有这些事件都存在确定的结果,只是我们不知道而已。根据贝叶斯思想,即便是已经有确切结果的事件,我们也可以用概率来表示我们对这些事件和结果的无知程度。这些概率取决于我们对事件的了解程度。因此贝叶斯概率必然具有主观性。
当我们掌握了新信息之后,这些概率也应该随之更新。这就是贝叶斯为统计思想做出的第二个重要贡献:我们可以不断根据新证据去修正当前的概率。这就是著名的贝叶斯定理。本质上,贝叶斯定理为我们提供了一种在经验中学习进步的正式方法。贝叶斯为世人留下的这项宝贵财富表明,数据本身只是数据而已,得出结论的关键在于我们的外部知识,以及我们的判断力。虽然这听上去和我们认知中的科学研究有着很大出入,但背景知识和个人理解其实一直都在数据分析过程中发挥着举足轻重的作用,贝叶斯方法只不过是为这种方式提供了一种更可靠的数学基础而已。
虽然统计推断的理论根基一直处于巨大的争议当中,但数据质量和科学研究的可靠性比这个争议更重要。很显然,评估统计结论是否足够可靠已经成为现代社会的一项关键技能,而施皮格尔霍尔特的《统计的艺术》已经为我们做出一个明确的指引。