这是一篇起源于糊弄文献综述时产生的废稿， 梳理概率论与数理统计的发展历史，标记一下物理中可能涉及的概率问题， 计划后续整理物理中具体的概率相关的话题.
概率预测未来
统计研究现实
随机事件——占卜
概率问题早期被讨论是出现在赌博中，最为著名的是 17 世纪三粒骰子最容易出现的总点数是 9 还是 10 的问题。当时赌博的人根据他们的经验，感到出现 10 的情况更多，而当时人们的认知里，总点数为 9 的数字组合为 6 种： $(1,2,6)$，$(1,3,5)$， $(1,4,4)$，$(2,2,5)$， $(2,3,4)$， $(3,3,3)$。 总点数为 10 的数字组合也为 6 种：$(1,3,6)$， $(1,4,5)$， $(2,2,6)$，$(2,3,5)$， $(2,4,4)$，$(3,3,4)$。意大利科学 Galileo $\cdot$ Galilei 注意到人们认知中的分析没有将三个骰子区分开，用现在的数学语言说人们分析可能性时使用了组合数，Galileo 认为应当将它们区分开，即使用排列数。比如 $(1,2,6)$ 对应的排列有 $A_3^3=3!=6$ 种。这样分析总点数为 9 有 25 种排列方式，总点数为 10 有 27 种排列方式。
Gerolamo Cardano 概率的古典定义。
概率论通常被认为起源于 17 世纪法国数学家 Blaise Pascal 和 Pierre de Fermat 的通信中. 当时一位法国贵族 De Méré 对赌博很感兴趣， 他对赌博中的一些问题感到困惑， 向 Pascal 请教， 具体问题是， A 和 B 两人赌博， 先赢 3 局为胜利， 但是在 A 赢了 2 局， B 赢了 1 局， 但是赌博意外终止， 那么应当如何分配两人预押的赌金才算公平. 假设两人赢得每局的概率都是 $1/2$. A 若赢得第 4 局， 他直接获胜. 若 A 输了第 4 局但是赢了第 5 局， 这件事发生的概率是 $1/4$. 因此 A 获胜的概率是 $3/4$， B 获胜的概率是 $1/4$. 因此奖金应按照 3:1 分配. 这个问题的分析中已经涉及到了概率的加法定理和乘法定理. 更进一步地， Pascal 提出了 Pascal 三角形解决 A 之后 $r$ 胜， B 之后 $s$ 胜的情况如何分配赌金.
随后荷兰科学 Christian Huygens 学习了 Pascal 与 Fermat 关于概率论的工作， 发表了 ⌈论赌博中的机会⌋ (De Ratiociniis in Aleae Ludo)， 被认为是概率论诞生的标志， 这一时期， 数学期望等概念已经出现， 概率被解释为事件在重复独立实验中发生的频率， 这一观点现在被称为频率学派 (Frequentist)， 概率论在频率学派的方向上发展.
17世纪末和18世纪初， 瑞士数学家 Jacob Bernoulli 对概率论进行了深入的研究， 撰写了 ⌈猜测的艺术⌋， 在这本书中提出了大数定律. 同时另一位法国数学家 De Moivre 在 ⌈机会学说⌋ 中提出了统计的独立性， 19 世纪， 英国数学家 Thomas Bayes 18 世纪的工作受到关注， 法国数学家 Pierre-Simon Laplace 撰写了 ⌈概率论的解析理论⌋ 其中提出了一些概率论的概念， 包括贝叶斯定理， 贝叶斯学派 (Bayesian) 开始萌芽. 贝叶斯学派与前文中提到的频率学派被称之为概率论中的两大学派. 与频率学派不同， 贝叶斯学派将概率解释为关于不确定性的量度.
统计
国势学 政治算术
19 世纪时，概率论的主流仍然是频率学派，这得益于德国数学家 Carl Friedrich Gauss、 法国数学家 Siméon Denis Poisson 和俄罗斯数学家 Andrey Markov 等人的研究. Gauss 在误差分析和正态分布的研究中为概率论的发展做出了重要贡献. Poisson 的贡献体现在泊松分布和泊松过程的研究上. Markov 提出了 Markov 链， 开拓了随机过程的研究.
19 世纪也有一些与贝叶斯学派相关联的理论在发展， 比如 Augustin-Louis Cauchy 提出的柯西分布. 柯西分布在统计学中经常被用作先验分布， 先验分布是一个贝叶斯学派的概念. 贝叶斯学派强调利用先验概率来描述基于经验、知识或者数据对事件的先前认识， 通过贝叶斯定理， 观测数据可以用来更新先验概率， 得到后验概率， 从而对事件的概率进行修正. 主观贝叶斯主义强调概率是一种主观度量， 反映了个体的信念， 这与频率学派的客观性观点形成了对比.
20 世纪初， R. A. Fisher 提出了参数估计的概念， 并且指出参数估计应该使观测数据的似然函数最大化， 于是提出了最大似然估计的方法， 用于估计概率分布的参数. Fisher 引入了一致性， 有效性， 充分性的概念评价估计的好坏.
20 世纪 30 年代， 俄罗斯数学家 Andrey Kolmogorov 发表了 ⌈概率论基础⌋， 提出了概率论的公理化框架.
20 世纪 40 年代， Claude Shannon 提出了信息论的基本概念， 将概率论引入了信息论的领域.
20 世纪 50 年代，John Tukey 和 James Wilkinson 提出了著名的蒙特卡洛方法， 利用随机抽样来解决数值计算问题.
Bradley Efron 和 Charles Stein 等统计学家在 20 世纪 60 年代至 70 年代提出 Bootstrap 方法和 Stein 估计. Judea Pearl 在 20 世纪 80 年代至 90 年代提出了因果推断， 将概率论和因果关系相结合， 推动了因果推断领域的发展.
20 世纪 90 年代， Fisher 的学生 C. R. Rao 证明了 Cramér–Rao 不等式.
…
Ref
牛顿科学世界-图解统计与概率
058550-01.pdf (tsinghua.edu.cn) 可能是《高等概率论基础及极限理论》