Wallis 公式、Stirling 公式与正态分布

wallis,公式,stirling,正态分布 · 浏览次数 : 115

小编点评

**3 对二项式系数的估计 (nk)pkqn−k∼12πnpqexp(−12x2)** **1. kln⁡npk=-(np+xnpq)ln⁡np+xnpqnp** **2. n2πk(n−k)≈12π(p+xpqn)(q−xpqn)** **3. P(X¯n=x)=P(Xn=k)∼12πnpqexp(−12x2)**

正文

参考：

张筑生《数学分析新讲》第二册^[1]
张颢《概率论》^[2]
Wikipedia, Math StackExchange, etc.

1 Warm up

Example 1 求 $lim_{n \to \infty} \frac{(2 n - 1)!!}{(2 n)!!} = lim_{n \to \infty} \frac{1 \times 3 \times 5 \times \dots \times (2 n - 1)}{2 \times 4 \times 6 \times \dots \times 2 n}$

Solution. 用放缩 $2 k > \sqrt{(2 k - 1) (2 k + 1)}$ 拆分母即得 $\frac{(2 n - 1)!!}{(2 n)!!} < \frac{1}{\sqrt{2 n + 1}} \sim 0$

Example 2 (中心二项式系数) 求 $lim_{n \to \infty} \frac{(\binom{2 n}{n})}{2^{2 n}}$

Solution. $\frac{(\binom{2 n}{n})}{2^{2 n}} = \frac{(2 n)!}{2^{2 n} (n!)^{2}} = \frac{(2 n)!}{(2^{n} n!)^{2}} = \frac{(2 n)!}{(2 n!!)^{2}} = \frac{(2 n - 1)!!}{2 n!!} < \frac{1}{\sqrt{2 n + 1}} \sim 0$

上两例有没有更精确的渐进估计？这便是我们马上要研究的问题．

2 Wallis 公式

Lemma 1 (Wallis 积分公式) 定积分系列 $J_{n} = \int_{0}^{\frac{π}{2}} \sin^{n} x d x$ 满足 $\begin{aligned} J_{2 n} & = \frac{(2 n - 1)!!}{(2 n)!!} \cdot \frac{π}{2} \\ J_{2 n + 1} & = \frac{(2 n)!!}{(2 n + 1)!!} \cdot 1 \end{aligned}$

Proof. 我们的思路是：先把一个 $\sin x$ 放进微分中，然后分部积分得到递推式．

$\begin{aligned} J_{n} & = \int_{0}^{\frac{π}{2}} \sin^{n} x d x \\ = - \int_{0}^{\frac{π}{2}} \sin^{n - 1} x d \cos x \\ = {[- \sin^{n - 1} x \cos x]}_{0}^{\frac{π}{2}} + \int_{0}^{\frac{π}{2}} \cos x d \sin^{n - 1} x \\ = (n - 1) \int_{0}^{\frac{π}{2}} \cos^{2} x \sin^{n - 2} x d x \\ = (n - 1) \int_{0}^{\frac{π}{2}} (1 - \sin^{2} x) \sin^{n - 2} x d x \\ = (n - 1) \int_{0}^{\frac{π}{2}} \sin^{n - 2} x d x - (n - 1) \int_{0}^{\frac{π}{2}} \sin^{n} x d x \\ = (n - 1) J_{n - 2} - (n - 1) J_{n} \end{aligned}$

故 $J_{n} = \frac{n - 1}{n} J_{n - 2}$ 边界条件 $\begin{aligned} J_{0} & = \frac{π}{2} \\ J_{1} & = \int_{0}^{\frac{π}{2}} \sin x d x = 1 \end{aligned}$ 代入递推式求解就得到了要证的结论．

Theorem 1 (Wallis 公式) $\frac{π}{2} = lim_{n \to \infty} \frac{1}{2 n + 1} {(\frac{(2 n)!!}{(2 n - 1)!!})}^{2}$

Proof. 注意到在积分区间上， $\sin^{n} x \geq \sin^{n + 1} x$ ，由积分的单调性， $J_{n}$ 随 $n$ 单调递减，故 $J_{2 n + 1} \leq J_{2 n} \leq J_{2 n - 1}$ 成立．代入 Lemma 1 中得到的结果 $\frac{(2 n)!!}{(2 n + 1)!!} \leq \frac{(2 n - 1)!!}{(2 n)!!} \cdot \frac{π}{2} \leq \frac{(2 n - 2)!!}{(2 n - 1)!!}$ 移项得 ${(\frac{(2 n)!!}{(2 n - 1)!!})}^{2} \frac{1}{2 n + 1} \leq \frac{π}{2} \leq {(\frac{(2 n)!!}{(2 n - 1)!!})}^{2} \frac{1}{2 n}$

现在只需说明 RHS 与 LHS 的差是一个无穷小． $\begin{aligned} {(\frac{(2 n)!!}{(2 n - 1)!!})}^{2} (\frac{1}{2 n} - \frac{1}{2 n + 1}) & = {(\frac{(2 n)!!}{(2 n - 1)!!})}^{2} (\frac{1}{2 n (2 n + 1)}) \\ = {(\frac{(2 n - 2)!!}{(2 n - 1)!!})}^{2} \frac{2 n}{(2 n + 1)} \end{aligned}$ 由 Example 1 ， $lim_{n \to \infty} \frac{(2 n - 2)!!}{(2 n - 1)!!} = 0$ ，故上式确为一个无穷小，定理得证．

Wallis 公式还有其它表现形式： $\frac{2^{2 n}}{(\binom{2 n}{n})} = \frac{(2 n)!!}{(2 n - 1)!!} \sim \sqrt{π n} (n \to \infty)$ 这里 Wallis 公式反映为对 Example 1 和 Example 2 的渐进估计．

Exercise 1 对 Catalan 数 $C_{n} = (\binom{2 n}{n}) - (\binom{2 n}{n + 1})$ 做出渐进估计．

Solution. 注意到 $C_{n} = (\binom{2 n}{n}) - (\binom{2 n}{n + 1}) = (\binom{2 n}{n}) - \frac{n}{n + 1} (\binom{2 n}{n}) = \frac{1}{n + 1} (\binom{2 n}{n})$ 用 Wallis 公式计算即得 $C_{n} \sim \frac{2^{2 n}}{\sqrt{π} n^{\frac{3}{2}}}$

Wallis 公式的另一种表现形式是 $\frac{π}{2} = \prod_{k = 1}^{\infty} \frac{4 n^{2}}{4 n^{2} - 1} = \prod_{k = 1}^{\infty} (\frac{2 n}{2 n - 1} \cdot \frac{2 n}{2 n + 1})$ 这表达式也被称为 Wallis product，用于近似计算 $π$ ．

Remark. 这和我们在 Example 1 中使用的放缩技巧……

3 Stirling 公式

Lemma 2 ${(1 + \frac{1}{n})}^{n} < e < {(1 + \frac{1}{n})}^{n + 1}$

这是《数学分析 I》中大家所熟知的．

Theorem 2 ${(\frac{n}{e})}^{n} < \frac{n!}{e} < n {(\frac{n}{e})}^{n}$

Proof. 将 Lemma 2 写成 $\frac{(n + 1)^{n}}{n^{n}} < e < \frac{(n + 1)^{n + 1}}{n^{n + 1}}$ 对 $k = 1, 2, \dots, n - 1$ 做连乘 $\prod_{k = 1}^{n - 1} \frac{(k + 1)^{k}}{k^{k}} < e^{n - 1} < \prod_{k = 1}^{n - 1} \frac{(k + 1)^{k + 1}}{k^{k + 1}}$ 注意到乘积的相邻两项中，前一项的分子与后一项的分母可以约分，中间每项只余下 $\frac{1}{k}$ ，故上式可化为 $\frac{n^{n - 1}}{(n - 1)!} < e^{n - 1} < \frac{n^{n}}{(n - 1)!}$ 两端再同乘 $\frac{n!}{e^{n}}$ 就得到 ${(\frac{n}{e})}^{n} < \frac{n!}{e} < n {(\frac{n}{e})}^{n}$

Theorem 3 (Stirling 公式) $n! \sim \sqrt{2 π n} {(\frac{n}{e})}^{n} (n \to \infty)$

完整证明较复杂，这里介绍证明最后一步：已知 $n! \sim a \sqrt{n} {(\frac{n}{e})}^{n}$ ，用 Wallis 公式对 $2^{2 n} / (\binom{2 n}{n})$ 的渐进估计确定系数 $a$ ．

$\sqrt{π n} \sim \frac{2^{2 n}}{(\binom{2 n}{n})} = \frac{2^{2 n} (n!)^{2}}{(2 n)!} \sim \frac{2^{2 n} (a \sqrt{n} n^{n} e^{- n})^{2}}{a \sqrt{2 n} 2^{2 n} n^{2 n} e^{- 2 n}} = \sqrt{\frac{n}{2}} a$

因此 $a = \sqrt{2 π}$ ．

Example 3 当 $n \to \infty$ ， $k \to \infty$ 时，用 Stirling 公式渐进估计 $(\binom{n}{k})$ ．

Solution. $(\binom{n}{k}) \sim \sqrt{\frac{n}{2 π k (n - k)}} \frac{n^{n}}{k^{k} (n - k)^{n - k}}$

4 Poisson 分布

描述单位时间平均发生次数恒定的随机事件的概率分布．

Definition 1 (Poisson 分布) 若离散随机变量 $X$ 满足 $P (X = k) = \frac{λ^{k}}{k!} e^{- λ}$ 其中 $λ > 0$ 是确定的常数，则随机变量 $X$ 服从 Poisson 分布．

4.1 从二项分布的推导

在 $n p = λ$ 的条件下，取 $P (X_{n} = k) = (\binom{n}{k}) p^{k} (1 - p)^{n - k}$ 在 $n \to \infty$ 在 $n \to \infty$ 上的逐点极限．

$\begin{aligned} P (X_{n} = k) & = (\binom{n}{k}) p^{k} (1 - p)^{n - k} \\ = (\binom{n}{k}) \frac{λ^{k}}{n^{k}} {(1 - \frac{λ}{n})}^{n - k} \\ = λ^{k} {(1 - \frac{λ}{n})}^{n} {(1 - \frac{λ}{n})}^{- k} (\binom{n}{k}) \frac{1}{n^{k}} \\ \sim λ^{k} e^{- λ} (\binom{n}{k}) \frac{1}{n^{k}} \\ = λ^{k} e^{- λ} \frac{n (n - 1) \dots (n - k + 1)}{k! n^{k}} \\ = \frac{λ^{k}}{k!} e^{- λ} \cdot 1 \cdot (1 - \frac{1}{n}) \dots (1 - \frac{k - 1}{n}) \\ \sim \frac{λ^{k}}{k!} e^{- λ} \end{aligned}$

4.2 归一性验证

$\sum_{k = 0}^{+ \infty} P (X = k) = \sum_{k = 0}^{+ \infty} \frac{λ^{k}}{k!} e^{- λ} = e^{- λ} \sum_{k = 0}^{+ \infty} \frac{λ^{k}}{k!} = e^{- λ} e^{λ} = 1$

5 正态分布

与 Poisson 分布不同，（标准）正态分布是在 $n \to \infty$ 的过程中假定 $p$ 不变的情况下，对归一化（即假定期望和方差不变）后的 $X_{n}$ 取逐点极限得到的．

Definition 2 (正态分布) 若连续随机变量 $X$ 的期望 $E (X) = μ$ ，方差 $D (X) = σ$ ，且其概率分布函数为 $f (x) = \frac{1}{\sqrt{2 π} σ} \exp (- \frac{(x - μ)^{2}}{2 σ^{2}})$ 则变量 $X$ 服从正态分布，记为 $X \sim N (μ, σ^{2})$ ．

特别的，当 $μ = 0$ ， $σ = 1$ 时，变量 $X$ 服从标准正态分布 $f (x) = \frac{1}{\sqrt{2 π}} \exp (- \frac{1}{2} x^{2})$

5.1 从二项分布的推导（de Moivre-Laplace 定理）

设随机变量 $X_{n} \sim B (n, p)$ ．方便起见，令 $q = 1 - p$ ．众所周知，二项分布的期望与方差满足 $E (X_{n}) = n p$ ， $D (X_{n}) = n p q$ ．

对随机变量 $X_{n}$ 做归一化： ${\bar{X}}_{n} = \frac{X_{n} - E (X_{n})}{\sqrt{D (X_{n})}} = \frac{X_{n} - n p}{\sqrt{n p q}}$ 考虑到 $P ({\bar{X}}_{n} = x) = P (X_{n} = n p + x \sqrt{n p q})$ 令 $k = n p + x \sqrt{n p q}$ ，则 $P ({\bar{X}}_{n} = x) = P (X_{n} = k) = (\binom{n}{k}) p^{k} q^{n - k}$ 此时 $n, k$ 均趋于无穷大，故可应用 Example 3 对二项式系数做出估计 $\begin{aligned} (\binom{n}{k}) p^{k} q^{n - k} & \sim \sqrt{\frac{n}{2 π k (n - k)}} \frac{n^{n}}{k^{k} (n - k)^{n - k}} p^{k} q^{n - k} \\ = \sqrt{\frac{n}{2 π k (n - k)}} {(\frac{n p}{k})}^{k} {(\frac{n q}{n - k})}^{n - k} \\ = \sqrt{\frac{n}{2 π k (n - k)}} \exp (k \ln \frac{n p}{k} + (n - k) \ln \frac{n q}{n - k}) \end{aligned}$

下面分别处理 $k \ln \frac{n p}{k}$ 和 $(n - k) \ln \frac{n q}{n - k}$ ．

$\begin{aligned} k \ln \frac{n p}{k} & = - (n p + x \sqrt{n p q}) \ln \frac{n p + x \sqrt{n p q}}{n p} \\ = - (n p + x \sqrt{n p q}) \ln (1 + x \sqrt{\frac{q}{n p}}) \\ = - (n p + x \sqrt{n p q}) (x \sqrt{\frac{q}{n p}} - \frac{x^{2} q}{2 n p} + o (\frac{1}{n})) \\ = - x \sqrt{n p q} + \frac{1}{2} x^{2} q - x^{2} q + o (1) \end{aligned}$

$\begin{aligned} (n - k) \ln \frac{n q}{n - k} & = - (n q - x \sqrt{n p q}) \ln \frac{n q - x \sqrt{n p q}}{n q} \\ = - (n q - x \sqrt{n p q}) \ln (1 - x \sqrt{\frac{p}{n q}}) \\ = (n q - x \sqrt{n p q}) (x \sqrt{\frac{p}{n q}} + \frac{x^{2} p}{2 n q} + o (\frac{1}{n})) \\ = x \sqrt{n p q} + \frac{1}{2} x^{2} p - x^{2} p + o (1) \end{aligned}$

因此 $k \ln \frac{n p}{k} + (n - k) \ln \frac{n q}{n - k} = - \frac{1}{2} x^{2} (p + q) + o (1) = - \frac{1}{2} x^{2} + o (1)$

下面处理 $\sqrt{\frac{n}{2 π k (n - k)}}$ ．

$\begin{aligned} \sqrt{\frac{n}{2 π k (n - k)}} & = \sqrt{\frac{n}{2 π (n p + x \sqrt{n p q}) (n q - x \sqrt{n p q})}} \\ = \sqrt{\frac{1}{2 π (p + x \sqrt{\frac{p q}{n}}) (q - x \sqrt{\frac{p q}{n}})}} \\ = \sqrt{\frac{1}{2 π n p q + o (1)}} \end{aligned}$

将上述结果代回，我们就得到 $\begin{aligned} (\binom{n}{k}) p^{k} q^{n - k} & \sim \sqrt{\frac{1}{2 π n p q + o (1)}} \exp (- \frac{1}{2} x^{2} + o (1)) \\ \sim \frac{1}{\sqrt{2 π n p q}} \exp (- \frac{1}{2} x^{2}) \end{aligned}$ 即 $P ({\bar{X}}_{n} = x) = P (X_{n} = k) \sim \frac{1}{\sqrt{2 π n p q}} \exp (- \frac{1}{2} x^{2}) = \frac{1}{\sqrt{2 π n p q}} \exp (- \frac{(k - n p)^{2}}{2 n p q})$ 这正是我们想要的．

Remark. 细心的同学可能会对式子前边的系数仍是 $n \to \infty$ 时的无穷小产生疑问．事实上，在将 $X_{n}$ 归一化为 ${\bar{X}}_{n}$ 的过程中，我们将整个变量“压缩”至原来的 $\frac{1}{\sqrt{n p q}}$ ，因此前面的系数可以理解为一种类似 $d x$ 的存在．关于归一化的直观理解，3Blue1Brown 的中心极限定理视频^[3]提供了很好的讲解．

更形式化的，由于归一化得到的离散型随机变量 ${\bar{X}}_{n}$ 在 $n \to \infty$ 的过程中已经变成连续型随机变量 $X$ ，我们研究的对象也应从单点转向区间．因此，对 $X_{n}$ 与 ${\bar{X}}_{n}$ 概率分布的叙述做一点变动 $P (x \leq {\bar{X}}_{n} < x + \frac{1}{\sqrt{n p q}}) = P (k \leq X_{n} < k + 1) = P (X_{n} = k) \sim \frac{1}{\sqrt{2 π n p q}} \exp (- \frac{1}{2} x^{2})$ 令区间大小趋于 $0$ 就得到 $\begin{aligned} f (x) & = lim_{h \to 0} \frac{P (x \leq X < x + h)}{h} \\ = lim_{n \to \infty} \sqrt{n p q} \cdot P (x \leq {\bar{X}}_{n} < x + \frac{1}{\sqrt{n p q}}) \\ = lim_{n \to \infty} \sqrt{n p q} \cdot \frac{1}{\sqrt{2 π n p q}} \exp (- \frac{1}{2} x^{2}) & \dots 这里 \sim 表现为等价无穷小替换 \\ = \frac{1}{\sqrt{2 π}} \exp (- \frac{1}{2} x^{2}) \end{aligned}$ 这才是我们真正想要的，由二项分布归一化后取极限得到的，标准正态分布的概率密度函数．

6 Challenge

选讲或留作课后讨论．

6.1 正态分布的归一性验证、Maxwell 速率分布与高维球体的表面积

Guass 积分： $\int_{- \infty}^{+ \infty} e^{- x^{2}} d x = \sqrt{π}$

Maxwell 速率分布： $f (v) = 4 π v^{2} {(\frac{m}{2 π k T})}^{\frac{3}{2}} \exp (- \frac{m}{2 k T} v^{2})$

以及它们与高维球体表面积的联系涉及多元积分学的内容．参考 3Blue1Brown 有关 $π$ 与正态分布的视频^[4]．

6.2 $n!$ 的其它估计

一种更容易想到的做法是 $n \ln n - n - 1 = \int_{1}^{n} \ln x d x \leq \ln n! = \sum_{k = 1}^{n} \ln k \leq \int_{1}^{n + 1} \ln x d x = (n + 1) \ln (n + 1) - n - 2$ 从而 ${(\frac{n}{e})}^{n} \leq e \cdot n! \leq {(\frac{n + 1}{e})}^{n + 1}$ 当然这比 Theorem 2 的估计稍差．

更多估计可参考这篇文章^[5]．

6.3 Wallis 公式视角下三阶乘与中心三项式系数的渐进估计

Exercise 2 求 $lim_{n \to \infty} \frac{(3 n - 2)!!!}{(3 n)!!!} = lim_{n \to \infty} \frac{1 \times 4 \times 7 \times \dots \times (3 n - 2)}{3 \times 6 \times 9 \times \dots \times 3 n}$ 并对其做出渐进估计．

Exercise 3 求 $lim_{n \to \infty} \frac{(3 n - 1)!!!}{(3 n)!!!} = lim_{n \to \infty} \frac{2 \times 5 \times 8 \times \dots \times (3 n - 1)}{3 \times 6 \times 9 \times \dots \times 3 n}$ 并对其做出渐进估计．

Exercise 4 求 $lim_{n \to \infty} \frac{(3 n)! / (n!)^{3}}{3^{3 n}}$ 并对其做出渐进估计．

用 Stirling 公式计算得到的结果是 $\frac{\sqrt{3}}{2 π n}$ 但在 Wallis 公式的视角下如何获得？

7 Acknowledgments

感谢吕老师组织~~我最喜欢的~~研讨课环节．此外，Example 1 的放缩技巧由“吸取教训”同学提供，Poisson 分布的二项分布推导是与“抱头蹲防”同学讨论的结果，在此表示感谢．

References

1. 张筑生. (2021). 数学分析新讲（重排本）（第二册） (2nd ed.). 北京大学出版社.

2. 张颢. (2018). 概率论. 高等教育出版社.

3. 3Blue1Brown. (2023). But what is the central limit theorem? https://www.youtube.com/watch?v=zeJD6dqJ5lo.

4. 3Blue1Brown. (2023). Why π is in the normal distribution (beyond integral tricks). https://www.youtube.com/watch?v=cy8r7WSuT1I.

5. hijjjjq. (2022). 对n的阶乘（n!）进行估计. https://zhuanlan.zhihu.com/p/552658420.

与Wallis 公式、Stirling 公式与正态分布相似的内容：

Wallis 公式、Stirling 公式与正态分布

以及双阶乘、中心二项式系数、Catalan 数的渐进估计和 Poisson 分布．