Wallis 公式、Stirling 公式与正态分布

wallis,公式,stirling,正态分布 · 浏览次数 : 115

小编点评

**3 对二项式系数的估计 (nk)pkqn−k∼12πnpqexp(−12x2)** **1. kln⁡npk=-(np+xnpq)ln⁡np+xnpqnp** **2. n2πk(n−k)≈12π(p+xpqn)(q−xpqn)** **3. P(X¯n=x)=P(Xn=k)∼12πnpqexp(−12x2)**

正文

参考:

  • 张筑生《数学分析新讲》第二册
  • 张颢《概率论》
  • Wikipedia, Math StackExchange, etc.

1 Warm up

Example 1 limn(2n1)!!(2n)!!=limn1×3×5××(2n1)2×4×6××2n

Solution. 用放缩 2k>(2k1)(2k+1) 拆分母即得 (2n1)!!(2n)!!<12n+10

Example 2 (中心二项式系数) limn(2nn)22n

Solution. (2nn)22n=(2n)!22n(n!)2=(2n)!(2nn!)2=(2n)!(2n!!)2=(2n1)!!2n!!<12n+10

上两例有没有更精确的渐进估计?这便是我们马上要研究的问题.

2 Wallis 公式

Lemma 1 (Wallis 积分公式) 定积分系列 Jn=0π2sinnxdx 满足 J2n=(2n1)!!(2n)!!π2J2n+1=(2n)!!(2n+1)!!1

Proof. 我们的思路是:先把一个 sinx 放进微分中,然后分部积分得到递推式.

Jn=0π2sinnxdx=0π2sinn1xdcosx=[sinn1xcosx]0π2+0π2cosxdsinn1x=(n1)0π2cos2xsinn2xdx=(n1)0π2(1sin2x)sinn2xdx=(n1)0π2sinn2xdx(n1)0π2sinnxdx=(n1)Jn2(n1)Jn

Jn=n1nJn2 边界条件 J0=π2J1=0π2sinxdx=1 代入递推式求解就得到了要证的结论.

Theorem 1 (Wallis 公式) π2=limn12n+1((2n)!!(2n1)!!)2

Proof. 注意到在积分区间上,sinnxsinn+1x,由积分的单调性,Jnn 单调递减,故 J2n+1J2nJ2n1 成立.代入 Lemma 1 中得到的结果 (2n)!!(2n+1)!!(2n1)!!(2n)!!π2(2n2)!!(2n1)!! 移项得 ((2n)!!(2n1)!!)212n+1π2((2n)!!(2n1)!!)212n

现在只需说明 RHS 与 LHS 的差是一个无穷小. ((2n)!!(2n1)!!)2(12n12n+1)=((2n)!!(2n1)!!)2(12n(2n+1))=((2n2)!!(2n1)!!)22n(2n+1)Example 1limn(2n2)!!(2n1)!!=0,故上式确为一个无穷小,定理得证.

Wallis 公式还有其它表现形式: 22n(2nn)=(2n)!!(2n1)!!πn(n) 这里 Wallis 公式反映为对 Example 1Example 2 的渐进估计.

Exercise 1 对 Catalan 数 Cn=(2nn)(2nn+1) 做出渐进估计.

Solution. 注意到 Cn=(2nn)(2nn+1)=(2nn)nn+1(2nn)=1n+1(2nn) 用 Wallis 公式计算即得 Cn22nπn32

Wallis 公式的另一种表现形式是 π2=k=14n24n21=k=1(2n2n12n2n+1) 这表达式也被称为 Wallis product,用于近似计算 π

Remark. 这和我们在 Example 1 中使用的放缩技巧……

3 Stirling 公式

Lemma 2 (1+1n)n<e<(1+1n)n+1

这是《数学分析 I》中大家所熟知的.

Theorem 2 (ne)n<n!e<n(ne)n

Proof. Lemma 2 写成 (n+1)nnn<e<(n+1)n+1nn+1k=1,2,,n1 做连乘 k=1n1(k+1)kkk<en1<k=1n1(k+1)k+1kk+1 注意到乘积的相邻两项中,前一项的分子与后一项的分母可以约分,中间每项只余下 1k,故上式可化为 nn1(n1)!<en1<nn(n1)! 两端再同乘 n!en 就得到 (ne)n<n!e<n(ne)n

Theorem 3 (Stirling 公式) n!2πn(ne)n(n)

完整证明较复杂,这里介绍证明最后一步:已知 n!an(ne)n,用 Wallis 公式对 22n/(2nn) 的渐进估计确定系数 a

πn22n(2nn)=22n(n!)2(2n)!22n(annnen)2a2n22nn2ne2n=n2a

因此 a=2π

Example 3 nk 时,用 Stirling 公式渐进估计 (nk)

Solution. (nk)n2πk(nk)nnkk(nk)nk

4 Poisson 分布

描述单位时间平均发生次数恒定的随机事件的概率分布.

Definition 1 (Poisson 分布) 若离散随机变量 X 满足 P(X=k)=λkk!eλ 其中 λ>0 是确定的常数,则随机变量 X 服从 Poisson 分布.

4.1 从二项分布的推导

np=λ 的条件下,取 P(Xn=k)=(nk)pk(1p)nknn 上的逐点极限.

P(Xn=k)=(nk)pk(1p)nk=(nk)λknk(1λn)nk=λk(1λn)n(1λn)k(nk)1nkλkeλ(nk)1nk=λkeλn(n1)(nk+1)k!nk=λkk!eλ1(11n)(1k1n)λkk!eλ

4.2 归一性验证

k=0+P(X=k)=k=0+λkk!eλ=eλk=0+λkk!=eλeλ=1

5 正态分布

与 Poisson 分布不同,(标准)正态分布是在 n 的过程中假定 p 不变的情况下,对归一化(即假定期望和方差不变)后的 Xn 取逐点极限得到的.

Definition 2 (正态分布) 若连续随机变量 X 的期望 E(X)=μ,方差 D(X)=σ,且其概率分布函数为 f(x)=12πσexp((xμ)22σ2) 则变量 X 服从正态分布,记为 XN(μ,σ2)

特别的,当 μ=0σ=1 时,变量 X 服从标准正态分布 f(x)=12πexp(12x2)

5.1 从二项分布的推导(de Moivre-Laplace 定理)

设随机变量 XnB(n,p).方便起见,令 q=1p.众所周知,二项分布的期望与方差满足 E(Xn)=npD(Xn)=npq

对随机变量 Xn 做归一化: X¯n=XnE(Xn)D(Xn)=Xnnpnpq 考虑到 P(X¯n=x)=P(Xn=np+xnpq)k=np+xnpq,则 P(X¯n=x)=P(Xn=k)=(nk)pkqnk 此时 n,k 均趋于无穷大,故可应用 Example 3 对二项式系数做出估计 (nk)pkqnkn2πk(nk)nnkk(nk)nkpkqnk=n2πk(nk)(npk)k(nqnk)nk=n2πk(nk)exp(klnnpk+(nk)lnnqnk)

下面分别处理 klnnpk(nk)lnnqnk

klnnpk=(np+xnpq)lnnp+xnpqnp=(np+xnpq)ln(1+xqnp)=(np+xnpq)(xqnpx2q2np+o(1n))=xnpq+12x2qx2q+o(1)

(nk)lnnqnk=(nqxnpq)lnnqxnpqnq=(nqxnpq)ln(1xpnq)=(nqxnpq)(xpnq+x2p2nq+o(1n))=xnpq+12x2px2p+o(1)

因此 klnnpk+(nk)lnnqnk=12x2(p+q)+o(1)=12x2+o(1)

下面处理 n2πk(nk)

n2πk(nk)=n2π(np+xnpq)(nqxnpq)=12π(p+xpqn)(qxpqn)=12πnpq+o(1)

将上述结果代回,我们就得到 (nk)pkqnk12πnpq+o(1)exp(12x2+o(1))12πnpqexp(12x2)P(X¯n=x)=P(Xn=k)12πnpqexp(12x2)=12πnpqexp((knp)22npq) 这正是我们想要的.

Remark. 细心的同学可能会对式子前边的系数仍是 n 时的无穷小产生疑问.事实上,在将 Xn 归一化为 X¯n 的过程中,我们将整个变量“压缩”至原来的 1npq,因此前面的系数可以理解为一种类似 dx 的存在.关于归一化的直观理解,3Blue1Brown 的中心极限定理视频提供了很好的讲解.

更形式化的,由于归一化得到的离散型随机变量 X¯nn 的过程中已经变成连续型随机变量 X,我们研究的对象也应从单点转向区间.因此,对 XnX¯n 概率分布的叙述做一点变动 P(xX¯n<x+1npq)=P(kXn<k+1)=P(Xn=k)12πnpqexp(12x2) 令区间大小趋于 0 就得到 f(x)=limh0P(xX<x+h)h=limnnpqP(xX¯n<x+1npq)=limnnpq12πnpqexp(12x2)这里  表现为等价无穷小替换=12πexp(12x2) 这才是我们真正想要的,由二项分布归一化后取极限得到的,标准正态分布的概率密度函数.

6 Challenge

选讲或留作课后讨论.

6.1 正态分布的归一性验证、Maxwell 速率分布与高维球体的表面积

Guass 积分: +ex2dx=π

Maxwell 速率分布: f(v)=4πv2(m2πkT)32exp(m2kTv2)

以及它们与高维球体表面积的联系涉及多元积分学的内容.参考 3Blue1Brown 有关 π 与正态分布的视频

6.2 n! 的其它估计

一种更容易想到的做法是 nlnnn1=1nlnxdxlnn!=k=1nlnk1n+1lnxdx=(n+1)ln(n+1)n2 从而 (ne)nen!(n+1e)n+1 当然这比 Theorem 2 的估计稍差.

更多估计可参考这篇文章

6.3 Wallis 公式视角下三阶乘与中心三项式系数的渐进估计

Exercise 2 limn(3n2)!!!(3n)!!!=limn1×4×7××(3n2)3×6×9××3n 并对其做出渐进估计.

Exercise 3 limn(3n1)!!!(3n)!!!=limn2×5×8××(3n1)3×6×9××3n 并对其做出渐进估计.

Exercise 4 limn(3n)!/(n!)333n 并对其做出渐进估计.

用 Stirling 公式计算得到的结果是 32πn 但在 Wallis 公式的视角下如何获得?

7 Acknowledgments

感谢吕老师组织我最喜欢的研讨课环节.此外,Example 1 的放缩技巧由“吸取教训”同学提供,Poisson 分布的二项分布推导是与“抱头蹲防”同学讨论的结果,在此表示感谢.

References

1. 张筑生. (2021). 数学分析新讲(重排本)(第二册) (2nd ed.). 北京大学出版社.
2. 张颢. (2018). 概率论. 高等教育出版社.
3. 3Blue1Brown. (2023). But what is the central limit theorem? https://www.youtube.com/watch?v=zeJD6dqJ5lo.
4. 3Blue1Brown. (2023). Why π is in the normal distribution (beyond integral tricks). https://www.youtube.com/watch?v=cy8r7WSuT1I.
5. hijjjjq. (2022). 对n的阶乘(n!)进行估计. https://zhuanlan.zhihu.com/p/552658420.

与Wallis 公式、Stirling 公式与正态分布相似的内容: