大数定律(直觉版):多了才稳

样本多了,是「平均值」稳下来,不是「下一次」变得可预测。这一条把赌徒谬误和真正的收敛分开。

7 分钟思维方法: 极限过程

不问到了没有,只问越来越接近什么

这一片为什么存在

抛一枚公平硬币 100 次,正面比反面多了 6 个。再抛到 10000 次,这个「多出来的个数」通常不会缩回 0,反而会涨到几十。差额一路变大,可所有人都说频率会稳到 0.5。两句话看起来互相打脸,其实一句都没错——这一片就是把它们同时装下的地方。

内容

先把两个不同的量分开。抛 n 次公平硬币,记正面出现的次数为 H。第一个量是差额 H − n/2,也就是正面比「一半」多出来的个数。第二个量是频率 H/n。赌徒谬误盯的是第一个,大数定律说的是第二个。

它们的关系只有一行:H/n = 1/2 + (H − n/2)/n。频率等于 1/2 加上差额除以 n。

现在看这一行的两边怎么长大。差额的典型大小随 n 变大而变大,量级是 √n 那一档;n = 100 时差额常在 5 上下,n = 10000 时常在 50 上下。但分母是 n,涨得比它快得多。5/100 是 0.05,50/10000 是 0.005。差额从 5 涨到 50,频率的偏离却缩了十倍。

所以收敛的机制不是补偿,是稀释。硬币没有记忆,前面五次正面不会在后面召唤五次反面来找平。那五次一直在那里,它们只是从占五分之五变成占一千零五分之五。它们不是被抵消掉的,是被淹没掉的。

这就顺带回答了「稳下来的到底是谁」。稳下来的是样本均值这个汇总量,它是一大堆结果压缩成的一个数,压缩本身就在抹平波动。而下一次抛硬币仍然是崭新的一次,它的分布跟第一次一模一样,n 再大也不会让它变得更好猜。大数定律是一句关于整条序列的话,它从来没有对第 n+1 次说过任何事。

最后一件容易滑过去的事:趋近不等于等于。n = 101 时,样本均值根本不可能正好是 0.5。收敛的正确说法是:你先划一个包住 0.5 的小窗口,多小都行;然后随着 n 变大,样本均值落在窗口外的概率被压向 0。窗口是先给的,n 是后跟上的——这个顺序不能反过来,否则说的就是另一件事了。

设 X₁, X₂, … 独立同分布。独立指互不影响,同分布指每个都按同一套规则取值。记 μ = E[Xᵢ] 为它们共同的期望,σ² = Var(Xᵢ) 为共同的方差,并假设 σ² 有限。

样本均值记作 X̄ₙ = (X₁ + … + Xₙ)/n,下标 n 提醒你它随样本量变化。

两条基本事实:E[X̄ₙ] = μ,Var(X̄ₙ) = σ²/n。期望不随 n 动,方差被 n 除。这就是「稀释」的代数形式。

把切比雪夫不等式用在 X̄ₙ 上,对任意 ε > 0 有 P(|X̄ₙ − μ| ≥ ε) ≤ σ²/(n ε²)。这里 ε 是你先划定的容错半径,一个固定的正数。右边随 n 增大趋于 0。

于是得到弱大数定律:对每个固定的 ε > 0,当 n → ∞ 时 P(|X̄ₙ − μ| ≥ ε) → 0。

读法要严格:趋于 0 的是那个概率,不是差 |X̄ₙ − μ| 本身。整个语句里没有任何一个 n 能让等号成立。

跟着做一遍

抛公平硬币,要抛多少次,才能保证「正面频率偏离 0.5 达到 0.05 或更多」的概率不超过 5%?用切比雪夫算一遍。算完再回头问:这个次数对「下一次是正面还是反面」说了什么?

  1. 把每次抛硬币写成 Xᵢ:正面记 1,反面记 0。于是 μ = E[Xᵢ] = 0.5。
  2. 算单次方差:σ² = E[Xᵢ²] − μ² = 0.5 − 0.25 = 0.25。
  3. 把问题翻译成符号:取 ε = 0.05,要求 P(|X̄ₙ − 0.5| ≥ 0.05) ≤ 0.05。
  4. 代入切比雪夫的右边:σ²/(n ε²) = 0.25/(n × 0.0025) = 100/n。
  5. 令 100/n ≤ 0.05,解得 n ≥ 2000。
  6. 换个窗口再算一遍:ε = 0.01 时右边是 0.25/(n × 0.0001) = 2500/n,要它 ≤ 0.05 需 n ≥ 50000。
  7. 比较这两个结果:窗口缩到五分之一,所需次数涨到 25 倍。ε 在分母上是平方,这就是代价的来源。
  8. 最后回答自己那个问题:n = 2000 之后,第 2001 次抛出正面的概率是多少。

结果

2000 次足以把「频率偏离 0.5 达到 0.05」的概率压到 5% 以内;切比雪夫只是个粗放的上界,真实需要的次数比这少得多。窗口从 0.05 缩到 0.01,代价是次数涨 25 倍——这就是收敛「越来越接近」的具体价目表。而第 2001 次抛出正面的概率仍然是 0.5。回看上面每一步:你算的全是关于 X̄ₙ 的保证,没有一行式子提到过「第几次」。

它在树上的位置

概念不是一篇一篇平铺的。下面两组是这一片真实的上下游:它靠着什么,又撑起了什么。

读完之后

这一页是产品里的一天。产品是那棵树:你学到哪、哪块在衰减、明天该学什么。一篇读物回答不了这三个问题,树才回答。

看看那是什么意思