附录 A　概率与统计

这本书假定读者有概率论与统计推断的基础。因此这一章并不是概率与统计的全面复习。为方便查阅，我把正文里真正用得着的那些关键概念温一遍。

A.1　概率

A.1.1　Pearson 相关系数与平方复相关系数

对两个随机变量 \(Y\) 与 \(X\)，定义 Pearson 相关系数（Pearson correlation coefficient）为

\[ \rho_{YX} = \frac{\operatorname{cov}(Y,X)}{\sqrt{\operatorname{var}(Y)\operatorname{var}(X)}}, \]

它度量 \(Y\) 对 \(X\) 的线性依赖。这个定义对 \(Y\) 与 \(X\) 是对称的：

\[ \rho_{YX}=\rho_{XY}. \]

对一个随机变量 \(Y\) 和一个随机向量 \(X\)，定义平方复相关系数（squared multiple correlation coefficient）为

\[ R^2_{YX} = \operatorname{corr}^2(Y,X) = \frac{\operatorname{cov}(Y,X)\operatorname{cov}(X)^{-1}\operatorname{cov}(X,Y)}{\operatorname{var}(Y)}, \]

其中 \(\operatorname{cov}(Y,X)\) 是行向量，\(\operatorname{cov}(X,Y)\) 是列向量。它同样度量 \(Y\) 对 \(X\) 的线性依赖。可这个定义对 \(Y\) 与 \(X\) 并不对称。

A.1.2　多元正态随机向量

多元正态随机向量 \(\mathrm{N}(\mu,\Sigma)\) 由均值向量 \(\mu\) 与协方差阵 \(\Sigma\) 决定。把它拆成两块：

\[ \begin{pmatrix} Y_1 \\ Y_2 \end{pmatrix} \sim \mathrm{N} \left( \begin{pmatrix} \mu_1 \\ \mu_2 \end{pmatrix}, \begin{pmatrix} \Sigma_{11} & \Sigma_{12} \\ \Sigma_{21} & \Sigma_{22} \end{pmatrix} \right). \]

第一，边缘分布是正态：

\[ Y_1\sim\mathrm{N}(\mu_1,\Sigma_{11}), \qquad Y_2\sim\mathrm{N}(\mu_2,\Sigma_{22}). \]

第二，若 \(\Sigma_{22}\) 正定，则条件分布也是正态：

\[ Y_1\mid Y_2=y_2 \sim \mathrm{N}\bigl(\mu_1+\Sigma_{12}\Sigma_{22}^{-1}(y_2-\mu_2),\ \Sigma_{11}-\Sigma_{12}\Sigma_{22}^{-1}\Sigma_{21}\bigr). \]

A.1.3　\(\chi^2\) 分布与 \(t\) 分布

假定 \(X_1,\ldots,X_n\) 是 IID \(\mathrm{N}(0,1)\)。则

\[ \sum_{i=1}^{n}X_i^2 \]

服从自由度为 \(n\) 的 \(\chi^2_n\) 分布。\(\chi^2_n\) 分布的均值是 \(n\)，方差是 \(2n\)。

假定 \(X\sim\mathrm{N}(0,1)\)，\(Q_n\sim\chi^2_n\)，且 \(X\perp\!\!\!\perp Q_n\)。则

\[ \frac{X}{\sqrt{Q_n/n}} \]

服从自由度为 \(n\) 的 \(t_n\) 分布。若 \(n>1\)，\(t_n\) 分布的均值是 \(0\)。当 \(n=1\) 时，\(t_1\) 分布也叫 Cauchy 分布，它没有有限均值。

A.1.4　Cauchy–Schwarz 不等式

Cauchy–Schwarz 不等式有许多写法。对两个随机变量 \(A\) 与 \(B\)，

\[ \bigl|\mathrm{E}(AB)\bigr| \le \sqrt{\mathrm{E}(A^2)\mathrm{E}(B^2)}, \]

等号成立当且仅当存在 \(\beta\) 使 \(B=\beta A\)。把 \(A\) 与 \(B\) 中心化到均值 \(0\)，则

\[ \bigl|\operatorname{cov}(A,B)\bigr| \le \sqrt{\operatorname{var}(A)\operatorname{var}(B)}, \]

等号成立当且仅当存在 \(\alpha\) 与 \(\beta\) 使 \(B=\alpha+\beta A\)。

当 \(A\) 与 \(B\) 分别是有限集合 \(\{a_1,\ldots,a_n\}\) 与 \(\{b_1,\ldots,b_n\}\) 上的均匀随机变量时，

\[ \left\lvert\sum_{i=1}^{n}a_i b_i\right\rvert \le \sqrt{\sum_{i=1}^{n}a_i^2\sum_{i=1}^{n}b_i^2}, \]

等号成立当且仅当存在 \(\beta\)，对所有 \(i\) 都有 \(b_i=\beta a_i\)。

A.1.5　塔性质与方差分解

给定随机变量或随机向量 \(A,B,C\)，有

\[ \mathrm{E}(A)=\mathrm{E}\{\mathrm{E}(A\mid B)\} \]

以及

\[ \mathrm{E}(A\mid C)=\mathrm{E}\{\mathrm{E}(A\mid B,C)\mid C\}. \]

给定随机变量 \(A\) 以及随机变量或随机向量 \(B,C\)，有

\[ \operatorname{var}(A)=\mathrm{E}\{\operatorname{var}(A\mid B)\}+\operatorname{var}\{\mathrm{E}(A\mid B)\} \]

以及

\[ \operatorname{var}(A\mid C) = \mathrm{E}\{\operatorname{var}(A\mid B,C)\mid C\} + \operatorname{var}\{\mathrm{E}(A\mid B,C)\mid C\}. \]

我读研究生时，Carl Morris 与 Joe Blitzstein 两位老师把后面这套公式叫做 Eve’s Law：公式长成「EVVE」。然后他们回头，把第一条塔性质叫做 Adam’s Law。

类似地，可以把协方差拆开：

\[ \operatorname{cov}(A_1,A_2) = \mathrm{E}\{\operatorname{cov}(A_1,A_2\mid B)\} + \operatorname{cov}\{\mathrm{E}(A_1\mid B),\mathrm{E}(A_2\mid B)\} \]

以及

\[\begin{align*} \operatorname{cov}(A_1,A_2\mid C) &= \mathrm{E}\{\operatorname{cov}(A_1,A_2\mid B,C)\mid C\} \\ &\qquad + \operatorname{cov}\{\mathrm{E}(A_1\mid B,C),\mathrm{E}(A_2\mid B,C)\mid C\}. \end{align*}\]

A.1.6　极限定理

定义 A.1（依概率收敛）　随机变量序列 \((X_n)_{n\ge 1}\) 依概率收敛（converges in probability）到 \(X\)，是指：对每个 \(\varepsilon>0\)，当 \(n\to\infty\) 时，

\[ \operatorname{pr}(\lvert X_n-X\rvert>\varepsilon)\to 0. \]

定义 A.2（依分布收敛）　随机变量序列 \((X_n)_{n\ge 1}\) 依分布收敛（converges in distribution）到 \(X\)，是指：对 \(\operatorname{pr}(X\le x)\) 的所有连续点 \(x\)，当 \(n\to\infty\) 时，

\[ \operatorname{pr}(X_n\le x)\to\operatorname{pr}(X\le x). \]

依概率收敛比依分布收敛更强。定义 A.1 与 A.2，用来陈述独立同分布（IID）随机变量样本均值的两条基本定理。

定理 A.1（大数定律）　若 \(X_1,\ldots,X_n\stackrel{\mathrm{IID}}{\sim}X\) 且 \(\mathrm{E}\lvert X\rvert<\infty\)，则 \(\bar X=n^{-1}\sum_{i=1}^{n}X_i\) 依概率收敛到 \(\mathrm{E}(X)\)。

定理 A.1 的大数定律说：极限里，样本均值靠近总体均值。

定理 A.2（中心极限定理，CLT）　若 \(X_1,\ldots,X_n\stackrel{\mathrm{IID}}{\sim}X\) 且 \(\operatorname{var}(X)<\infty\)，则

\[ \frac{\bar X-\mathrm{E}(X)}{\sqrt{\operatorname{var}(X)/n}} \to\mathrm{N}(0,1) \]

依分布。

定理 A.2 的 CLT 说：极限里，标准化后的样本均值靠近标准正态随机变量。

定理 A.1 与 A.2 为方便起见假定了 IID。独立或弱相依随机变量的样本均值，也有许多大数定律与 CLT（例如 Durrett, 2019）。

A.1.7　delta 方法

delta 方法（delta method）是一件利器：从渐近正态的随机向量，推出它的非线性函数的渐近正态。下面复习一个特例。

定理 A.3（delta 方法）　假定 \(\sqrt{n}(X_n-\mu)\to\mathrm{N}(0,\Sigma)\) 依分布，且函数 \(g(x)\) 在 \(\mu\) 处有非零导数 \(\nabla g(\mu)\)。则

\[ \sqrt{n}\bigl\{g(X_n)-g(\mu)\bigr\} \to \mathrm{N}\bigl(0,(\nabla g(\mu))^{\mathrm{T}}\Sigma\nabla g(\mu)\bigr) \]

依分布。

定理 A.3 的证明我略过。它的直觉来自一阶 Taylor 展开：

\[ g(X_n)-g(\mu)\approx(\nabla g(\mu))^{\mathrm{T}}(X_n-\mu). \]

于是 \(\sqrt{n}\{g(X_n)-g(\mu)\}\) 靠近 \(\mathrm{N}(0,\Sigma)\) 的线性变换，也就是 \(\mathrm{N}\bigl(0,(\nabla g(\mu))^{\mathrm{T}}\Sigma\nabla g(\mu)\bigr)\)。

作为例子，可以用 delta 方法得到比与积的渐近正态。

例 A.1（比的渐近正态）　假定

\[ \sqrt{n} \begin{pmatrix} Y_n-\mu_Y \\ X_n-\mu_X \end{pmatrix} \to \mathrm{N} \left( \begin{pmatrix} 0 \\ 0 \end{pmatrix}, \begin{pmatrix} \sigma_Y^2 & \sigma_{YX} \\ \sigma_{YX} & \sigma_X^2 \end{pmatrix} \right) \tag{A.1} \]

依分布，且 \(\mu_X\ne 0\)。对它用定理 A.3，得到

\[ \sqrt{n} \left(\frac{Y_n}{X_n}-\frac{\mu_Y}{\mu_X}\right) \to \mathrm{N} \left( 0,\ \frac{\sigma_Y^2}{\mu_X^2}+\frac{\mu_Y^2\sigma_X^2}{\mu_X^4}-\frac{2\mu_Y\sigma_{YX}}{\mu_X^3} \right) \tag{A.2} \]

依分布。特例：若 \(X_n\) 与 \(Y_n\) 渐近独立、\(\sigma_{YX}=0\)，则 \(Y_n/X_n\) 的渐近方差收成 \(\sigma_Y^2/\mu_X^2+\mu_Y^2\sigma_X^2/\mu_X^4\)。细节留给习题 A.2。

例 A.1 的渐近方差写起来有点烦。更好记的办法，是下面这个近似：

\[ \frac{Y_n}{X_n}-\frac{\mu_Y}{\mu_X} = \frac{Y_n-(\mu_Y/\mu_X)\,X_n}{X_n} \approx \frac{Y_n-(\mu_Y/\mu_X)\,X_n}{\mu_X}, \tag{A.3} \]

于是比的渐近方差，等于

\[ \frac{Y_n-(\mu_Y/\mu_X)\,X_n}{\mu_X} \]

的渐近方差——这是 \(Y_n\) 与 \(X_n\) 的线性组合。Slutsky 定理可以把 (A.3) 的近似做严格，可那超出本书范围。

例 A.2（积的渐近正态）　假定 (A.1)。对它用定理 A.3，得到

\[ \sqrt{n}\,(X_n Y_n-\mu_X\mu_Y) \to \mathrm{N}\bigl(0,\ \mu_Y^2\sigma_X^2+\mu_X^2\sigma_Y^2+2\mu_X\mu_Y\sigma_{XY}\bigr) \tag{A.4} \]

依分布。特例：若 \(X_n\) 与 \(Y_n\) 渐近独立、\(\sigma_{YX}=0\)，则 \(X_n Y_n\) 的渐近方差收成 \(\mu_Y^2\sigma_X^2+\mu_X^2\sigma_Y^2\)。细节留给习题 A.3。

A.2　统计推断

A.2.1　点估计

假定 \(\theta\) 是关心的参数。问题里常常还有另一些并不关心的参数，记作 \(\eta\)。统计学家把 \(\eta\) 叫做多余参数（nuisance parameter）。基于数据，我们可以算一个估计量 \(\hat\theta\)。全书采取频率派（frequentist）的视角：假定 \(\theta\) 是固定的数，\(\hat\theta\) 因为数据的随机性而是随机的。对估计量有两条基本要求。

定义 A.3（无偏性）　估计量 \(\hat\theta\) 对 \(\theta\) 无偏（unbiased），是指对 \(\theta\) 与 \(\eta\) 的所有可能取值，

\[ \mathrm{E}(\hat\theta)=\theta. \]

定义 A.4（一致性）　估计量 \(\hat\theta\) 对 \(\theta\) 一致（consistent），是指当样本量趋于无穷时，\(\hat\theta\) 依概率收敛到 \(\theta\)，且这对 \(\theta\) 与 \(\eta\) 的所有可能取值都成立。

无偏性要求估计量的均值等于关心的参数。一致性要求估计量在极限里靠近真参数。无偏并不蕴含一致，一致也不蕴含无偏。无偏性可以很苛刻：即便一些简单的统计问题里，它也做不到。一致性则常常是大多数统计问题里的基本要求。

A.2.2　置信区间

点估计 \(\hat\theta\) 是一个随机变量，跟真参数 \(\theta\) 并不相同。统计学家常常想找一个区间，以某个给定概率盖住真参数。这个区间根据数据来算，因而也是随机的。

定义 A.5（置信区间）　依赖数据的区间 \([\hat\theta_{\mathrm{L}},\hat\theta_{\mathrm{U}}]\) 是 \(\theta\) 的覆盖概率至少为 \(1-\alpha\) 的置信区间（confidence interval），是指对 \(\theta\) 与 \(\eta\) 的所有可能取值，

\[ \operatorname{pr}(\hat\theta_{\mathrm{L}}\le\theta\le\hat\theta_{\mathrm{U}})\ge 1-\alpha. \]

定义 A.6（渐近置信区间）　依赖数据的区间 \([\hat\theta_{\mathrm{L}},\hat\theta_{\mathrm{U}}]\) 是 \(\theta\) 的覆盖概率至少为 \(1-\alpha\) 的渐近置信区间，是指当 \(n\to\infty\) 时，

\[ \operatorname{pr}(\hat\theta_{\mathrm{L}}\le\theta\le\hat\theta_{\mathrm{U}})\to 1-\alpha', \]

其中 \(\alpha'\le\alpha\)，且这对 \(\theta\) 与 \(\eta\) 的所有可能取值都成立。

标准选择是 \(\alpha=0.05\)。定义 A.5 与 A.6 里，覆盖概率可以大于名义水平 \(1-\alpha\)。也就是说，定义允许过度覆盖（over-coverage），却不允许覆盖不足。过度覆盖时，我们说置信区间是保守的（conservative）。当然，我们希望区间尽量窄。否则，置信区间的定义可以任意到没边。

A.2.3　假设检验

许多应用问题可以写成检验一条假设：

\[ H_0:\theta=0. \]

决策规则 \(\phi\) 是数据的二值函数：\(\phi=1\) 表示拒绝 \(H_0\)；\(\phi=0\) 表示未能拒绝 \(H_0\)。检验的第一类错误率（type one error rate）是：原假设成立时，拒绝的概率。定义如下。

定义 A.7（第一类错误率）　当 \(H_0\) 成立时，把检验 \(\phi\) 的第一类错误率定义成概率

\[ \operatorname{pr}(\phi=1) \]

在 \(\theta\) 与 \(\eta\) 所有可能取值上的最大值。

标准选择是：保证第一类错误率不超过 \(\alpha=0.05\)。检验的第二类错误率（type two error rate）是：原假设不成立时，未能拒绝的概率。定义如下。

定义 A.8（第二类错误率）　当 \(H_0\) 不成立时，把检验 \(\phi\) 的第二类错误率定义成概率

\[ \operatorname{pr}(\phi=0) \]

在 \(\theta\) 与 \(\eta\) 所有可能取值上的最大值。

在 \(H_0\) 下控制住第一类错误率之后，我们希望 \(H_0\) 不成立时，第二类错误率尽量低。

A.2.4　Wald 型置信区间与检验

许多统计问题有下面这套结构。关心的参数是 \(\theta\)。我们先找一个一致估计量 \(\hat\theta\)，它依概率收敛到 \(\theta\)，并证明它渐近正态、均值是 \(\theta\)、方差是 \(v\)——\(v\) 可以依赖 \(\theta\)，也可以依赖多余参数 \(\eta\)。再找 \(v\) 的一个一致估计 \(\hat v\)，基于解析公式，或后面 A.6 节复习的自助法。\(\hat v\) 的平方根叫做标准误（standard error）。最后构造 \(\theta\) 的 Wald 型置信区间：

\[ \hat\theta\pm z_{1-\alpha/2}\sqrt{\hat v}, \]

其中 \(z_{1-\alpha/2}\) 是标准正态随机变量的 \(1-\alpha/2\) 上分位数。它以大约 \(1-\alpha\) 的概率盖住 \(\theta\)。当这个区间把某个特定的 \(c\) 排除在外——例如 \(c=0\)——我们就拒绝原假设 \(H_0(c):\theta=c\)。这叫做 Wald 检验。

A.2.5　构造置信集与检验原假设的对偶

考虑标量参数 \(\theta\) 的统计推断。统计学里有一条根本结果：给 \(\theta\) 构造置信集，等价于检验关于 \(\theta\) 的原假设。这常常叫做构造置信集与检验原假设的对偶（duality）。

A.2.4 节已经复习过基于 Wald 型置信区间与检验的对偶。对偶在一般情形也成立。假定 \(\hat\Theta\) 是 \(\theta\) 的 \((1-\alpha)\) 水平置信集：

\[ \operatorname{pr}(\theta\in\hat\Theta)\ge 1-\alpha. \]

若 \(c\) 不在集合 \(\hat\Theta\) 里，就可以拒绝原假设 \(H_0(c):\theta=c\)。这是有效检验：当真 \(\theta\) 等于 \(c\) 时，第一类错误率 \(\operatorname{pr}(\theta\notin\hat\Theta)\le\alpha\)。反过来，若我们检验一串原假设 \(H_0(c):\theta=c\)，可以得到相应的 \(p\) 值 \(p(c)\)，作为 \(c\) 的函数。于是那些在水平 \(\alpha\) 上未能拒绝的 \(c\)，构成 \(\theta\) 的一个置信集：

\[ \hat\Theta=\{c:p(c)\ge\alpha\}=\{c:\text{在水平 }\alpha\text{ 上未能拒绝 }H_0(c)\}. \]

它是有效置信集，因为

\[ \operatorname{pr}(\theta\in\hat\Theta) = \operatorname{pr}\{\text{在水平 }\alpha\text{ 上未能拒绝 }H_0(\theta)\} \ge 1-\alpha. \]

这里我用「置信集」而不用「置信区间」，因为基于反转检验得到的 \(\hat\Theta\) 未必是一个区间。对偶的用法见附录 A.4.2 与第 3.6.1 节。

A.3　\(2\times 2\) 表的推断

A.3.1　Fisher 精确检验

Fisher 在下面的统计模型下，给 \(H_0:p_1=p_0\) 提出过精确检验：

\[ n_{11}\sim\mathrm{Binomial}(n_1,p_1), \qquad n_{01}\sim\mathrm{Binomial}(n_0,p_0), \qquad n_{11}\perp\!\!\!\perp n_{01}. \]

下表汇总数据。

\(1\) \(0\) 行和
样本 \(1\) \(n_{11}\) \(n_{10}\) \(n_1\)
样本 \(0\) \(n_{01}\) \(n_{00}\) \(n_0\)
列和 \(n_{\cdot 1}\) \(n_{\cdot 0}\) \(n\)

他认为，和 \(n_{11}+n_{01}=n_{\cdot 1}\) 与 \(n_{10}+n_{00}=n_{\cdot 0}\) 对 \(p_1\) 与 \(p_0\) 的差别几乎不提供信息。条件于它们，\(n_{11}\) 服从超几何分布；在 \(H_0\) 下，这个分布不依赖未知参数 \(p_1=p_0\)：

\[ \operatorname{pr}(n_{11}=k) = \frac{\displaystyle\binom{n_{\cdot 1}}{k}\binom{n-n_{\cdot 1}}{n_1-k}}{\displaystyle\binom{n}{n_1}}. \]

在 R 里，函数 fisher.test 实现这个检验。

A.3.2　\(2\times 2\) 表的估计

基于 A.3.1 节的模型，可以用样本频率估参数 \(p_1\) 与 \(p_0\)：

\[ \hat p_1=\frac{n_{11}}{n_1}, \qquad \hat p_0=\frac{n_{01}}{n_0}. \]

于是可以估风险差、对数风险比与对数优势比

\[\begin{align*} \mathrm{rd} &= p_1-p_0, \\ \log\mathrm{rr} &= \log\frac{p_1}{p_0}, \\ \log\mathrm{or} &= \log\frac{p_1/(1-p_1)}{p_0/(1-p_0)}, \end{align*}\]

用它们的样本类似物：

\[\begin{align*} \widehat{\mathrm{rd}} &= \hat p_1-\hat p_0, \\ \log\widehat{\mathrm{rr}} &= \log\frac{\hat p_1}{\hat p_0}, \\ \log\widehat{\mathrm{or}} &= \log\frac{\hat p_1/(1-\hat p_1)}{\hat p_0/(1-\hat p_0)} = \log\frac{n_{11}n_{00}}{n_{10}n_{01}}. \end{align*}\]

基于渐近近似（见习题 A.5），上面这些参数的估计方差分别是

\[ \frac{\hat p_1(1-\hat p_1)}{n_1}+\frac{\hat p_0(1-\hat p_0)}{n_0}, \qquad \frac{1-\hat p_1}{n_1\hat p_1}+\frac{1-\hat p_0}{n_0\hat p_0}, \qquad \frac{1}{n_1\hat p_1(1-\hat p_1)}+\frac{1}{n_0\hat p_0(1-\hat p_0)}. \]

上面取对数，是因为风险比与优势比永远为正，对数变换会让正态近似更好。

A.4　统计学里两道名题

A.4.1　Behrens–Fisher 问题

考虑两样本问题：处理下 \(n_1\) 个单元，对照下 \(n_0\) 个单元。假定处理下的结果 \(\{Y_i:Z_i=1\}\) 是来自 \(\mathrm{N}(\mu_1,\sigma_1^2)\) 的 IID，对照下的结果 \(\{Y_i:Z_i=0\}\) 是来自 \(\mathrm{N}(\mu_0,\sigma_0^2)\) 的 IID。目标是检验

\[ H_0:\mu_1=\mu_0. \]

先看容易的情形 \(\sigma_1^2=\sigma_0^2\)。与第 3 章一致，令

\[ \hat{\bar Y}(1)=n_1^{-1}\sum_{Z_i=1}Y_i, \qquad \hat{\bar Y}(0)=n_0^{-1}\sum_{Z_i=0}Y_i \]

表示处理与对照下结果的样本均值。一条标准结果是

\[ t_{\mathrm{equal}} = \frac{\hat{\bar Y}(1)-\hat{\bar Y}(0)} {\displaystyle\sqrt{\frac{n}{n_1 n_0(n-2)}\Bigl[\sum_{Z_i=1}\{Y_i-\hat{\bar Y}(1)\}^2+\sum_{Z_i=0}\{Y_i-\hat{\bar Y}(0)\}^2\Bigr]}} \sim t_{n-2}. \]

基于 \(t_{\mathrm{equal}}\)，可以构造 \(H_0\) 的检验。

再看更难的情形：\(\sigma_1^2\) 与 \(\sigma_0^2\) 可以不同。这时 \(t_{\mathrm{equal}}\) 的分布不再是 \(t_{n-2}\)。分别估方差，也可以定义

\[ t_{\mathrm{unequal}} = \frac{\hat{\bar Y}(1)-\hat{\bar Y}(0)} {\sqrt{\hat S^2(1)/n_1+\hat S^2(0)/n_0}}, \]

其中

\[ \hat S^2(1)=(n_1-1)^{-1}\sum_{Z_i=1}\{Y_i-\hat{\bar Y}(1)\}^2, \qquad \hat S^2(0)=(n_0-1)^{-1}\sum_{Z_i=0}\{Y_i-\hat{\bar Y}(0)\}^2 \]

是处理与对照下结果的样本方差。遗憾的是，\(t_{\mathrm{unequal}}\) 的精确分布依赖那些未知方差。不假定等方差去检验 \(H_0\)，就是著名的 Behrens–Fisher 问题。样本量 \(n_1\) 与 \(n_0\) 都大时，CLT 保证 \(t_{\mathrm{unequal}}\) 近似 \(\mathrm{N}(0,1)\)。于是可以构造 \(H_0\) 的近似检验。由对偶，\(\mu_1-\mu_0\) 的大样本 Wald 型置信区间是

\[ \hat{\bar Y}(1)-\hat{\bar Y}(0) \pm z_{1-\alpha/2} \sqrt{\frac{\hat S^2(1)}{n_1}+\frac{\hat S^2(0)}{n_0}}, \]

其中 \(z_{1-\alpha/2}\) 是标准正态随机变量的 \(1-\alpha/2\) 上分位数。

A.4.2　Fieller–Creasy 问题

考虑两样本问题：处理下 \(n_1\) 个单元，对照下 \(n_0\) 个单元。假定处理下的结果 \(\{Y_i:Z_i=1\}\) 是来自 \(\mathrm{N}(\mu_1,1)\) 的 IID，对照下的结果 \(\{Y_i:Z_i=0\}\) 是来自 \(\mathrm{N}(\mu_0,1)\) 的 IID。目标是估

\[ \gamma=\mu_1/\mu_0. \]

可以用 \(\hat\gamma=\hat{\bar Y}(1)/\hat{\bar Y}(0)\) 去估 \(\gamma\)。可这个点估计的分布很复杂，并不能给出构造 \(\gamma\) 的置信区间的简单手续。

Fieller 的置信区间可以写成：反转一串原假设 \(H_0(c):\gamma=c\) 的检验。在 \(H_0(c)\) 下，

\[ \frac{\hat{\bar Y}(1)-c\,\hat{\bar Y}(0)}{\sqrt{1/n_1+c^2/n_0}} \sim\mathrm{N}(0,1), \]

这动机了置信区间

\[ \left\{ c: \left\lvert \frac{\hat{\bar Y}(1)-c\,\hat{\bar Y}(0)}{\sqrt{1/n_1+c^2/n_0}} \right\rvert \le z_{1-\alpha/2} \right\}, \]

其中 \(z_{1-\alpha/2}\) 是标准正态随机变量的 \(1-\alpha/2\) 上分位数。

A.5　统计学里的 Monte Carlo 方法

Monte Carlo 方法是统计学里一件利器。我复习它最基本的用途：近似期望或平均。理解第 3 章引进的 FRT，这件事是根基。

若目标是算 \(\theta=\mathrm{E}\{g(Y)\}\)，\(Y\) 是一个随机变量，我们可以简单地从 \(Y\) 的分布里抽 IID 样本 \(Y_1,\ldots,Y_n\)，得到 \(\theta\) 的矩估计：

\[ \hat\theta=n^{-1}\sum_{i=1}^{n}g(Y_i). \]

作为特例，\(Y\) 是 \(\{y_1,\ldots,y_N\}\) 上的均匀分布，且 \(\theta=N^{-1}\sum_{i=1}^{N}g(y_i)\)。我们可以从 \(\{y_1,\ldots,y_N\}\) 里抽 \(n\) 个 IID 样本 \(\{Y_1,\ldots,Y_n\}\)，得到上面定义的矩估计 \(\hat\theta\)。这叫做有放回抽样（sampling with replacement），与附录 C 复习的无放回抽样不同。

A.6　自助法

复杂估计量的方差公式，推起来常常很烦。Efron (1979) 提出自助法（bootstrap），当作方差估计的一般工具。自助法有许多版本（Davison and Hinkley, 1997）。这本书只需最基本的一种：非参数自助法（nonparametric bootstrap），下面就简称自助法。

考虑一般设定

\[ Y_1,\ldots,Y_n\stackrel{\mathrm{IID}}{\sim}Y, \]

其中 \(Y_i\) 可以是一般的随机元，表示单元 \(i\) 的观测数据。估计量 \(\hat\theta\) 是观测数据的函数：\(\hat\theta=T(Y_1,\ldots,Y_n)\)。当 \(T\) 是复杂函数时，要得到 \(\hat\theta\) 的方差或渐近方差，未必容易。

\(\hat\theta\) 的不确定性，来自 \(Y_1,\ldots,Y_n\) 从真分布里的 IID 抽样。真分布虽然未知，样本量 \(n\) 大时，它可以被经验版本很好地近似：

\[ \hat F_n(y)=n^{-1}\sum_{i=1}^{n}I(Y_i\le y). \]

若我们相信这个近似，就可以通过抽样

\[ (Y_1^{\ast},\ldots,Y_n^{\ast})\stackrel{\mathrm{IID}}{\sim}\hat F_n(y) \]

去模拟 \(\hat\theta\)。因为 \(\hat F_n(y)\) 是离散分布，在每个观测数据点上质量为 \(1/n\)，模拟 \(\hat\theta\) 就收成下面的手续：

  1. 从 \(\{Y_1,\ldots,Y_n\}\) 有放回地抽 \((Y_1^{\ast},\ldots,Y_n^{\ast})\)；
  2. 计算 \(\hat\theta^{\ast}=T(Y_1^{\ast},\ldots,Y_n^{\ast})\)；
  3. 把上面两步重复 \(B\) 次，得到自助重复 \(\{\hat\theta_1^{\ast},\ldots,\hat\theta_B^{\ast}\}\)。

然后可以用自助重复的样本方差，去近似 \(\hat\theta\) 的（渐近）方差：

\[ \hat V_{\mathrm{boot}} = (B-1)^{-1}\sum_{b=1}^{B}(\hat\theta_b^{\ast}-\bar\theta^{\ast})^2, \]

其中 \(\bar\theta^{\ast}=B^{-1}\sum_{b=1}^{B}\hat\theta_b^{\ast}\)。基于正态近似的自助置信区间于是是

\[ \hat\theta\pm z_{1-\alpha/2}\sqrt{\hat V_{\mathrm{boot}}}, \]

其中 \(z_{1-\alpha/2}\) 是标准正态随机变量的 \(1-\alpha/2\) 上分位数。

我用下面这个简单例子，说明自助法的想法。\(n=100\) 个来自 \(\mathrm{N}(1,1)\) 的 IID 观测 \(Y_i\)，样本均值应当靠近 \(1\)，方差是 \(1/100=0.01\)。做 \(500\) 次模拟，经典方差估计与 \(B=200\) 的自助方差估计，平均值都靠近 \(0.01\)。

> ## sample size
> n = 100
> ## number of Monte Carlo simulations
> MC = 500
> ## number of bootstrap replicates B
> n.boot = 200
> simulation = replicate(MC, {
+   Y = rnorm(n, 1, 1)
+   boot.mu.hat = replicate(n.boot, {
+     index = sample(1:n, n, replace = TRUE)
+     mean(Y[index])
+   })
+   c(mean(Y), var(Y)/n, var(boot.mu.hat))
+ })
> ## summarize the results
> apply(simulation, 1, mean)
[1] 0.997602961 0.010006303 0.009921895

A.7　习题

A.1　独立但并非 IID 的数据
假定 \(Y_i\) 相互独立，均值是 \(\mu_i\)，方差是 \(\sigma_i^2\)（\(i=1,\ldots,n\)）。关心的参数是 \(\mu=n^{-1}\sum_{i=1}^{n}\mu_i\)。证明 \(\hat\mu=n^{-1}\sum_{i=1}^{n}Y_i\) 对 \(\mu\) 无偏，并求出它的方差。再证明：IID 数据常用的方差估计

\[ \hat v=\{n(n-1)\}^{-1}\sum_{i=1}^{n}(Y_i-\hat\mu)^2 \]

是 \(\operatorname{var}(\hat\mu)\) 的保守估计，意义是

\[ \mathrm{E}(\hat v)-\operatorname{var}(\hat\mu) = \{n(n-1)\}^{-1}\sum_{i=1}^{n}(\mu_i-\mu)^2 \ge 0. \]

注： 考虑更简单的情形：对所有 \(i=1,\ldots,n\) 都有 \(\mu_i=\mu\)、\(\sigma_i^2=\sigma^2\)。样本均值对 \(\mu\) 无偏，方差是 \(\sigma^2/n\)。而且，\(\sigma^2/n\) 的一个无偏估计是 \(\hat\sigma^2/n=\hat v\)，其中 \(\hat\sigma^2=(n-1)^{-1}\sum_{i=1}^{n}(Y_i-\hat\mu)^2\)。本题给出独立但不同分布观测下更一般的结果。第 7 章配对实验的定理 7.1，有一个重要推论正来自这里。

A.2　比的渐近正态
证明 (A.2)。

A.3　积的渐近正态
证明 (A.4)。

A.4　两个独立正态的积
假定 \(X\sim\mathrm{N}(\mu_X,\sigma_X^2)\)，\(Y\sim\mathrm{N}(\mu_Y,\sigma_Y^2)\)，且 \(X\perp\!\!\!\perp Y\)。证明

\[ \operatorname{var}(XY)=\sigma_X^2\sigma_Y^2+\mu_X^2\sigma_Y^2+\mu_Y^2\sigma_X^2. \]

注： 本题给例 A.2 一个非渐近的形式。

A.5　\(2\times 2\) 表里的方差估计
用 delta 方法证明第 A.3.2 节的方差估计。

A.6　Fisher 加权
假定我们有 \(p\) 个独立的无偏估计 \(\hat\theta_1,\ldots,\hat\theta_p\)，估同一个参数 \(\theta\)：

\[ \mathrm{E}(\hat\theta_j)=\theta,\qquad j=1,\ldots,p. \]

估计量 \(\hat\theta_j\) 的方差是 \(v_j\)（\(j=1,\ldots,p\)）。

用非随机常数 \(w_j\) 构造新估计

\[ \hat\theta=\sum_{j=1}^{p}w_j\hat\theta_j. \]

证明：若 \(\sum_{j=1}^{p}w_j=1\)，则 \(\hat\theta\) 对估 \(\theta\) 无偏。再证明：在约束 \(\sum_{j=1}^{p}w_j=1\) 下，使 \(\hat\theta\) 方差最小的最优权重是

\[ w_j^{\ast} = \frac{1/v_j}{\sum_{j'=1}^{p}1/v_{j'}}, \qquad j=1,\ldots,p. \]

证明由此得到的估计量 \(\hat\theta^{\ast}=\sum_{j=1}^{p}w_j^{\ast}\hat\theta_j\) 的方差是

\[ \operatorname{var}(\hat\theta^{\ast}) = \frac{1}{\sum_{j=1}^{p}1/v_j}. \]

注： 这叫做 Fisher 加权（Fisher weighting）。最优权重正比于方差的倒数。