第 10 章 观察性研究、选择偏倚与因果效应的非参数识别
Cochran (1965) 概括过观察性研究的两个常见特征：
- 目标是把因果关系说清楚；
- 没法做受控实验。
第一点与本书第二部分的随机化实验相同；第二点，却与随机化实验根本不同。
Dorn (1953) 建议：计划一项观察性研究的人，应当总问自己一句：
若这件事能用受控实验来做，你会怎么做？
这句话值得放在手边。潜在结果框架，本就与一场实验相连——真实验，或思想实验。第三部分谈观察性研究里的因果推断：会把观察性研究与随机化实验的根本差别说清楚；许多想法，却又深深连着实验那一边。
10.1 几个引子
例 10.1（就业培训项目） LaLonde (1986) 关心就业培训对收入的因果效应。他把随机化实验的结果，与观察性研究的结果对照。实验数据我们用过，就是 Matching 包里的 lalonde；观察性对应物 cps1re74.csv 出现在第 1.2.1 节与习题 1.4。LaLonde (1986) 发现：许多传统统计或计量方法，给出的观察性估计与实验估计差得很远。Dehejia and Wahba (1999) 用因果推断动机的方法重分析，发现那些方法能很好地找回实验这块「金标准」。此后，它成了观察性因果推断里的经典例子。
例 10.2（吸烟与同型半胱氨酸） Bazzano et al. (2003) 用 NHANES 2005–2006 的数据，比较每日吸烟者与不吸烟者的同型半胱氨酸水平。1 Rosenbaum (2018) 把数据记在 senstrat 包的 homocyst 里。重要协变量包括：性别、三个年龄段、三个教育类别、三个 BMI 类别、收入是否至少为贫困线两倍。
例 10.3（学校餐与身体质量指数） Chan et al. (2016) 用 NHANES 2007–2008 的一个子样本，问学校餐项目是否让学童 BMI 上升。数据在 ATE 包的 nhanes_bmi。协变量包括年龄、性别、种族、家庭是否高于联邦贫困线 200%、营养补充与食品券项目参与、童年食物安全、保险，以及成年应答者的性别与年龄。
例 10.1–10.3 的共同点是：我们关心一种非随机处理对结果的因果效应。它们都来自观察性研究。
10.2 潜在结果框架下的因果效应与选择偏倚
对单元 \(i\)（\(i=1,\ldots,n\)），有预处理协变量 \(X_i\)、二值处理 \(Z_i\)，以及观测结果 \(Y_i\)；处理与对照下各有潜在结果 \(Y_i(1)\)、\(Y_i(0)\)。为简单起见，假定
\[ \{X_i,Z_i,Y_i(1),Y_i(0)\}_{i=1}^{n} \ \stackrel{\mathrm{IID}}{\sim}\ \{X,Z,Y(1),Y(0)\}. \]
于是总体层面的量可以省掉下标 \(i\)。关心的因果效应有：平均因果效应
\[ \tau=\mathrm{E}\{Y(1)-Y(0)\}, \]
处理组上的平均因果效应
\[ \tau_{\mathrm{T}}=\mathrm{E}\{Y(1)-Y(0)\mid Z=1\}, \]
以及对照组上的平均因果效应
\[ \tau_{\mathrm{C}}=\mathrm{E}\{Y(1)-Y(0)\mid Z=0\}. \]
由期望的线性性，
\[ \tau_{\mathrm{T}} =\mathrm{E}(Y\mid Z=1)-\mathrm{E}\{Y(0)\mid Z=1\}, \]
\[ \tau_{\mathrm{C}} =\mathrm{E}\{Y(1)\mid Z=0\}-\mathrm{E}(Y\mid Z=0). \]
上面两式里，\(\mathrm{E}(Y\mid Z=1)\) 与 \(\mathrm{E}(Y\mid Z=0)\) 能直接从数据估；\(\mathrm{E}\{Y(0)\mid Z=1\}\) 与 \(\mathrm{E}\{Y(1)\mid Z=0\}\) 却不能。后两个是反事实——处理走到了另一边，那边的潜在结果均值，我们看不见。
简单均值差，也叫 prima facie 因果效应，2
\[ \tau_{\mathrm{PF}} =\mathrm{E}(Y\mid Z=1)-\mathrm{E}(Y\mid Z=0) =\mathrm{E}\{Y(1)\mid Z=1\}-\mathrm{E}\{Y(0)\mid Z=0\}, \]
一般对上面定义的那些因果效应有偏。例如
\[ \tau_{\mathrm{PF}}-\tau_{\mathrm{T}}=\mathrm{E}\{Y(0)\mid Z=1\}-\mathrm{E}\{Y(0)\mid Z=0\}, \]
\[ \tau_{\mathrm{PF}}-\tau_{\mathrm{C}}=\mathrm{E}\{Y(1)\mid Z=1\}-\mathrm{E}\{Y(1)\mid Z=0\} \]
一般不为零。它们度量的，正是选择偏倚（selection bias）：处理组与对照组潜在结果均值的差别。
随机化为什么这么要紧？Rubin (1978) 最早用潜在结果把这份好处写清楚。第 9 章用过：CRE 中
\[ Z\perp\!\!\!\perp\{Y(1),Y(0)\}, \tag{10.1} \]
于是选择偏倚两项都为零，从而
\[ \tau=\tau_{\mathrm{T}}=\tau_{\mathrm{C}}=\tau_{\mathrm{PF}}. \tag{10.2} \]
上面这段话的核心是：随机化的根本好处，是让潜在结果的分布在处理组与对照组之间平衡。这比平衡观测协变量的分布，保证要强得多。
没有随机化，选择偏倚可以任意大——尤其结果无界时。观察性研究里因果推断的根本困难，就在这里。
10.3 因果效应非参数识别的充分条件
10.3.1 识别
观察性研究里的因果推断不容易，它依赖强假定。一条策略是：用上预处理协变量的信息，并假定给定观测协变量 \(X\) 之后，选择偏倚为零，即
\[ \mathrm{E}\{Y(0)\mid Z=1,X\}=\mathrm{E}\{Y(0)\mid Z=0,X\}, \tag{10.3} \]
\[ \mathrm{E}\{Y(1)\mid Z=1,X\}=\mathrm{E}\{Y(1)\mid Z=0,X\}. \tag{10.4} \]
(10.3) 与 (10.4) 说的是：两组潜在结果均值的差别，完全来自观测协变量的差别。因而给定同一协变量取值，两组潜在结果均值相同。数学上，它们保证 (10.2) 的条件版本彼此相等：
\[ \tau(X)=\tau_{\mathrm{T}}(X)=\tau_{\mathrm{C}}(X)=\tau_{\mathrm{PF}}(X), \]
其中 \(\tau(X)=\mathrm{E}\{Y(1)-Y(0)\mid X\}\) 常叫做条件平均因果效应（conditional average causal effect, CATE）；其余几个是再条件于 \(Z\) 或只看观测结果的条件版本。
本章的一个关键结果是：在 (10.3) 与 (10.4) 下，平均因果效应 \(\tau\) 非参数可识别。这个说法在经典统计里不常露面，对观察性因果推断却是钥匙。先给一个抽象定义。
定义 10.1（识别） 若参数 \(\theta\) 在某些模型假定下，能写成观测数据分布的函数，就说它可识别。若不必再加任何参数化模型假定，就能写成观测数据分布的函数，就说它非参数可识别。
定义 10.1 此刻还抽象。后面几章会用更具体的例子把它摸实。经典统计问题里，它常被忽略：例如有 \(Y_i\) 的 IID 抽取，均值 \(\theta=\mathrm{E}(Y)\) 自动非参数可识别；有 \((X_i,Y_i)\) 的 IID 抽取，Pearson 相关系数也自动非参数可识别。可在观察性因果推断里，这个定义是根本的。关心的参数 \(\tau=\mathrm{E}\{Y(1)-Y(0)\}\) 依赖一些未观测的随机变量，单凭观测数据，它是否非参数可识别，并不显然。在 (10.3) 与 (10.4) 下，它是可识别的，细节如下。
\(\tau_{\mathrm{PF}}(X)\) 只依赖可观测量，按定义非参数可识别。(10.3) 与 (10.4) 又保证三个因果效应都等于 \(\tau_{\mathrm{PF}}(X)\)，于是 \(\tau(X)\)、\(\tau_{\mathrm{T}}(X)\)、\(\tau_{\mathrm{C}}(X)\) 都非参数可识别。再由全期望公式，无条件版本也可识别：
\[ \tau=\mathrm{E}\{\tau(X)\},\qquad \tau_{\mathrm{T}}=\mathrm{E}\{\tau_{\mathrm{T}}(X)\mid Z=1\},\qquad \tau_{\mathrm{C}}=\mathrm{E}\{\tau_{\mathrm{C}}(X)\mid Z=0\}. \]
除非另说（第 13 章是例外），后面我聚焦 \(\tau\)。识别公式汇总如下。
定理 10.1 在 (10.3) 与 (10.4) 下，平均因果效应 \(\tau\) 由下式识别：
\[ \begin{align} \tau &= \mathrm{E}\{\tau(X)\} \tag{10.5}\\ &= \mathrm{E}\{\mathrm{E}(Y\mid Z=1,X)-\mathrm{E}(Y\mid Z=0,X)\} \tag{10.6}\\ &= \int\bigl\{\mathrm{E}(Y\mid Z=1,X=x)-\mathrm{E}(Y\mid Z=0,X=x)\bigr\}f(x)\,dx. \tag{10.7} \end{align} \]
公式 (10.6) 由 Rosenbaum and Rubin (1983b) 正式给出，Robins 也称之为 g-公式（见 Hernán and Robins, 2020）。
协变量离散时，定理 10.1 可写成
\[ \tau = \sum_x \mathrm{E}(Y\mid Z=1,X=x)\operatorname{pr}(X=x) - \sum_x \mathrm{E}(Y\mid Z=0,X=x)\operatorname{pr}(X=x), \tag{10.8} \]
而简单均值差是
\[ \tau_{\mathrm{PF}} = \sum_x \mathrm{E}(Y\mid Z=1,X=x)\operatorname{pr}(X=x\mid Z=1) - \sum_x \mathrm{E}(Y\mid Z=0,X=x)\operatorname{pr}(X=x\mid Z=0). \tag{10.9} \]
对照 (10.8) 与 (10.9)：两边都在比较条件期望 \(\mathrm{E}(Y\mid Z=1,X=x)\) 与 \(\mathrm{E}(Y\mid Z=0,X=x)\)，可平均时所依的协变量分布不同。因果参数 \(\tau\) 按协变量的共同分布去平均；均值差 \(\tau_{\mathrm{PF}}\) 却按处理组与对照组两套不同的协变量分布去平均。
通常我们会加一个更强的假定。
假设 10.1（可忽略性，ignorability）
\[ Y(z)\perp\!\!\!\perp Z\mid X \qquad(z=0,1). \tag{10.10} \]
假设 10.1 有许多名字：
- 可忽略性（ignorability），出自 Rubin (1978)；3
- 无混杂（unconfoundedness），流行病学家常用；
- 基于可观测变量的选择（selection on observables），社会科学家常用；
- 条件独立，不过是把假定里的记号用话再说一遍。
有时再加更强的一条。
假设 10.2（强可忽略性）
\[ \{Y(1),Y(0)\}\perp\!\!\!\perp Z\mid X. \tag{10.11} \]
假设 10.2 叫强可忽略性（Rubin, 1978; Rosenbaum and Rubin, 1983b）。若关心的是 \(\tau\)，更强的 10.1 与 10.2 多半只是为了记号方便——条件独立写起来干净；识别 \(\tau\) 并不真正需要它们。可若关心的是别的尺度上的因果效应（分布、分位数，或结果的某种变换），它们就不能放松。强可忽略性要求：给定协变量，潜在结果向量与处理独立；可忽略性只要求每个潜在结果各自与处理独立。前者更强。差别偏技术、偏理论兴趣；见习题 10.5。在多数说得通的统计模型里，两者都会一起成立；见 10.3.2 节。本书不再细加区分，一律用「可忽略性」称呼它们。
10.3.2 可忽略性假定说得通吗？
观察性因果推断的一个根本问题，是可忽略性是否说得通。10.3.1 节看起来很数学：可忽略性是让平均因果效应非参数可识别的充分条件。科学上它是什么意思？直觉上，它排除了所有同时影响处理与结果的未测协变量。处理与结果的这些「共同原因」，叫做混杂变量。所以可忽略性也叫无混杂假定。
更透明一点，可以从结果的生成过程来读。若
\[ Y(1)=g_1(X,V_1),\quad Y(0)=g_0(X,V_0),\quad Z=1\{g(X,V)\ge 0\}, \]
且 \((V_1,V_0)\perp\!\!\!\perp V\)，则假设 10.1 与 10.2 都成立：处理与结果的「共同原因」\(X\) 都被看见了，剩下的随机成分彼此独立。若改成
\[ Y(1)=g_1(X,U,V_1),\quad Y(0)=g_0(X,U,V_0),\quad Z=1\{g(X,U,V)\ge 0\}, \]
且仍有 \((V_1,V_0)\perp\!\!\!\perp V\)，则两假设一般不成立。未测的共同原因 \(U\)，即使给定观测协变量 \(X\)，也会让处理与潜在结果相依。若我们拿不到 \(U\)，只凭 \((Z,X,Y)\) 分析，最终估计一般会对因果参数有偏。计量里把这种偏倚叫遗漏变量偏倚（omitted variable bias）；见后面习题 16.2。
若我们观测到一套足够丰富、同时影响处理与结果的协变量 \(X\)，可忽略性可以是合理的。第三部分我将从这条假定出发，谈识别与估计。可它从根本上不可检验。我们可以凭科学背景为它辩护，却常常无法确定它是否成立。第四、五部分会谈：当可忽略性不那么说得通时，还有别的路。
10.4 两种简单估计策略及其局限
10.4.1 基于离散协变量的分层或标准化
若 \(X_i\in\{1,\ldots,K\}\) 离散，可忽略性 (10.10) 就是：给定 \(X=k\)，\(Y(z)\perp\!\!\!\perp Z\)。这本质上假定：在第 9 章的超总体框架下，这项观察性研究像一次 SRE。于是可用
\[ \hat\tau=\sum_{k=1}^{K}\pi_{[k]}\bigl\{\hat{\bar Y}_{[k]}(1)-\hat{\bar Y}_{[k]}(0)\bigr\}, \]
与第 5 章的分层或事后分层估计相同。
实践中这种方法仍很常用。例 10.2 的协变量是离散的，分析留给习题 10.4。可实施起来有几处明显的难处。第一，\(K\) 小时还好；\(K\) 一大，很多层会出现 \(n_{[k]1}=0\) 或 \(n_{[k]0}=0\)，那些层的 \(\hat\tau_{[k]}\) 就定义不好。这与重叠（overlap）有关，第 20 章再谈。第二，协变量是多维连续或混合型时，分层怎么做并不显然。标准做法是先把原始协变量做成层，再分层——分析里就容易带上任意性。
10.4.2 结果回归
最常用的结果回归，是把观测结果对处理指示与协变量做可加的 OLS，假定
\[ \mathrm{E}(Y\mid Z,X)=\beta_0+\beta_z Z+\beta_x^\top X. \]
若线性模型正确，则 \(\tau(X)=\beta_z\)，因果效应对协变量齐性；再配上可忽略性，\(\tau=\mathrm{E}\{\tau(X)\}=\beta_z\)。于是平均因果效应就等于 \(Z\) 的系数。这是线性模型最重要的应用之一。可 \(Z\) 系数的因果解释，只在两条强假定下成立：可忽略性，以及线性模型。
第 6 章已经说过：即便在 CRE 里，上面的做法也并非最优——它忽略了协变量诱导的处理效应异质性。若假定
\[ \mathrm{E}(Y\mid Z,X)=\beta_0+\beta_z Z+\beta_x^\top X+\beta_{zx}^\top XZ, \]
则 \(\tau(X)=\beta_z+\beta_{zx}^\top X\)，配上可忽略性有 \(\tau=\beta_z+\beta_{zx}^\top\mathrm{E}(X)\)。估计便是 \(\hat\beta_z+\hat\beta_{zx}^\top\bar X\)。若一开始就把协变量中心化使 \(\bar X=0\)，估计就是 \(Z\) 的回归系数。为手续简单，通常先中心化；也请回想第 6 章的 Lin (2013) 估计。Rosenbaum and Rubin (1983b)、Hirano and Imbens (2001) 讨论过它。
更一般地，可以用更复杂的模型。例如分别用处理组与对照组数据建两个预测器 \(\hat\mu_1(X)\)、\(\hat\mu_0(X)\)，则 CATE 的估计是 \(\hat\tau(X)=\hat\mu_1(X)-\hat\mu_0(X)\)，ACE 的估计是
\[ \hat\tau_{\mathrm{reg}}=n^{-1}\sum_{i=1}^{n}\{\hat\mu_1(X_i)-\hat\mu_0(X_i)\}. \]
形式与第 6 章的投影型估计相同，有时叫结果回归估计量。上面基于 OLS 的，是它的特例。标准误可用非参数自助法来估（见附录 A.6）。
二值结果再举一例。
例 10.4（二值结果的结果回归估计） 若用逻辑模型
\[ \mathrm{E}(Y\mid Z,X)=\operatorname{pr}(Y=1\mid Z,X) =\frac{e^{\beta_0+\beta_z Z+\beta_x^\top X}}{1+e^{\beta_0+\beta_z Z+\beta_x^\top X}}, \]
则平均因果效应的估计是：对每个 \(i\)，用系数估计算出 \(Z=1\) 与 \(Z=0\) 时的预测概率再相减，然后对 \(i\) 取平均。它不是逻辑模型里处理系数本身。4 它是所有系数以及协变量经验分布的非线性函数。计量里称之为处理在逻辑模型中的「平均偏效应」或「平均边际效应」。许多计量软件会连同标准误一起报告。完全交互的逻辑模型也可类似推导；见习题 10.3。
条件均值的预测器也可以是别的机器学习工具。Hill (2011) 倡导用树方法估 \(\tau\)；Wager and Athey (2018) 提议也用来估 \(\tau(X)\)，并把树方法与下一章的倾向得分结合起来。自那以后，机器学习与因果推断的交叉一直很活跃（例如 Hahn et al., 2020; Künzel et al., 2019）。
上面这条路最大的问题，是对结果模型设定过于敏感。习题 1.4 给过这样的例子。出于发表与经验研究的激励，人们可能在一大堆候选模型里搜出自己喜欢的因果估计，却不坦白搜过。这是因果推断里 \(p\)-hacking 的一个主要来源。Leamer (1978) 批评过经验研究里的这种做法。
10.5 习题
10.1 一个简单恒等式
证明 \(\tau=\operatorname{pr}(Z=1)\tau_{\mathrm{T}}+\operatorname{pr}(Z=0)\tau_{\mathrm{C}}\)。
10.2 其他因果效应的非参数识别
在可忽略性下，证明：
- 分布因果效应 \(\mathrm{DCE}_y=\operatorname{pr}\{Y(1)>y\}-\operatorname{pr}\{Y(0)>y\}\) 对所有 \(y\) 非参数可识别；
- 分位数因果效应 \(\mathrm{QCE}_q=\operatorname{quantile}_q\{Y(1)\}-\operatorname{quantile}_q\{Y(0)\}\) 对所有 \(q\) 非参数可识别。
注： \(\operatorname{pr}\{Y(z)\le y\}\) 是累积分布函数，\(\operatorname{pr}\{Y(z)>y\}\) 是生存函数。分布因果效应比较的是两条生存函数。分位数因果效应比较的是潜在结果的边际分位数，不同于个体因果效应的分位数 \(\tau_q=\operatorname{quantile}_q\{Y(1)-Y(0)\}\)。事实上 \(\tau_q\) 不可识别：仅有两条边际分布，并不能唯一确定 \(\tau_q\)。
10.3 完全交互逻辑模型中的结果填补估计
把例 10.4 推广到含 \(XZ\) 交互的逻辑模型。对应的结果回归估计是什么？
10.4 数据分析：分层与回归
用 senstrat 包里的 homocyst。结果是同型半胱氨酸水平，处理 \(z=1\) 为每日吸烟、\(z=0\) 为从不吸烟。协变量见包内说明；st 是由全部离散协变量组合定义的层指示。
- 有多少层只有处理或只有对照？这些层里的单元占比多少？丢掉这些层，做分层分析，报告 ACE 的点估计、方差估计与 95% 区间。
- 结果对处理与协变量做无交互 OLS，报告处理系数与稳健标准误。丢掉「只有处理或只有对照」的层后再跑一遍。
- 用 Lin (2013) 估计 ACE。若不丢掉那些层，会发生什么？
- 比较上面三种分析。哪一种更可信？
10.5 可忽略性对强可忽略性
请给一个例子：可忽略性成立，强可忽略性不成立。
注： 这与经典概率问题有关：找三个随机变量 \(A,B,C\)，使 \(A\perp\!\!\!\perp C\)、\(B\perp\!\!\!\perp C\)，但 \((A,B)\not\perp\!\!\!\perp C\)。
10.6 推荐阅读
Cochran (1965) 是观察性研究的经典文献，洞察很多，却没用正式的潜在结果框架。Dylan Small 2015 年创办期刊 Observational Studies（Small, 2015），重印了 Cochran 的旧文，作为 Cochran (2015)。许多领军研究者也为此写了有见地的评论。