区间估计

第九章 区间估计

该笔记基于书本《统计推断》，笔记省略部分均可在该书上找到对应的详细解释。

本章将从第八章的假设检验中的LRT入手，再到给出置信区间的自然求解公式。这一个过程符合直觉，且与6，7，8，9章的知识紧密结合。

9.1 前言

​                在第七章中我们学习了如何求解参数 \(\theta\) 的点估计量，这非常有用。但是这具有一些缺点，我们可以想像一下，点估计量 \(T(\boldsymbol{x})\) 是对参数 \(\theta\) 的估计，且估计量本身是一个随机变量(通常是连续的)，所以对于点估计量来说\(P(T(\boldsymbol{x})=\theta)=0\)，我们没法保证其估计的有效性，因此我们需要更精确的估计。但是怎么做呢？既然一个点不行，那就放松这个条件，用区间来包括这一个参数 \(\theta\) 。这也就是为什么这一章的名称叫做区间估计的原因。我们假设区间为 \(C(\boldsymbol{x})\) ， 长度一定不为0，此时我们可以看到 \(P(\theta \in C(\boldsymbol{x}))>0\) 恒成立。我们get了一个不为 0 的概率 ！即这个区间 \(C(\boldsymbol{x})\)  包括了这个参数 \(\theta\) 的概率(这里的主语一定是区间 \(C(\boldsymbol{x})\)，很重要)，这为我们量化这个区间估计的精确性也提供了思路。
​                和前两章一样，这章也分为两个部分，第一部分是如何求一个区间估计，第二部分是区间估计量的评价。
定义 9.1.1： 一个实值参数 \(\theta\) 的区间估计是样本的任意一对函数 \(L\left(x_1, \cdots\right.\), \(\left.x_n\right)\) 和 \(U\left(x_1, \cdots, x_n\right)\)，对于所有的 \(\boldsymbol{x} \in \mathcal{X}\) 满足 \(L(\boldsymbol{x}) \leqslant U(\boldsymbol{x})\)。如果观测到样本 \(\boldsymbol{X}=\boldsymbol{x}\), 就做出推断 \(L(\boldsymbol{x}) \leqslant \theta \leqslant U(\boldsymbol{x})\)。随机区间 \([L(\boldsymbol{X}), U(\boldsymbol{X})]\) 叫做区间估计量 (interval estimator)。
定义 9.1.4： 对于一个对参数 \(\theta\) 的区间估计量 \([L(\boldsymbol{X}), U(\boldsymbol{X})],[L(\boldsymbol{X})\), \(U(\boldsymbol{X})]\) 的覆盖概率 (coverage probability) 是指随机区间 \([L(\boldsymbol{X}), U(\boldsymbol{X})]\) 覆盖真实参数 \(\theta\) 的概率。在符号上它记作 \(P_0(\theta \in[L(\boldsymbol{X}), U(\boldsymbol{X})])\) 或 \(P(\theta \in[L(\boldsymbol{X})\), \(U(\boldsymbol{X})] \mid \theta)\)。
定义 9.1.5： 对于一个参数 \(\theta\) 的区间估计量 \([L(\boldsymbol{X}), U(\boldsymbol{X})],[L(\boldsymbol{X}), U(\boldsymbol{X})]\) 的置信系数 (confidence coefficient) 是指覆盖概率的下确界 \(\inf _\theta P_\theta(\theta \in[L(\boldsymbol{X})\), \(U(\boldsymbol{X})]\)。
从这些定义里我们认识到很多事情. 首先, 一定牢记这个区间是随机的量, 而 参数不是, 因此, 当我们书写像 \(P_\theta(\theta \in[L(\boldsymbol{X}), U(\boldsymbol{X})])\) 这样的概率陈述时, 是针对 \(\boldsymbol{X}\) 而非针对 \(\theta\) 的。 也就是说 \(P_\theta(\theta \in[L(\boldsymbol{X}), U(\boldsymbol{X})])\) 等同于 \(P_\theta(L(\boldsymbol{X}) \leqslant\) \(\theta, U(\boldsymbol{X}) \geqslant \theta)\)，随机变量为 \(\boldsymbol{X}\) 。
区间估计量, 加之信心的一个量度 (通常为置信系数), 有时被称为一个置信区间。这个术语一般和区间估计量交替使用。一个置信系数为 \(1-a\) 的置信区间被称为 \(1-a\) 置信区间。
9.2 区间估计量的求解

以下将从反转一个LRT开始，介绍几种求解区间估计量的方法。
9.2.1 反转一个LRT统计量

举个例子，设\(X_1, \cdots, X_n\) 是 iid \(\mathrm{n}\left(\mu, \sigma^2\right)\) 的并考 虑检验 \(H_0: \mu=\mu_0\) 对 \(H_1: \mu \neq \mu_0\). 对于固定的水平 \(\alpha\), 一个合理的检验（事实上是 最大功效无偏检验) 具有拒绝区域 \(\left\{x:\left|\bar{x}-\mu_0\right|>z_{\alpha / 2} \sigma / \sqrt{n}\right\}\). 注意到对于符合 \(\left|\bar{x}-\mu_0\right| \leqslant z_{\alpha / 2} \sigma / \sqrt{n}\) 或者等价地满足

\[\bar{x}-z_{\alpha / 2} \frac{\sigma}{\sqrt{n}} \leqslant \mu_0 \leqslant \bar{x}+z_{\alpha / 2} \frac{\sigma}{\sqrt{n}}\]
的样本点, \(H_0\) 则被接受。
因为这个检验具有真实水平 \(\alpha\), 这意味着 \(P\left(H_0\right.\) 被拒绝 \(\left.\mid \mu=\mu_0\right)=\alpha\), 或者换 言之, \(P\left(H_0\right.\) 被接受 \(\left.\mid \mu=\mu_0\right)=1-\alpha\). 把它和上面接受区域描述结合起来，得到

\[P\left(\bar{X}-z_{\alpha / 2} \frac{\sigma}{\sqrt{n}} \leqslant \mu_0 \leqslant \bar{X}+z_{\alpha / 2} \frac{\sigma}{\sqrt{n}} \mid \mu=\mu_0\right)=1-\alpha\]
但是这里对概率的陈述对于每一个 \(\mu\) 都真. 因此陈述

\[P\left(\bar{X}-z_{\alpha / 2} \frac{\sigma}{\sqrt{n}} \leqslant \mu \leqslant \bar{X}+z_{\alpha / 2} \frac{\sigma}{\sqrt{n}}\right)=1-\alpha\]
为真. 通过反转这个水平为 \(\alpha\) 的检验的接受区域而获得的区间 \(\left[\bar{x}-z_{\alpha / 2} \sigma / \sqrt{n}, \bar{x}+\right.\) \(\left.z_{\alpha / 2} \sigma / \sqrt{n}\right]\) 就是一个 \(1-\alpha\) 置信区间。
可以看到样本空间中使得 \(H_0: \mu=\mu_0\) 被接受的集合由下式给出

\[A\left(\mu_0\right)=\left\{\left(x_1, \cdots, x_n\right): \mu_0-z_{\alpha / 2} \frac{\sigma}{\sqrt{n}} \leqslant \bar{x} \leqslant \mu_0+z_{\alpha / 2} \frac{\sigma}{\sqrt{n}}\right\}\]
而置信区间是由参数空间中似乎可信的参数值构成的集合, 由下式给出

\[C\left(x_1, \cdots, x_n\right)=\left\{\mu: \bar{x}-z_{\alpha / 2} \frac{\sigma}{\sqrt{n}} \leqslant \mu \leqslant \bar{x}+z_{\alpha / 2} \frac{\sigma}{\sqrt{n}}\right\}\]
这两个集合通过等价关系

\[\left(x_1, \cdots, x_n\right) \in A\left(\mu_0\right) \Leftrightarrow \mu_0 \in C\left(x_1, \cdots, x_n\right)\]
建立起联系，下面的图9.2.1很好的给出了两者的对应关系。

直到此为止，置信区间和假设检验在原理和本质上依旧是相同的，两者都是从 \(\boldsymbol{x}\) 角度，给出了区间范围，但是置信区间是在接收区域上进行了不等式的形式调整，使得变量看起来变成了 \(\theta\) ，但是参数 \(\theta\) 在这是固定的值，这一定一定要切记。那么对于一族参数为 \(\theta\) 的函数族来说，就会形成一个参数与随机变量的空间区域。此时 \(\theta\) 在参数族的背景下，才摇身一变成为了一个变量(但是还不是一个随机变量，因为它没有概率分布，在之后的bayes法中我们可以看到在将参数 \(\theta\) 考虑为一个随机变量的时候，如何构造一个信任区间)。

上述的例子为特例，接下来将其推广到通解方法。
定理 9.2.2： 对每一个 \(\theta_0 \in \Theta\), 设 \(A\left(\theta_0\right)\) 是 \(H_0: \theta=\theta_0\) 的一个水平为 \(\alpha\) 的检验的接受区域。对每一个 \(x \in \mathcal{X}\), 在参数空间里定义一个集合 \(C(x)\)

\[C(\boldsymbol{x})=\left\{\theta_0: \boldsymbol{x} \in A\left(\theta_0\right)\right\}\]
则随机集合 \(C(\boldsymbol{x})\) 是一个 \(1-\alpha\) 置信集合. 反之, 设 \(C(\boldsymbol{x})\) 是一个 \(1-\alpha\) 置信集合。对任意的 \(\theta_0 \in \Theta\), 定义

\[A\left(\theta_0\right)=\left\{\boldsymbol{x}: \theta_0 \in C(\boldsymbol{x})\right\}\]
则 \(A\left(\theta_0\right)\) 是 \(H_0: \theta=\theta_0\) 的一个水平为 \(\alpha\) 的检验的接受区域。
证明：第一部分, 因为 \(A\left(\theta_0\right)\) 是一个水平为 \(\alpha\) 的检验的接受区域, 所以 \(P_{\theta 0}\left(\boldsymbol{X} \notin A\left(\theta_0\right)\right) \leqslant \alpha\) 并且因此 \(P_{\theta 0}\left(\boldsymbol{X} \in A\left(\theta_0\right)\right) \geqslant 1-\alpha\)
由于 \(\theta_0\) 是任意的, 可以把 \(\theta_0\) 改写成 \(\theta\)。把上面的不等式与 (9.2.1) 合在一起, 就 证明了集合 \(C(\boldsymbol{X})\) 的覆盖概率是

\[P_\theta(\theta \in C(\boldsymbol{X}))=P_\theta(\boldsymbol{X} \in A(\theta)) \geqslant 1-\alpha\]
证明了 \(C(\boldsymbol{X})\) 是一个 \(1-\alpha\) 置信集合。
第二部分, 对 \(H_0: \theta=\theta_0\) 的以 \(A\left(\theta_0\right)\) 作接受区域的检验, 犯第一类错误的概率是

\[P_{\theta_0}\left(\boldsymbol{X} \notin A\left(\theta_0\right)\right)=P_{\theta_0}\left(\theta_0 \notin C(\boldsymbol{X})\right) \leqslant \alpha\]
所以是一个水平为 \(\alpha\) 的检验。
9.2.2 枢轴量

有的时候，置信区间的概率是依赖于 \(\theta\) 的，而有些则与 \(\theta\) 无关。如果一个置信区间可以由一个概率分布与 \(\theta\) 无关的统计量的范围来表示，这个统计量就被称为枢轴量 (pivotal quantity) 或枢轴 (pivot)。
定义 9.2.6： 一个随机变量 \(Q(\boldsymbol{X}, \theta)=Q\left(X, \cdots, X_n, \theta\right)\) 是一个枢轴量或枢轴，如果 \(Q(\boldsymbol{X}, \theta)\) 的分布独立于所有的参数. 就是说, 如果 \(X \sim F(\boldsymbol{x} \mid \theta)\), 则 \(Q(\boldsymbol{X}, \theta)\) 对于所有的 \(\theta\) 值具有同样的分布。

函数 \(Q(x, \theta)\) 通常会明显地同时包含参数与统计量, 但是对任何集合 \(A\), \(P_\theta(Q(\boldsymbol{X}, \theta) \in A)\) 不能依赖于 \(\theta\)。从枢轴构造置信集合的技术靠的是能求出一个枢轴与一个集合 \(A\) 使得集合 \(\{\theta: Q(\boldsymbol{X}, \theta) \in A\}\) 是 \(\theta\) 的一个集估计。

(位置-尺度枢轴) 在位置和尺度情况里有很多枢轴量。设 \(X, \cdots, X_n\) 是来自一个指定的概率密度 函数的随机样本, 并设 \(\bar{X}\) 和 \(S\) 是样本均值和样本标准差。为了证明中的量是枢轴, 只需证明它们的概率密度函数与参数是无关的。特别地, 注意到当 \(X, \cdots, X_n\) 是来自正态总体 \(\mathrm{n}\left(\mu, \sigma^2\right)\) 的随机样本时, \(t\) 统计量 \((\bar{X}-\mu) /(S / \sqrt{n})\) 是一个枢轴, 因为 \(t\) 分布不依赖于参数 \(\mu\) 和 \(\sigma^2\)。
位置-尺度枢轴
pdf 的形式pdf 的类型枢轴量\(f(x-\mu)\)位置\(\bar{X}-\mu\)\(\frac{1}{\sigma} f\left(\frac{x}{\sigma}\right)\)尺度\(\frac{\bar{X}}{\sigma}\)\(\frac{1}{\sigma} f\left(\frac{x-\mu}{\sigma}\right)\)位置-尺度\(\frac{\bar{x}-\mu}{S}\)使用检验反转法构造的那些区间当中, 有些实际上是基于枢轴的，有些则不是。没有通用的求枢轴的策略, 但是 可以略微聪明一些而不是完全依靠猜测。例如, 求出位置或尺度参数的枢轴就 是相对容易的事情。一般讲, 差是位置问题的枢轴而比（或乘积）是尺度问题的枢轴。那么在得到枢纽量后如何构造一个置信区间呢，接下来用伽玛分布举一个例子。
例： 设 \(X, \cdots, X_n\) 是指数分布 \(\operatorname{EXPO}(\lambda)\) 的 iid 样本, 则 \(T=\sum X_i\) 是关于 \(\lambda\) 的充分统计量并且 \(T \sim\) gamma \((n, \lambda)\)。在伽玛分布的概 率密度函数中 \(t\) 和 \(\lambda\) 以 \(t / \lambda\) 的形式一起出现，并且事实上 gamma \((n, \lambda)\) 的概率密度函数 \(\left(\Gamma(n) \lambda^n\right)^{-1} t^{n-1} \mathrm{e}^{-t / \lambda}\) 是一个尺度族。这样, 如果 \(Q(T, \lambda)=2 T / \lambda\), 则

\[Q(T, \lambda) \sim \operatorname{gamma}(n, \lambda(2 / \lambda))=\operatorname{gamma}(n, 2)\]
它不依赖于 \(\lambda\). 所以, 量 \(Q(T, \lambda)=2 T / \lambda\) 是一个枢轴, 服从 gamma \((n, 2)\) 分布, 或者说 \(\chi_{2 n}^2\) 分布。
有时我们能够通过观察概率密度函数的形式看出是否存在枢轴. 在上例中, 量 \(t / \lambda\) 出现在概率密度函数里并且它实际上就是一个枢轴。在正态概率密度函数中, 有\((\bar{x}-\mu) / \sigma\) 出现并且这个量也是一个枢轴。一般, 设一个统计量 \(T\) 的概率密度函数 \(f(t \mid \theta)\) 能够表示成如下形式

\[\quad f(t \mid \theta)=g(Q(t, \theta))\left|\frac{\partial}{\partial t} Q(t, \theta)\right|\]
其中 g 是某个函数而 \(Q\) 是某个单调（对于每个 \(t\), 关于 \(\theta\) 单调）函数。由于 \(Q(\boldsymbol{X}, \theta)\) 是一个枢轴, 则对于一个指定的 \(\alpha\) 值, 我们能够求出数 \(a\) 和 \(b\), 它们不依赖于 \(\theta\), 满足

\[P_{\theta}(a \leqslant Q\left(\boldsymbol{x}, \theta\right) \leqslant b) \geqslant 1-\alpha\]
则对于每个 \(\theta_0 \in \Theta\)

\[\quad A\left(\theta_0\right)=\left\{\boldsymbol{x}: a \leqslant Q\left(\boldsymbol{x}, \theta_0\right) \leqslant b\right\}\]
就是关于 \(H_0: \theta=\theta_0\) 的一个水平为 \(\alpha\) 的检验的接受区域. 我们将用检验反转法构造 置信集合, 但现在用枢轴指出了接受区域的具体形式。利用定理 \(9.2 .2\), 反转检验而得到

\[C(\boldsymbol{x})=\left\{\theta_0: a \leqslant Q\left(\boldsymbol{x}, \theta_0\right) \leqslant b\right\}\]
并且 \(C(\boldsymbol{X})\) 是关于 \(\theta\) 的一个 \(1-\alpha\) 置信集合. 如果 \(\theta\) 是一个实值参数并且对于每个 \(x\) \(\in X, Q(\boldsymbol{x}, \theta)\) 是 \(\theta\) 的一个单调函数, 则 \(C(\boldsymbol{x})\) 将是一个区间. 事实上, 如果 \(Q(\boldsymbol{x}\), \(\theta)\) 是 \(\theta\) 的一个增函数, 则 \(C(\boldsymbol{x})\) 具有 \(L(\boldsymbol{x}, a) \leqslant \theta \leqslant U(x, b)\) 的形式. 如果 \(Q(\boldsymbol{x}\), \(\theta\) ) 是 \(\theta\) 的一个减函数 (这是典型的), 则 \(C(\boldsymbol{x})\) 具有 \(L(\boldsymbol{x}, b) \leqslant \theta \leqslant U(\boldsymbol{x}, a)\) 的 形式。
9.2.3 枢轴化累积分布函数

前面我们看到枢轴量对于求解置信区间的帮助非常大，它可以极大程度上简化求解的过程。但是这些枢轴量都有着比较严格的前提条件，都是在位置-尺度中才成立。接下来，我们将从积分变换入手，对枢轴量进行前提更少的推广。
首先回想一下，在第三章中我们得到过一个结论，即概率积分变换，随机变量的累计分布量是服从均匀分布的，这是一个概率分布与参数 \(\theta\) 无关的量，也是一个枢轴量，因此我们可以通过这个枢轴来求解置信区间。而这需要分为连续随机变量和离散随即变量两种情况。

定理 9.2.12： (连续型累积分布函数) 设 \(\mathcal{T}\) 是一个以 \(F_T(t \mid \theta)\) 为 其累积分布函数的连续型统计量。设 \(\alpha_1+\alpha_2=\alpha\) 其中 \(0