概率论与数理统计笔记

随机变量

离散型随机变量

先来看一个启发性的例子，我们把一个均匀的硬币投掷了三次，设投出正面为 $H$ ，反面为 $T$ ，能很轻松得得到结果空间：

Ω = {T T T, T T H, T H T, H T T, T H H, H T H, H H T, H H H}

$Ω$ 中的每个元素的概率都是 $\frac{1}{8}$ ，于是我们得到了结果空间和概率函数

如果现在我们提出一个问题：对于一个抛掷序列，我们能否得到一个抛掷序列，求出它正面出现的次数

这可以用一个函数来表示，我们定义一个从 $Ω$ 到实数集 $R$ 的函数 $X$ ，其中 $X (w)$ 等于 $w \in Ω$ 中正面出现的次数，例如： $X (H H T) = 2$ ， $X (T T T) = 0$

同理，我们也可以定义反面出现的次数 $Y (w)$ ，一个比较显然的结论就是 $X (w) + Y (w) = 3$ 因为我们一共抛掷了 $3$ 次

我们可以同时定义三个简单函数来构造 $X$ ，定义 $X_{i}$ ，表示如果第 $i$ 次掷出的正面，那么 $X_{i} (w) = 1$ ，否则为 $0$ ，例如 $X_{1} (H H T) = 1, X_{2} (H H T) = 1, X_{3} (H H T) = 0$ ，于是可以得出等式

X (w) = X_{1} (w) + X_{2} (w) + X_{3} (w)

这个例子体现了我们可以用较简单的函数来构造复杂的函数，接下来给出随机变量的定义

::: tip 定义

离散型随机变量 $X$ 是定义在一个离散的结果空间 $Ω$ 上的实质函数，具体地说，我们为每个元素 $w \in Ω$ 指定了一个实数 $X (w)$

:::

（这里的离散型也叫概率密度函数，在中国也叫分布律）

我们通过一个函数 $X$ 把结果空间上的值映射到了实数域上，一个很自然的问题就是求 $P (X = x)$ ，随机变量的值恰好是 $x$ 的概率是多少

在上面的例子中，由于都是等概率的，所以我们只需要数出 $X = x$ 出现了几次，除以 $8$ 就是概率，可以得到

\begin{array}{r} P (X = 0) = \frac{1}{8} \\ P (X = 1) = \frac{3}{8} \\ P (X = 2) = \frac{3}{8} \\ P (X = 3) = \frac{1}{8} \end{array}

除了这四个值，其他地方的概率都是 $0$ ，于是我们引出了 概率密度函数（probability density function, PDF）的定义

::: tip 定义

设 $X$ 是一个随机变量，它定义在离散结果空间 $Ω$ 上，那么 $X$ 的概率密度函数就是 $X$ 取某个特定值的概率：

f_{X} (x) = P (ω \in Ω : X (ω) = x)

:::

另外一个重要的概念是 累积分布函数（cumulative distribution function, CDF），虽然这个在概念对连续型随机变量更有用, 但它在离散型随机变量方面仍有些用途

::: tip 定义

设 $X$ 是一个随机变量，它定义在离散结果空间 $Ω$ 上，那么 $X$ 的累积分布函数就是 $X$ 不超过特定值的概率：

F_{X} (x) = P (ω \in Ω : X (ω) \leq x)

:::

连续型随机变量

和离散型随机变量相似，我们尝试在结果空间里面定义一个随机变量，但实际上这比结果空间是有限的或可数的情况要更困难一些

一个概率空间由三部分组成：结果空间 $Ω$ ，概率函数 $P$ ，以及 $P$ 有定义的子集构成的 $σ$ 代数，（ $P$ 在其他子集上无定义）

::: tip 定义

设 $X$ 是一个随机变量，如果存在一个实值函数 $f_{X}$ 满足：

$f_{X}$ 是一个连续分段函数
$f_{X} (x) \geq 0$
$\int_{- \infty}^{+ \infty} f_{X} (t) d t = 1$

那么 $X$ 是一个连续性随机变量， $f_{X}$ 是 $X$ 的概率密度函数

$X$ 的累计分布函数 $F_{X} (x)$ 就是 $X$ 不大于 $x$ 的概率：

F_{x} = P (X \leq x) = \int_{- \infty}^{x} f_{X} (t) d t

:::

下面来看一个例子，尝试验证它是否满足连续性随机变量的三个条件：分段连续、非负性，积分为 $1$

f_{X} (x) = {\begin{cases} 2 + 3 x - 5 x^{2} & 若 0 ⩽ x ⩽ 1 \\ 0 & 其他; \end{cases}

分段连续：这个函数显然是分段连续的

非负性：

f_{X} (x) = 2 + 3 x - 5 x^{2} = (1 - x) (2 + 5 x)

由于 $0 \leq x \leq 1$ ， $(1 - x) \geq 0, (2 + 5 x) \geq 0 \Rightarrow (1 - x) (2 + 5 x) \geq 0$

积分：

\begin{aligned} \int_{- \infty}^{\infty} f_{X} (x) d x & = \int_{0}^{1} (2 + 3 x - 5 x^{2}) \\ = {2 x |}_{0}^{1} + {\frac{3 x^{2}}{2} |}_{0}^{1} - {\frac{5 x^{3}}{3} |}_{0}^{1} \\ = 2 + \frac{3}{2} - \frac{5}{3} \\ = \frac{11}{6} \end{aligned}

可以看出积分不为 $1$ ，所以 $f_{X} (x)$ 不是一个概率密度函数

很容易想到用一个常数对他进行缩放，使它积分值为 $1$

g_{X} (x) = \frac{6}{11} f_{X} (x)

那么 $g_{X} (x)$ 的就是一个概率密度函数

常见分布

柏松分布

::: tip 定义

设随机变量 $X$ 的取值为 $0, 1, 2, \dots, n, \dots$ 对应的分布律是：

P (X = k) = \frac{λ^{k}}{k!} e^{- λ}, λ > 0, k = 0, 1, 2, \dots . n, \dots

则称随机变量 $X$ 服从参数为 $λ$ 的柏松分布，记为 $X \sim P (λ)$

:::

泊松分布还有一个非常有用的性质，即它可以作为二项分布的一种近似，在二项分布计算中，当ｎ较大时计算结果非常不理想，如果 $p$ 比较小，而 $n p = λ$ 适中时，我们常用柏松分布的概率值近似取代二项分布的概率值，因为柏松分布要好算很多

::: tip 柏松定理

当 $n \to + \infty$ ，有 $n p \to λ (> 0)$ ，则

lim_{x \to \infty} (\binom{n}{k}) p^{k} (1 - p)^{n - k} = \frac{λ^{k}}{k!} e^{- λ}

:::

超几何分布

::: tip 定义

设有 $N$ 件产品，其中 $M$ 件是不合格品，若从中不放回地抽取 $n (n \leq N)$ 件，设其中含有的不合格品的件数为 $X$ ，则 $X$ 的分布律为：

P (X = k) = \frac{(\binom{M}{k}) (\binom{N - M}{n - k})}{(\binom{N}{n})}, k = max (0, n + M - N), \dots, min (n, M)

则称 $X$ 服从参数为 $N, M$ 和 $n$ 的超几何分布，记为 $X \sim H (N, M, n)$

:::

若将不放回改为有放回，那就变成 $n$ 重伯努利试验了，就是二项分布，当 $n$ 非常大时，有放回和不放回的分布相差很小，所以可以证明：当 $p = \frac{M}{N}$

lim_{N \to \infty} \frac{(\binom{M}{k}) (\binom{N - M}{n - k})}{(\binom{N}{n})} = (\binom{n}{k}) p^{k} (1 - p)^{n - k}

几何分布

在伯努利试验中，记每次试验中 $A$ 事件发生的概率 $P (A) = p (0 < p < 1)$

::: tip 定义

设随机变量 $X$ 表示 $A$ 事件首次出现时已经试验的次数，则 $X$ 的取值为 $1, 2, \dots$ ，对应的分布律为：

P (X = k) = p (1 - p)^{k - 1}, 0 < p < 1, k = 1, 2, \dots

则称随机变量 $X$ 服从参数为 $p$ 的几何分布，记为 $X \sim G e (p)$

:::

负二项分布

::: tip 定义

在伯努利试验中，记每次试验中 $A$ 事件的概率 $P (A) = p (0 < p < 1)$ ，设随机变量 $X$ 表示 $A$ 事件第 $r$ 次出现时已经试验的次数，则 $X$ 的取值为 $r, r + 1, \dots, r + n, \dots$ ，对应的分布律为：

P (X = k) = (\binom{k - 1}{r - 1}) p^{r} (1 - p)^{k - r}, 0 < p < 1, k = r, r + 1, \dots, r + n, \dots

则称随机变量 $X$ 服从参数 $r, p$ 的负二项分布，记为 $X \sim N B (r, p)$ ，当 $r = 1$ 时，就是几何分布

:::

这个式子可以理解为，前 $r - 1$ 次，出现了 $k - 1$ 次事件 $A$ ，最后一次是事件 $A$ ，乘上概率

均匀分布

::: tip 定义

设 $X$ 为随机变量，对任意两个实数 $a, b (a < b)$ ，概率密度函数为：

f (x) = {\begin{cases} \frac{1}{b - a}, a < x < b \\ 0, o t h e r s \end{cases}

:::

指数分布

::: tip 定义

设 $X$ 为随机变量，概率密度函数为：

f (x) = {\begin{cases} λ e^{- λ x} ， x \geq 0, \\ 0, x < 0, \end{cases} λ > 0

则称随机变量 $X$ 服从参数为 $λ$ 的指数分布，记为 $X \sim E (λ)$

相对应的分布函数为：

F (x) = {\begin{cases} 0, x < 0 \\ 1 - e^{- λ x} ， x \geq 0 \end{cases}

:::

指数分布同几何分布相似, 也具有无记忆性

正态分布

::: tip 定义

设 $X$ 为随机变量，概率密度函数为：

f (x) = \frac{1}{\sqrt{2 π} σ} e^{- \frac{(x - μ)^{2}}{2 σ^{2}}} ， - \infty < 0 < + \infty

则称随机变量 $X$ 服从参数为 $μ$ 和 $σ^{2}$ 的正态分布，记为 $X \sim N (μ, σ^{2})$

相应的分布函数为

F (x) = \int_{- \infty}^{x} \frac{1}{\sqrt{2 π} σ} e^{- \frac{(x - μ)^{2}}{2 σ^{2}}} d t

:::

正态分布是一个倒钟形曲线，左右两边关于 $x = μ$ 对称
当 $x = μ$ 时， $f (x)$ 取得最大值 $\frac{1}{\sqrt{2 π} σ}$ 这个值随着 $σ$ 增大而减小
固定 $σ$ ，改变 $μ$ 曲线沿着 $x$ 平移，但不改变形状，所以 $μ$ 又被称为位置参数
固定 $μ$ ，改变 $σ$ 的值，曲线的位置不变，随着 $σ$ 越小，曲线越陡峭，参数 $σ$ 又被称为尺度参数

特别的，当 $μ = 0, σ = 1$ 时，对应的正态分布被称为标准正态分布，记为 $X \sim N (0, 1)$ 概率密度函数和分布函数为：

f (x) = \frac{1}{\sqrt{2 π}} e^{- \frac{x^{2}}{2}}

F (x) = \int_{- \infty}^{x} f (x) = \frac{1}{\sqrt{2 π}} e^{- \frac{x^{2}}{2}} d t

一般来说，对于标准正态分布可以通过查表得到值。

当 $x \geq 0$ 时，标准正态分布函数 $Φ (x)$ ，利用正态分布的概率密度函数 $φ (x)$ 是偶函数的性质得： $Φ (x) = 1 - Φ (- x)$

对于任意的两个实数 $a, b (a < b)$ 可得

P (a < X \leq b) = Φ (b) - Φ (a)

若随机变量 $X \sim N (μ, σ^{2})$ ，则 $\frac{X - μ}{σ} \sim N (0, 1)$ ，所以，对任意两个实数 $a, b (a < b)$ ，有：

P (a < X \leq b) = Φ (\frac{b - μ}{σ}) - Φ (\frac{a - μ}{σ})

卷积和变量替换

如果我们想要把随机变量之间进行运算，例如我们想把 $X$ 和 $Y$ 的概率密度函数过渡到 $X + Y$ 的密度并不容易

如果我们有两个随机变量 $X$ 和另外一个随机变量 $Y$ ，我们想知道 $Z = X + Y$ 的概率密度是多少，给出 $X$ 和 $Y$ 的概率密度函数

\begin{aligned} f_{X} (x) & = {\begin{cases} 1 & 若 - 1 / 2 ⩽ x ⩽ 1 / 2 \\ 0 & 其他 \end{cases} \\ f_{Y} (y) & = {\begin{cases} 1 & 若 - 1 / 2 ⩽ y ⩽ 1 / 2 \\ 0 & 其他. \end{cases} \end{aligned}

如果我们有 $Y = - X$ ，那么 $Z = X + Y$ 就始终为 $0$ ，如果 $Y = X$ 那么 $Z = X + Y = 2 X$

f_{2 X} (z) = {\begin{cases} 1 / 2 & 若 - 1 ⩽ z ⩽ 1 \\ 0 & 其他. \end{cases}

于是可以得出一个启示：只知道 $f_{X}$ 和 $f_{Y}$ 是不足以确定 $f_{X + Y}$ 的，但如果 $X$ 和 $Y$ 是独立的，那么就可以得出来

::: tip 定义

设 $X$ 和 $Y$ 是定义在 $R$ 上的两个 相互独立 的连续性随机变量，它们的概率密度函数分别是 $f_{X}$ 和 $f_{Y}$ ， $X$ 和 $Y$ 的卷积记作 $f_{X} * f_{Y}$ ，表达式为

(f_{X} * f_{Y}) (z) = \int_{- \infty}^{\infty} f_{X} (t) f_{Y} (z - t) d t

如果 $X$ 和 $Y$ 都是离散型随机变量，那么

(f_{X} * f_{Y}) (z) = \sum f_{X} (x_{n}) f_{Y} (z - x_{n})

:::

通过卷积，就可以求得 $Z = X + Y$ 的 PDF

::: tip 定理

设 $X$ 和 $Y$ 是定义在 $R$ 上的两个相互独立的随机变量，它们的概率密度函数分别是 $f_{X}$ 和 $f_{Y}$ 如果 $Z = X + Y$ ，那么

f_{Z} (z) = (f_{X} * f_{Y}) (z)

另外卷积是可以交换的，也就是说： $f_{X} * f_{Y} = f_{Y} * f_{X}$

:::

证明这里给出连续性的证明

我们的思路是通过求累积分布函数来求出概率密度函数，有

F_{Z} (z) = P (Z \leq z)

不妨设 $X$ 的值是 $t$ ，我们要求 $Z = X + Y \leq z \Rightarrow Y \leq z - t$ 也就是 $F_{Y} (z - t) = P (Y \leq z - t)$

让 $t$ 取遍 $X$ 的所有可能值，有

F_{Z} (z) = \int_{t = - \infty}^{\infty} f_{X} (t) F_{Y} (z - t) d t

然后对累积分布函数求导得到概率密度函数

\begin{aligned} f_{Z} (z) & = \frac{d}{d z} \int_{t = - \infty}^{\infty} f_{X} (t) F_{Y} (z - t) d t \\ = \int_{t = - \infty}^{\infty} \frac{d}{d z} [f_{X} (t) F_{Y} (z - t)] d t \\ = \int_{t = - \infty}^{\infty} f_{X} (t) \frac{d}{d z} F_{Y} (z - t) d t \\ = \int_{t = - \infty}^{\infty} f_{X} (t) f_{Y} (z - t) d t \\ = (f_{X} * f_{Y}) (z) \end{aligned}

观察一些卷积的例子

::: note 例题

抛掷两颗均匀的骰子，假设两颗骰子掷出的结果是相对独立的，让 $X$ 表示第一颗骰子掷出的数字， $Y$ 表示第二颗骰子掷出的数字，有：

f_{X} (k) = f_{Y} (k) = {\begin{cases} 1 / 6 & 若 k \in {1, 2, 3, 4, 5, 6} \\ 0 & 其他. \end{cases}

求 $X + Y$ 的概率密度函数

:::

根据卷积的定义可知， $Z = X + Y$ ，那么

f_{Z} (z) = (f_{X} * f_{Y}) (z) = \sum f_{X} (k) f_{Y} (z - k)

考虑范围

k \in {1, \dots, 6} 且 z - k \in {1, \dots, 6} .

我们可以把 $z$ 在这里看出常数，所以 $k$ 的有效取之范围是

{z - 6, z - 5, z - 4, z - 3, z - 2, z - 1} \cap {1, 2, 3, 4, 5, 6}

例如，当 $z = 8$ ，那么 $k$ 当值可能的取值是 $2, 3, 4, 5, 6$

f_{Z} (8) = \sum_{k = 2}^{6} f_{X} (k) f_{Y} (8 - k) = \sum_{k = 2}^{6} \frac{1}{6} \cdot \frac{1}{6} = \frac{5}{36} .

所以得到答案

f_{Z} (k) = {\begin{cases} \sum_{k = 1}^{z - 1} \frac{1}{36} = \frac{z - 1}{36} & 若 z \in {2, \dots, 7} \\ \sum_{k = z - 6}^{6} \frac{1}{36} = \frac{13 - z}{36} & 若 z \in {7, \dots, 12} \\ 0 & 其他. \end{cases}

现在考虑多变量的卷积，能不能求出 $f_{X_{1} + \dots + X_{n}}$ ？

::: tip 定理

设 $X_{1}, X_{2}, \dots, X_{n}$ 是相互独立的随机变量，他们的概率密度函数分别是 $f_{X_{1}}, \dots, f_{X_{n}}$ ，那么有

f_{X_{1} + \dots + X_{n}} (z) = (f_{X_{1}} * f_{X_{2}} * \dots * f_{X_{n}}) (z)

其中

(f_{1} * f_{2} * \dots * f_{n}) (z) = (f_{1} * (f_{2} * \dots * (f_{n - 2} * (f_{n - 1} * f_{n})) \dots)) (z)

:::

我们已经证明了卷积是可交换的，也就是说 $f * g = g * f$ ，另外卷积是满足结合律的： $(f * g) * h = f * (g * h)$

需要注意，卷积需要用两个函数作为输入，并返回一个函数作为输出，对于 $f * g * h$ 就需要小心了，我们不能直接对三个函数求卷积，我们需要说明是： $(f * g) * h$ 或者是 $f * (g * h)$ ，幸运是的，由于结合律，这两个值相同，但是仍要说明运算顺序

下面来看一下上面那个定义的证明

证明：我们只考虑 $n = 3$ 的情况，一般情况下可以类似得证明

我们假设 $Z = X_{1} + X_{2} + X_{3} = (X_{1} + X_{2}) + X_{3}$ ，由于 $X_{3}$ 分别和 $X_{1}, X_{2}$ 独立，所以 $X_{3}$ 和 $X_{1} + X_{2}$ 独立，于是有

f_{Z} (z) = (f_{X_{1} + X_{2}} * f_{X_{3}}) (z) = ((f_{X_{1}} * f_{X_{2}}) * f_{X_{3}}) (z)

当然 $Z$ 可以写成 $Z = X_{1} + (X_{2} + X_{3})$ ，得到

f_{Z} (z) = (f_{X_{1}} * f_{X_{2} + X_{3}}) (z) = (f_{X_{1}} * (f_{X_{2}} * f_{X_{3}})) (z)

这里还是利用了加法的交换律来证明结合律

变量替换公式

假设有一个连续性随机变量 $X$ ，它的概率密度函数是 $f_{X}$ ，如果 $g$ 是一个合适的函数，那么我们能求出 $Y = g (X)$ 的概率密度函数

::: tip 定理

设 $X$ 是一个概率密度函数为 $f_{X}$ 的连续性随机变量，并存在一个区间 $I \subset R$ 使得当 $x \notin I$ 时， $f_{X} (x) = 0$

设 $g : I \to R$ 是一个可微函数，其反函数是 $h$ ，除了在有限多个点的导数值可能为 $0$ 外， $g$ 的导数在 $I$ 中始终为正或始终为负，如果 $Y = g (X)$ ，那么

f_{Y} (y) = f_{X} (h (y)) \cdot | h^{'} (y) |

:::

来再解释一下这个定理

$I \subset R$ 使得当 $x \notin I$ 时， $f_{X} (x) = 0$ 其实是在缩小研究范围，当 $X$ 在 $I$ 中取值的时候，概率函数不为 $0$ ，我们需要的函数只需要在研究范围 $I$ 内有良好的性质，不需要在 $R$ 上有良好的性质
其次要满足 $g$ 是可微的，例如 $I = [- 1, 1], g (X) = | X |$ 就不行，但是如果把 $I = [2, 3]$ 就满足条件了
最后要求除了在个别点能为 $0$ 外， $g$ 的导数值要么始终为正，要么始终为负，就是说明要么单增，要么单减

回顾一下反函数，如果 $h$ 是 $g$ 的反函数，满足： $h (g (x)) = x$ ，且 $g (h (y)) = y$ ，后面那个式子对 $y$ 求微分可以得到

g^{'} (h (y)) \cdot h^{'} (y) = 1 \Rightarrow h^{'} (y) = \frac{1}{g^{'} (h (y))}

也就是说我们需要求 $g$ 的导数然后把 $h (y)$ 带入就好了

::: note 例题

设 $X$ 的概率密度函数是：

f_{X} (x) = {\begin{cases} 1 / 2 & 若 0 ⩽ x ⩽ 2 \\ 0 & 其他, \end{cases}

并设

g (X) = X^{2}

:::

区间 $I = [0, 2]$
除了 $0$ 点以外， $g$ 单增
$h (y) = \sqrt{y}$ ， $h^{'} (y) = \frac{1}{2} y^{- \frac{1}{2}}$

套用公式 $f_{Y} (y) = f_{X} (h (y)) \cdot | h^{'} (y) |$ 得到

f_{Y} (y) = {\begin{cases} \frac{1}{4 \sqrt{y}} & 若 0 ⩽ y ⩽ 4 \\ 0 & 其他. \end{cases}

检验一下，显然这个函数是非负的，查看积分是否为 $1$

\int_{0}^{4} f_{Y} (y) d y = \int_{0}^{4} \frac{d y}{4 \sqrt{y}} = {\frac{\sqrt{y}}{2} |}_{0}^{4} = 1

考虑证明变量替换公式

证明思路还是先求累积分布函数，然后对累积分布函数求导得到概率密度函数

情形一： 假设 $g^{'}$ 是正的，所以 $I$ 被映射成 $[g (a), g (b)]$ 那么，由 $g (a) \leq g (X) \leq y$ 等价于 $a \leq g^{- 1} (g (X)) \leq g^{- 1} (y)$ 可知

\begin{aligned} F_{Y} (y) & = P (Y ⩽ y) \\ = P (g (a) ⩽ Y ⩽ y) \\ = P (g (a) ⩽ g (X) ⩽ y) \\ = P (a ⩽ X ⩽ g^{- 1} (y)), \end{aligned}

于是，有

F_{Y} (y) = P (a \leq X \leq h (y)) = F_{X} (h (y))

使用链式法则对 $F_{Y}$ 求导

f_{Y} (y) = F_{X}^{'} (h (y)) \cdot h^{'} (y) = f_{X} (h (y)) \cdot h^{'} (y)

情形二： 假设 $g^{'}$ 是负的，所以 $I$ 被映射成 $[g (b), g (a)]$ ，此时， $Y \leq y$ 变成了 $g (b) \leq Y \leq y$ ，有

\begin{aligned} F_{Y} (y) & = P (Y ⩽ y) \\ = P (g (b) ⩽ Y ⩽ y) \\ = P (g (b) ⩽ g (X) ⩽ y) \\ = P (g^{- 1} (y) ⩽ X ⩽ b), \end{aligned}

设 $h (x) = g^{- 1} (y)$ ，得到

\begin{aligned} F_{Y} (y) & = P (h (y) ⩽ X ⩽ b) \\ = P (a ⩽ X ⩽ b) - P (a ⩽ X ⩽ h (y)) \\ = 1 - F_{X} (h (y)) \end{aligned}

用链式法则对 $F_{Y} (y)$ 求导

f_{Y} (y) = - F_{X}^{'} (h (y)) \cdot h^{'} (y) = - f_{X} (h (y)) \cdot h^{'} (y);

这里 $g^{'}$ 是负的，所以 $h^{'}$ 也是负的

所以结合情况一，能得到总的式子

f_{Y} (y) = f_{X} (h (y)) \cdot | h^{'} (y) |

证毕

这样一个通用的累积函数的方法也可以作为求变量替换的通法

微分恒等式

假设我们需要求：

\frac{1}{2} + \frac{2}{4} + \frac{3}{8} + \dots + = \sum_{n = 0}^{\infty} \frac{n}{2^{n}}

的值

我们发现这个和几何级数很像，但不完全相同，一个的分子是 $n$ 一个分子是 $1$

我们有几何级数的公式，我们可以对等式两端进行一些运算，从而得出新的恒等式

我们已知几何级数恒等式

1 + \frac{1}{2} + \frac{1}{4} + \frac{1}{8} + \frac{1}{16} + \dots + = \sum_{n = 0}^{\infty} \frac{1}{2^{n}} = \frac{1}{1 - 1 / 2} = 2

我们再抽象一层，把这个 $1 / 2$ 换成 $x$ ，考虑更一般的情形，也就是要求 $\sum_{n = 0}^{\infty} n \cdot x^{n}$

我们有几何恒等式

\sum_{n = 0}^{\infty} x^{n} = \frac{1}{1 - x}

在两边乘上 $\frac{d}{d x}$ ，得到

\begin{aligned} \frac{d}{d x} \sum_{n = 0}^{\infty} x^{n} & = \frac{d}{d x} \frac{1}{1 - x} \\ \sum_{n = 0}^{\infty} \frac{d}{d x} x^{n} & = \frac{1}{(1 - x)^{2}} \\ \sum_{n = 0}^{\infty} n x^{n - 1} & = \frac{1}{(1 - x)^{2}} \end{aligned}

想要得到 $\sum_{n = 0}^{\infty} n \cdot x^{n}$ ，只需要在等式两边乘 $x$ 得到

\sum_{n = 0}^{\infty} n x^{n} = \frac{x}{(1 - x)^{2}}

带入 $x = 1 / 2$ 可以得到和就是 $2$

然后思考另外一个问题，如何求

\sum_{n = 0}^{\infty} \frac{n^{2}}{2^{n}}

还是从几何级数开始，两边乘上 $x \frac{d}{d x}$ ，得到

\sum_{n = 0}^{\infty} n x^{n} = \frac{x}{(1 - x)^{2}}

然后再在两边乘上 $x \frac{d}{d x}$ ，得到

\sum_{n = 0}^{\infty} n^{2} x^{n} = \frac{x (1 + x)}{(1 - x)^{3}}

下面给出定义：

::: tip 定义：微分恒等式法

设 $α, β, γ, \dots, ω$ 是一些参数，设

\sum_{n = n_{min}}^{n_{max}} f (n; α, β, \dots, ω) = g (α, β, \dots, ω)

其中， $f$ 和 $g$ 都是 $α$ 的可微函数，如果 $f$ 退化到求和与微分次序可以交换，那么

\sum_{n = n_{min}}^{n_{max}} \frac{\partial f (n; α, β, \dots, ω)}{\partial α} = \frac{\partial g (α, β, \dots, ω)}{\partial α} .

:::

使用微分恒等式能给我们更多解题思路

来看一下微分恒等式在二项分布随机变量上的应用，有二项分布

Prob (X = k) = {\begin{cases} (\binom{n}{k}) p^{k} (1 - p)^{n - k} & 若 k \in {0, 1, \dots, n} \\ 0 & 其他. \end{cases}

我们设 $q = 1 - p$ ，于是二项分布就变成

(p + q)^{n} = \sum_{k = 0}^{n} (\binom{n}{k}) p^{k} q^{n - k}

这里我们把 $q, p$ 看称相互独立的变量，以为如果把 $q = 1 - p$ 限定死的话，和就恒为 $1$ ，他的导数就是 $0$ ，没有研究的意义了

假设现在我们需要求

E [X] = \sum_{k = 0}^{n} k \cdot (\binom{n}{k}) p^{k} (1 - p)^{n - k}

我们在等式两端乘上 $p \frac{\partial}{\partial p}$ 得到

\begin{aligned} p \frac{\partial}{\partial p} (\sum_{k = 0}^{n} (\binom{n}{k}) p^{k} q^{n - k}) & = p \frac{\partial}{\partial p} (p + q)^{n} \\ p \sum_{k = 0}^{n} (\binom{n}{k}) k p^{k - 1} q^{n - k} & = p \cdot n (p + q)^{n - 1} \\ \sum_{k = 0}^{n} k (\binom{n}{k}) p^{k} q^{n - k} & = n p (p + q)^{n - 1} \end{aligned}

现在回代 $q = 1 - p$ ，得到

\sum_{k = 0}^{n} k (\binom{n}{k}) p^{k} (1 - p)^{n} = n p

现在我们需要计算方差

Var (X) = E [X^{2}] - E [X]^{2} = \sum^{n} k^{2} \cdot (\binom{n}{k}) p^{k} (1 - p)^{n - k} - (n p)^{2}

后面一个均值我们已经得到了，现在需要得到 $E [X^{2}]$ 的值

我们从二项展开那个等式开始

\sum_{k = 0}^{n} (\binom{n}{k}) p^{k} q^{n - k} = (p + q)^{n}

在两边乘上 $p \frac{\partial}{\partial p}$ 得到

\sum_{k = 0}^{n} k (\binom{n}{k}) p^{k} q^{n - k} = n p (p + q)^{n - 1}

再次乘上 $p \frac{\partial}{\partial p}$ 得到

\sum_{k = 0}^{n} k^{2} (\binom{n}{k}) p^{k} q^{n - k} = p [1 \cdot n (p + q)^{n - 1} + p \cdot n (n - 1) (p + q)^{n - 2}]

另 $q = 1 - p$ ，上式就变成了

\sum_{k = 0}^{n} k^{2} (\binom{n}{k}) p^{k} (1 - p)^{n - k} = n p + n (n - 1) p^{2} = E [X^{2}]

于是我们能算出方差了

\begin{aligned} Var (X) & = E [X^{2}] - E [X]^{2} \\ = \sum_{k = 0}^{n} k^{2} (\binom{n}{k}) p^{k} q^{n - k} - (n p)^{2} \\ = n p + n^{2} p^{2} - n p^{2} - n^{2} p^{2} \\ = n p - n p^{2} = n p (1 - p) . \end{aligned}

现在再来观察一下在正态分布随机变量上的应用
/
$X \sim N (μ, σ^{2})$ 表示 $X$ 服从均值为 $μ$ ，方差为 $σ^{2}$ 的正态分布，概率密度函数是

f_{X} (x) = \frac{1}{\sqrt{2 π σ^{2}}} e^{- (x - μ)^{2} / 2 σ^{2}}

我们现在只考虑标准正态分布

f (x) = \frac{1}{\sqrt{2 π}} e^{- x^{2} / 2}

那么他的 $k$ 阶矩为

M (k) = \int_{- \infty}^{\infty} x^{k} \cdot \frac{1}{\sqrt{2 π}} e^{- x^{2} / 2} d x

显然，当 $k$ 为奇数的时候，这是一个奇函数，积分为 $0$ ，我们必须要考虑 $k$ 为偶数的情况，处理方法至少有两种：直接积分和微分恒等式

直接积分

考虑方差，由于均值是 $0$ ，所以方差为

\int_{- \infty}^{\infty} x^{2} \cdot \frac{1}{\sqrt{2 π}} e^{- x^{2} / 2} d x

令

u = x, d v = \frac{1}{\sqrt{2 π}} e^{- x^{2} / 2} x d x

得到了， $d u = d x$ 和 $v = \frac{1}{\sqrt{2 π}} e^{- x^{2} / 2} d x$ ，于是有

M (2) = {u v |}_{- \infty}^{\infty} + \int_{- \infty}^{\infty} \frac{1}{\sqrt{2 π}} e^{- x^{2} / 2} d x = 1 .

于是我们证明了二阶矩为 $1$

微分恒等式法

我们从这个事实开始

1 = \int_{- \infty}^{\infty} \frac{1}{\sqrt{2 π σ^{2}}} e^{- x^{2} / 2 σ^{2}} d x

把 $σ$ 移动到另外一遍得到

σ = \int_{- \infty}^{\infty} \frac{1}{\sqrt{2 π}} e^{- x^{2} / 2 σ^{2}} d x

我们把 $σ^{3} \frac{d}{d σ}$ 用于上式两端，为什么要乘上 $σ^{3}$ 因为微分会对 $- \frac{x^{2}}{2 σ^{2}}$ 产生影响，从而产生 $\frac{1}{σ^{3}}$ 的因子，所以需要乘上 $σ^{3}$

σ^{3} \frac{d}{d σ} σ = σ^{3} \frac{d}{d σ} \int_{- \infty}^{\infty} \frac{1}{\sqrt{2 π}} e^{- x^{2} / 2 σ^{2}} d x

σ^{3} \cdot 1 = \int_{- \infty}^{\infty} x^{2} \cdot \frac{1}{\sqrt{2 π}} e^{- x^{2} / 2 σ^{2}} d x

令

I (k; σ) = \int_{- \infty}^{\infty} x^{k} \cdot \frac{1}{\sqrt{2 π}} e^{- x^{2} / 2 σ^{2}} d x

这样我们就得出了

σ^{3} = I (2; σ)

此外，积分 $I (k; σ)$ 与标准正态分布的矩 $M (k)$ 之间存在一种简单的关系：

I (k, 1) = M (k)

这里可以看出 $I (k; σ)$ 是均值为 $0$ 且方差为 $σ^{2}$ 的正态分布的 $k$ 阶矩

我们证明了

1 \cdot σ^{3} = I (2; σ) 和 I (k; 1) = M (k)

我们在上面那个积分两端再乘上 $σ^{3} \frac{d}{d σ}$ 得

σ^{3} \cdot 3 \cdot 1 σ^{2} = \int_{- \infty}^{\infty} x^{2} \cdot x^{2} \frac{1}{\sqrt{2 π}} e^{- x^{2} / 2 σ^{2}} d x = I (4; σ)

等价于

3 \cdot 1 \cdot σ^{5} = I (4; σ)

将 $σ^{3} \frac{d}{d σ}$ 再次乘在式子两端，我们有

σ^{3} \cdot 5 \cdot 3 \cdot 1 σ^{4} = 5 \dots 3 \dots 1 \dots σ^{7} = I (6; σ)

令 $σ = 1$ 可以得到标准正态分布的矩的公式

\prod_{k = 1}^{\frac{n}{2} - 1} 2 k + 1 = M (n), n为偶数

多维随机变量

::: tip 定义

设有随机试验 $E$ ，其样本空间为 $Ω$ ，若 $Ω$ 中的每一个样本点 $ω$ 都有一对实数 $(X (ω), Y (ω))$ 与其对应，则称 $(X, Y)$ 为二维数组随机变量

:::

联合分布函数

可以理解为前缀和

::: tip 定义

设 $(X, Y)$ 为二维随机变量，对任意的 $(x, y) \in R^{2}$ ，称

F (x, y) = P (X \leq x, Y \leq y)

为随机变量 $(X, Y)$ 的联合分布函数

:::

联合密度函数

::: tip 定义

设二位变量 $(X, Y)$ 的联合分布函数为 $F (x, y)$ ，如果存在一个二元非负实值函数 $f (x, y)$ ，使得对于任意 $(x, y) \in R^{2}$ 有

F (x, y) = \int_{- \infty}^{x} \int_{- \infty}^{y} f (u, v) d u d v

成立，则称 $(X, Y)$ 为二维连续性随机变量， $f (x, y)$ 为二维连续性随机变量 $(X, Y)$ 的联合密度函数

:::

几何意义就是左前侧阴影部分的体积

常见分布

二维均匀分布

::: tip 定义

设二维随机变量 $(X, Y)$ 的联合密度函数为

f (x, y) = {\begin{cases} \frac{1}{S_{G}}, & (x, y) \in G \\ 0, & others \end{cases}

其中 $G$ 是 $x o y$ 平面上的某个区域， $S_{G}$ 为 $G$ 的面积，则称 $(X, Y)$ 服从区域 $G$ 上的二维均匀分布

:::

二维正态分布

::: tip 定义

如果 $(X, Y)$ 的联合密度函数为

f (x, y) = \frac{1}{2 π σ_{1} σ_{2} \sqrt{1 - ρ^{2}}} \cdot \exp {- \frac{1}{2 (1 - p^{2})} [\frac{(x - μ_{1})^{2}}{σ_{1}^{2}} - 2 ρ \frac{(x - μ_{1}) (x - μ 2)}{σ_{1} σ_{2}} + \frac{(y - μ_{2})^{2}}{σ_{2}^{2}}]}

则称 $(X, Y)$ 服从二维正态分布，记为 $(X, Y) \sim N (μ_{1}, μ_{2}, σ_{1}^{2}, σ_{2}^{2} . ρ)$

:::

边缘分布

如果知道二维随机变量 $(X, Y)$ 的联合分布，那么其中一个变量的分布肯定也能知道

边缘分布函数

::: tip 定义

设二维随机变量 $(X, Y)$ 的联合分布函数为 $F (x, y)$ ，称

F_{X} (x) = P (X \leq x) = P (X \leq x, Y \leq + \infty) = F (x, \infty)

为随机变量 $X$ 的边缘分布函数，随机变量 $Y$ 的边缘分布函数同理

:::

离散型边缘分布律

求 $X$ 的边缘分布律即为求 $(X, Y)$ 联合分布律表格中的行和， $Y$ 的边缘分布律即为求 $(X, Y)$ 联合分布律表格中的列和

$X$ 的边缘分布律为

$Y$ 的边缘分布律为

连续性边缘密度函数

定义设二维连续型随机变量 $(X, Y)$ 的联合密度函数 $f (x, y)$ ，则 $X$ 的边缘密度函数为

f_{X} (x) = \int_{- \infty}^{+ \infty} f (x, y) d y

$Y$ 的边缘密度函数类似

相互独立性

::: tip 定义

设 $(X, Y)$ 为二维随机变量，若对任意的 $x, y \in R$ ，有：

F (x, y) = F_{X} (x) F_{Y} (y)

成立，则称随机变量 $X$ 与 $Y$ 相互独立

:::

::: tip 定理

设 $(X, Y)$ 为二维离散型随机变量， $X$ 和 $Y$ 相互独立的充分必要条件是，对任意的 $i, j = 1, 2, \dots$ ，都有：

p_{i j} = p_{i} \cdot p_{j}

成立

:::

条件分布

离散型条件分布律

::: tip 定义

设二维随机变量 $(X, Y)$ ，其联合分布律为：

P_{i j} = P {X = x_{i}, Y = y_{i}}, i = 1, 2, \dots

关于 $Y$ 的边缘分布律为 $P {Y = y_{i}} = \sum_{i = 1}^{+ \infty} p_{i j} = p_{j}, j = 1, 2, \dots$ ，称

P_{i | j} = P {X = x_{i} | Y = y_{i}} = \frac{P {X = x_{i}, Y = y_{i}}}{P {Y = y_{i}}} = \frac{p_{i j}}{p_{\cdot j}}, i = 1, 2, \dots

为在 $Y = y_{j}$ 的条件下随机变量 $X$ 的条件分布律

同理，关于 $X$ 的边缘分布律为 $P {X = x_{i}} = \sum_{j = 1}^{+ \infty} p_{i j} = p_{i} \cdot, i = 1, 2, \dots$ ，称

P_{j | i} = P {Y = y_{j} | X = x_{i}} = \frac{P {X = x_{i}, Y = y_{i}}}{P {X = x_{i}}} = \frac{p_{i j}}{p_{i \cdot}}, j = 1, 2, \dots

为在 $X = x_{i}$ 的条件下随机变量 $Y$ 的条件分布律

:::

连续性条件概率密度

先来看一个例子，二维随机变量 $(X, Y)$ 的概率密度为

f (x, y) = {\begin{cases} 3 x, & 0 < x < 1, 0 < y < x, \\ 0, & o t h e r s \end{cases}

求概率 $P {Y \leq \frac{1}{8} | X = \frac{1}{4}}$

如果强行使用离散型的分析方法 $P {Y \leq \frac{1}{8} | X = \frac{1}{4}} = \frac{P {X = \frac{1}{4}, Y \leq \frac{1}{8}}}{P {X = \frac{1}{4}}}$ 会发现 $P {X = \frac{1}{4}} = 0$ ，除数不能为 $0$ ，肯定有问题

所以不能直接带入条件概率公式，需要先求得概率密度函数，然后通过概率密度函数求条件概率密度函数

::: tip 定义

设二维连续性随机变量 $(X, Y)$ 的联合概率密度为 $f (x, y)$ ，其关于 $X, Y$ 的边缘概率密度分别为 $f_{X} (x)$ 和 $f_{Y} (y)$ ，则称

f_{X | Y} = \frac{f (x, y)}{f_{Y} (y)}

为给定 $Y$ 的条件下， $X$ 的概率密度函数

F_{X | Y} = \int_{- \infty}^{x} \frac{f (u, y)}{f (y)} d u

为给定 $Y$ 的条件下， $X$ 的概率分布函数

:::

随机变量的数字特征

数学期望和矩

::: tip 定义

设 $X$ 是定义在 $R$ 上的随机变量，他的概率密度函数是 $f_{X}$ ，函数 $g (X)$ 的期望值是

E [g (X)] = {\begin{cases} \int_{- \infty}^{\infty} g (x) \cdot f_{X} (x) d x & 若 X 是连续的 \\ \sum_{n} g (x_{n}) \cdot f_{X} (x_{n}) & 若 X 是离散的. \end{cases}

最重要的情形是 $g (x) = x^{r}$ ，我们把 $E [X^{r}]$ 称为 $X$ 的 $r$ 阶矩，把 $E [(X - E [X])^{r}]$ 称为 $X$ 的 $r$ 阶中心矩

:::

只要能算出和或积分, 就可以求出期望值和矩

最重要的两个矩：

均值是一阶矩
方差是二阶中心矩

::: note 例题

f_{X} (x) = {\begin{cases} \frac{6}{11} (2 + 3 x - 5 x^{2}) & 若 0 ⩽ x ⩽ 1 \\ 0 & 其他 \end{cases}

求 $r$ 阶矩
$g (X) = e^{X}$ 的期望
$g (X) = 1 / X$ 的期望

:::

求 $r \geq 0$ 时候的 $r$ 阶矩，就是求 $E [X^{r}]$

\begin{aligned} E [X^{r}] & = \int_{0}^{1} x^{r} \cdot \frac{6}{11} (2 + 3 x - 5 x^{2}) d x \\ = \frac{6}{11} \int_{0}^{1} (2 x^{r} + 3 x^{r + 1} - 5 x^{r + 2}) d x \\ = \frac{6}{11} ({\frac{2 x^{r + 1}}{r + 1} |}_{0}^{1} + {\frac{3 x^{r + 2}}{r + 2} |}_{0}^{1} - {\frac{5 x^{r + 3}}{r + 3} |}_{0}^{1}) \\ = \frac{6}{11} \frac{7 r + 11}{(r + 1) (r + 2) (r + 3)} \end{aligned}

求 $e^{X}$ 的期望，就是计算积分

\begin{aligned} E [e^{X}] & = \int_{0}^{1} e^{x} \cdot \frac{6}{11} (2 + 3 x - 5 x^{2}) d x \\ = \frac{6}{11} (2 \int_{0}^{1} e^{x} d x + 3 \int_{0}^{1} x e^{x} d x - 5 \int_{0}^{1} x^{2} e^{x} d x) \end{aligned}

这里有三个积分，我们需要一一处理

第一个积分就是：

2 \int_{0}^{1} e^{x} d x = 2 {e^{x} |}_{0}^{1} = 2 (e - 1)

第二个积分需要使用分部积分法

\int_{0}^{1} x e^{x} d x = {x e^{x} |}_{0}^{1} - \int_{0}^{1} e^{x} d x = e - (e - 1) = 1

第三个积分同样也适用分部积分法

\int_{0}^{1} x^{2} e^{x} d x = {x^{2} e^{x} |}_{0}^{1} - 2 \int_{0}^{1} x e^{x} d x = e - 2

最后把三个积分结合在一起

E [e^{X}] = \frac{6}{11} (2 \cdot (e - 1) + 3 \cdot 1 - 5 \cdot (e - 2)) = 6 - \frac{18 e}{11}

求 $g (X) = 1 / X$ 的期望，也是积分

\begin{aligned} E [\frac{1}{X}] & = \int_{0}^{1} \frac{1}{x} \cdot \frac{6}{11} (2 + 3 x - 5 x^{2}) d x \\ = \frac{6}{11} (2 \int_{0}^{1} \frac{d x}{x} + 3 \int_{0}^{1} d x - 5 \int_{0}^{1} x d x) \end{aligned}

但是积分 $\int_{0}^{1} \frac{d x}{x}$ 不存在，所以这个期望也不存在

均值和方差

一阶矩和二阶中心距是最重要的两个矩. 这两个重要的矩分别有自己的名称：均值和方差

::: tip 定义

设 $X$ 是一个随机变量，它的概率密度函数是 $f_{X}$

$X$ 的均值是一阶矩，我们把他称为 $E [X]$ 或 $μ_{X}$

μ = {\begin{cases} \int_{- \infty}^{\infty} x \cdot f_{X} (x) d x & 若 X 是连续的 \\ \sum_{n} x_{n} \cdot f_{X} (x_{n}) & 若 X 是离散的. \end{cases}

$X$ 的方差是二阶中心矩，计作 $σ_{X}^{2}$ 或 $Var (X)$ ，也可以说是 $g (X) = (X - μ_{X})^{2}$ 的期望

σ_{X}^{2} = {\begin{cases} \int_{- \infty}^{\infty} {(x - μ_{X})}^{2} f_{X} (x) d x & 若 X 是连续的 \\ \sum_{n} {(x - μ_{X})}^{2} f_{X} (x_{n}) & 若 X 是离散的. \end{cases}

$X$ 的 标准差 的平方根，即 $σ_{X} = \sqrt{σ_{X}^{2}}$

为了保证均值存在，我们希望 $\int_{- \infty}^{+ \infty} | x | f_{X} (x) d x$ 或 $\sum_{n} | x_{n} | f_{X} (x_{n})$ 是有限的

:::

均值就是期望值或平均值，如果从分布中不断地取出很多值，然后对得到的结果求平均值，那么这个平均值应该非常接近于 $μ_{X}$

标准差可以预测出结果与均值之间差距的波动程度，标准差越小，结果就越容易分布在均值附近

与方差相比，标准差的优势在于它和均值有相同的单位，因此，标准差是衡量结果在均值附近波动幅度的自然尺度

::: note 例题

抛掷两颗均匀的骰子，随机变量 $R$ 表示掷出的数字之和，我们给出 $R$ 的 PDF（概率密度函数）

P (R = r) = {\begin{cases} \frac{6 - | r - 7 |}{36} & 若 r \in {2, 3, \dots, 12} \\ 0 & 其他. \end{cases}

求均值，方差，标准差

:::

就是套公式

μ_{R} = \sum_{r = 2}^{12} r \frac{6 - | r - 7 |}{36} = 2 \cdot \frac{1}{36} + 3 \cdot \frac{2}{36} + \dots + 12 \cdot \frac{1}{36} = 7

\begin{aligned} σ_{R}^{2} & = \sum_{r = 2}^{12} (r - 7)^{2} \cdot \frac{6 - | r - 7 |}{36} \\ = (- 5)^{2} \cdot \frac{1}{36} + (- 4)^{2} \cdot \frac{2}{36} + \dots + 5^{2} \cdot \frac{1}{36} = \frac{35}{6} \end{aligned}

σ = \sqrt{σ^{2}} \approx 2.42

期望的线性性质

有一个最重要且最实用的事实：期望是线性的

::: tip 定理

设 $X_{1}, \dots, X_{n}$ 是随机变量，并设 $g_{1}, \dots, g_{n}$ 是满足条件： $E [| g_{i} (X) |]$ 有限

令 $a_{1}, \dots, a_{n}$ 表示任意实数，那么

E [a_{1} g_{1} (X_{1}) + \dots + a_{n} g_{n} (X_{n})] = a_{1} E [g_{1} (X_{1})] + \dots + a_{n} E [g_{n} (X_{n})] .

注意：这里的随机变量不一定是相互独立的

:::

用文字来描述，就是 “和的期望等于期望的和”

下面有几个利用这个性质推理出的几条关键结果

::: tip 定理

设 $X$ 是一个随机变量，它的均值为 $μ_{X}$ ，方差为 $σ_{X}^{2}$ ，如果 $a$ 和 $b$ 是任意两个固定的常数，那么随机变量 $Y = a X + b$ 有如下结果

μ_{Y} = a μ_{X} + b

σ_{Y}^{2} = a^{2} σ_{X}^{2}

:::

感性理解上也很对，如果随机变量缩放 $a$ 倍，那么均值也被缩放 $a$ 倍，标准差被缩放 $| a |$ 倍，方差被缩放 $a^{2}$ 倍

::: tip 定理

设 $X$ 是一个随机变量，那么

σ^{2} = E [X^{2}] - E [X]^{2}

:::

证明：由于期望具有线性性质

\begin{aligned} Var (X) & = E [{(X - μ_{X})}^{2}] \\ = E [X^{2} - 2 μ_{X} X + μ_{X}^{2}] \\ = E [X^{2}] - E [2 μ_{X} X] + E [μ_{X}^{2}] \\ = E [X^{2}] - 2 μ_{X} E [X] + μ_{X}^{2} \\ = E [X^{2}] - 2 μ_{X} \cdot μ_{X} + μ_{X}^{2} \\ = E [X^{2}] - μ_{X}^{2} = E [X^{2}] - E [X]^{2}, \end{aligned}

这是一个很好的公式，能让我们在已知一阶矩和二阶矩的前提下，利用这个公式得出二阶中心矩

均值和方差的性质

我们先称述一个重要的有用的事实

::: tip 定理

如果 $X$ 和 $Y$ 是相互独立的随机变量，那么

E [X Y] = E [X] [Y]

一种特殊的情况是

E [(X - μ_{X}) (Y - μ_{Y})] = E [X - μ_{X}] E [Y - μ_{Y}] = 0

:::

证明：前面的线性性质讲的是和，但这里是积

如果两个相互独立的随机变量，那么联合概率密度函数就等于它们边缘概率密度函数之积，即

f_{X, Y} (x, y) = f_{X} (x) f_{Y} (y)

把上面这个式子应用到二重积分中

\begin{aligned} E [X Y] & = \int_{x = - \infty}^{\infty} \int_{y = - \infty}^{\infty} x y f_{X} (x) f_{Y} (y) d y d x \\ = \int_{x = - \infty}^{\infty} x f_{X} (x) d x \int_{y = - \infty}^{\infty} y f_{Y} (y) d y = E [X] E [Y] \end{aligned}

证毕

再来看一个很好的性质

::: tip 定理

设 $X_{1}, \dots, X_{n}$ 是 $n$ 个随机变量，它们的均值是 $μ_{X_{1}}, \dots, μ_{X_{n}}$ ，方差是 $σ_{X_{1}}^{2}, \dots σ_{X_{n}}^{2}$ ，如果 $X = X_{1} + \dots + X_{n}$ ，那么

μ_{X} = μ_{X_{1}} + \dots + μ_{X_{n}}

如果随机变量是 相互独立 的，那么有：

σ_{X}^{2} = σ_{X_{1}}^{2} + \dots + σ_{X_{n}}^{2}

:::

这里需要特别注意第二个性质成立的条件，相互独立，很容易忘记

下面给出一个这个定理的应用

假设有两只收益可变的股票，它们每股的价值是 $1$ ，两支股票的平均收益是 $3$ ，它们的方差都是 $2$ ，我们的目标是建立一个收益尽可能多且风险尽可能少的投资组合，我们假设这两只股票是相对独立的

假设我们一共投资 $1$ 元，其中的 $w$ 元来买第一支股票，剩下的 $1 - w$ 来买第二只，设 $S = w X_{1} + (1 - w) X_{2}$

先来看期望：

\begin{aligned} E [S] & = E [w X_{1} + (1 - w) X_{2}] = w E [X_{1}] + (1 - w) E [X_{2}] \\ = w \cdot 3 + (1 - w) \cdot 3 = 3 \end{aligned}

$w$ 的变化显然不能提升我们的期望收益

再考虑方差：

\begin{aligned} Var (S) & = Var (w X_{1} + (1 - w) X_{2}) \\ = w^{2} Var (X_{1}) + (1 - w)^{2} Var (X_{2}) \\ = (w^{2} + (1 - w)^{2}) \cdot 2 \end{aligned}

这里可以看出，投资的方差取决于 $w$ ，当 $w = 1 / 2$ 时，方差取到最小值为 $1$

协方差和相关系数

::: tip 定义协方差

设 $X$ 和 $Y$ 是两个随机变量， $X$ 和 $Y$ 的协方差记做 $σ_{X Y}$ 或者 $Cov(X,Y)$

σ_{X Y} = E [(X - μ_{X}) (Y - μ_{y})]

当 $X_{1}, \dots, X_{n}$ 都是随机变量，而且 $X = X_{1}, \dots, X_{n}$ ，那么

Var (X) = \sum_{i = 1}^{n} Var (X_{i}) + 2 \sum_{1 ⩽ i < j ⩽ n} Cov (X_{i}, X_{j}) .

:::

和前面那个定理不同的是，我们没有选择用独立性把交叉项消去，而是保留下来，它们就是协方差

与协方差密切相关的术语是相关系数，相关系数

ρ = \frac{Cov (X, Y)}{σ_{X} σ_{Y}}

相关系数是对协方差的标准化，我们有 $ρ \in [- 1, 1]$ ，相关系数越接近 $- 1$ 或 $1$ ，线性相关性就越强

对于任意两个随机变量 $X$ 和 $Y$ ，如果它们的均值分别是 $μ_{X}$ 和 $μ_{Y}$ ，那么 $X$ 和 $Y$ 的协方差可以写成

Cov (X, Y) = E [X Y] - μ_{X} μ_{Y}

这个式子和求方差的公式非常像，可以利用期望的线性性质证明

\begin{aligned} Cov (X, Y) & = E [(X - μ_{X}) (Y - μ_{Y})] \\ = E [X Y - μ_{Y} X - μ_{X} Y + μ_{Y} μ_{X}] \\ = E [X Y] - μ_{X} E [X] - μ_{X} E [Y] + E [μ_{X} μ_{Y}] \\ = E [X Y] - μ_{X} μ_{Y} - μ_{X} μ_{Y} + μ_{X} μ_{Y} \\ = E [X Y] - μ_{X} μ_{Y} . \end{aligned}

统计量

总体、样本和统计量

在一个统计问题中，把研究对象的全体称为总体，构成总体的每个成员称为个体

比如，研究某学校的身高情况，全体身高就是总体，每个学生的身高就是个体

::: tip 定义样本

若样本 $X_{1}, X_{2}, \dots, X_{n}$ 为所考察的总体具体相同的分布，且 $X_{1}, X_{2}, \dots, X_{n}$ 相互独立，则称 $X_{1}, X_{2}, \dots, X_{n}$ 为来自总体 $X$ ，容量为 $n$ 的简单随机样本，简称样本

:::

设总体 $X$ 是一个离散型的随机变量，分布律为 $P (X = x)$ ，样本 $X_{1}, X_{2}, \dots, X_{n}$ 的联合分布律为

(x_{1}, x_{2}, \dots, x_{n}; θ) = P (X_{1} = x_{1}, X_{2} = x_{2}, \dots, X_{n} = x_{n}; θ) = \prod_{i = 1}^{n} P (X_{i} = x_{i}; θ) .

就是各个部分乘起来，连续性的概率也是一样的

一旦给执行随机抽样之后，样本就是一组数据，用小写的英文字母 $(x_{1}, x_{2}, \dots, x_{n})$ 表示，也称之为样本观测值，样本观测值 $(x_{1}, x_{2}, \dots, x_{n})$ 就是样本 $(X_{1}, X_{2}, \dots, X_{n})$ 的一组特定的观测值

::: tip 定义统计量

设 $(X_{1}, X_{2}, \dots, X_{n})$ 为取自总体的一个样本，样本 $(X_{1}, X_{2}, \dots, X_{n})$ 的函数为 $g (X_{1}, X_{2}, \dots, X_{n})$ ，若 $g$ 中不直接包含总体分布中的如何未知参数，则称 $g (X_{1}, X_{2}, \dots, X_{n})$ 为统计量

:::

常见的统计量

样本均值： $\overset{―}{d} = \frac{1}{n} (X_{1} + X_{2} + \dots X_{n})$
样本方差： $S^{2} = \frac{1}{n - 1} \sum_{i = 1}^{n} (X_{i} - \overset{―}{X})$
样本标准差： $S = \sqrt{\frac{1}{n - 1} \sum_{i = 1}^{n} (X_{i} - \overset{―}{X})}$
顺序统计量（次序）： $(X_{1}, X_{2}, \dots, X_{n})$ ， $X_{(1)} \leq X_{(2)} \leq \dots \leq X_{n}$
- 极差： $X_{(n)} - X_{(1)}$