机器学习数学基础（三）

随机变量

集合论基础

• 样本空间 ( $\mathrm{\Omega }$ )：实验所有可能结果的集合
• 事件： $\mathrm{\Omega }$ 的子集（例如， $A\subseteq \mathrm{\Omega }$ ）
• $\sigma$ -代数 ( $\mathcal{F}$ )：对补集、可数并集和交集封闭的事件集合
• 随机变量：如果对所有 $x\in \mathbb{R}$ ，都有 $\{\omega \in \mathrm{\Omega }:X(\omega )\le x\}\in \mathcal{F}$ ，则函数 $X:\mathrm{\Omega }\to \mathbb{R}$ 是随机变量

离散随机变量

• 定义： $X$ 取可数个值（例如，整数），记为 $\mathcal{X}\subset \mathbb{R}$
• 概率质量函数（PMF）： $p_X(x)=P(X=x)$ ，对于 $x\in \mathcal{X}$
• 示例：
  • 伯努利分布： $p_X(1)=p$ ， $p_X(0)=1-p$
  • 二项分布： $p_X(k)=(\genfrac{}{}{0ex}{}{n}{k})p^k(1-p{)}^{n-k}$

连续随机变量

• 定义： $X$ 取不可数无穷多个值（例如，实数）
• 概率密度函数（PDF）： $f_X(x)$ 满足 $$P(a\le X\le b)={\int }_a^b{f}_X(x)dx$$
• 示例：
  • 均匀分布： $f_X(x)=\frac{1}{b-a}$ ，对于 $x\in [a,b]$
  • 正态分布： $f_X(x)=\frac{1}{\sigma \sqrt{2\pi }}{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$ ， $x\in \mathbb{R}$

累积分布函数（CDF）

• 定义： $F_X(x)=P(X\le x)$ ，对于任何随机变量 $X$ （离散或连续）
• 性质：
  • 单调不减：对所有 $x\le x^{\prime }$ ，有 $F_X(x)\le F_X(x^{\prime })$
  • 右连续： $\underset{y\downarrow x}{lim}{F}_X(y)=F_X(x)$ ， $y\downarrow x$ 表示 $y$ 从右边趋近 $x$ （即 $y\to x^{+}$ ）
  • $\underset{x\to -\mathrm{\infty }}{lim}{F}_X(x)=0$ 且 $\underset{x\to \mathrm{\infty }}{lim}{F}_X(x)=1$
  • 对于离散 $X$ ： $F_X(x)=\sum _{k\le x}{p}_X(k)$
  • 对于连续 $X$ ： $F_X(x)={\int }_{-\mathrm{\infty }}^x{f}_X(t)dt$

期望

• 定义：
  • 离散： $\mathbb{E}[X]=\sum _{x}x\cdot p_X(x)$
  • 连续： $\mathbb{E}[X]={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}x{f}_X(x)dx$
• 线性性： $\mathbb{E}[aX+b]=a\mathbb{E}[X]+b$
• 无意识统计学家法则（LOTUS）：对于任意函数 $g:\mathbb{R}\to \mathbb{R}$ ，
  • 离散： $\mathbb{E}[g(X)]=\sum _{x}g(x)p_X(x)$
  • 连续： $\mathbb{E}[g(X)]={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}g(x)f_X(x)dx$

方差与标准差

• 方差： $\text{Var}(X)=\mathbb{E}[(X-\mathbb{E}[X]{)}^2]=\mathbb{E}[X^2]-(\mathbb{E}[X]{)}^2$
• 标准差： ${\sigma }_X=\sqrt{\text{Var}(X)}$
• 性质：
  • $\text{Var}(aX+b)=a^2\text{Var}(X)$
  • $\text{Var}(X+Y)=\text{Var}(X)+\text{Var}(Y)+2\text{Cov}(X,Y)$

样本均值与样本方差估计量

• 样本均值： ${\overline{X}}_n=\frac{1}{n}\sum _{i=1}^n{X}_i$
  • 无偏： $\mathbb{E}[{\overline{X}}_n]=\mu$
• 样本方差： $S_n^2=\frac{1}{n-1}\sum _{i=1}^n(X_i-{\overline{X}}_n{)}^2$
  • 无偏： $\mathbb{E}[S_n^2]={\sigma }^2$

置信区间（CI）

• 定义：参数（例如 $\mu$ ）的区间估计，具有置信水平 $(1-\alpha )$
• 对于 $\mu$ （ $\sigma$ 已知）：置信区间为 $${\overline{X}}_n\pm z_{\alpha /2}\frac{\sigma }{\sqrt{n}}=({\overline{X}}_n-z_{\alpha /2}\frac{\sigma }{\sqrt{n}},{\overline{X}}_n+z_{\alpha /2}\frac{\sigma }{\sqrt{n}})$$ 其中 $z_{\alpha /2}$ 是 $\mathcal{N}(0,1)$ 的 $(1-\alpha /2)$ 分位数
• 对于 $\mu$ （ $\sigma$ 未知）：置信区间为 $${\overline{X}}_n\pm t_{\alpha /2,n-1}\frac{S_n}{\sqrt{n}}:=({\overline{X}}_n-t_{\alpha /2,n-1}\frac{S_n}{\sqrt{n}},{\overline{X}}_n+t_{\alpha /2,n-1}\frac{S_n}{\sqrt{n}})$$ 其中 $t_{\alpha /2,n-1}$ 是自由度为 $n-1$ 的 $t$ 分布的分位数

---

散度与熵

离散分布的 KL 散度

• 定义：对于支撑集为 ${\mathcal{X}}_p$ 和 ${\mathcal{X}}_q$ 的离散分布 $p(x)$ 和 $q(x)$ ： $$D_{\text{KL}}(p\parallel q)=\sum _{x\in {\mathcal{X}}_p}p(x)\log \frac{p(x)}{q(x)}$$
  • 如果 ${\mathcal{X}}_p⊈{\mathcal{X}}_q$ ，则 $D_{\text{KL}}(p\parallel q)=+\mathrm{\infty }$
• 分解： $$D_{\text{KL}}(p\parallel q)=H(p,q)-H(p)$$ 其中：
  • 交叉熵： $$H(p,q)=-\sum _{x\in \mathcal{X}}p(x)\log q(x)$$
  • 熵： $$H(p)=-\sum _{x\in \mathcal{X}}p(x)\log p(x)$$
• 二元情况：
  • 熵： $H(p)=-(p_1\log p_1+(1-p_1)\log (1-p_1))$
  • 交叉熵： $H(p,q)=-(p_1\log q_1+(1-p_1)\log (1-q_1))$
• 性质：
  • $D_{\text{KL}}(p\parallel q)\ge 0$ ，当且仅当 $p=q$ 时取等号
  • 不对称：一般情况下， $D_{\text{KL}}(p\parallel q)\ne D_{\text{KL}}(q\parallel p)$

连续分布的 KL 散度

• 定义：对于连续密度 $p(x)$ 和 $q(x)$ ： $$D_{\text{KL}}(p\parallel q)={\int }_{{\mathcal{X}}_p}p(x)\log \frac{p(x)}{q(x)}dx$$

Jensen-Shannon 散度

• 定义： $p(x)$ 和 $q(x)$ 的对称散度，支撑集为 ${\mathcal{X}}_p$ 和 ${\mathcal{X}}_q$ ： $$\text{JSD}(p\parallel q)=\frac{1}{2}(D_{\text{KL}}(p\parallel m)+D_{\text{KL}}(q\parallel m))$$ 其中 $m(x)=\frac{1}{2}(p(x)+q(x))$
  • $\sqrt{\text{JSD}(p\parallel q)}$ 是有效的度量

---

多元正态分布的计算

多元正态密度

• PDF：对于 $x\in {\mathbb{R}}^m$ ，均值为 $\mu$ ，协方差为 $\mathrm{\Sigma }$ ： $$\mathcal{N}(x;\mu ,\mathrm{\Sigma })=\frac{1}{(det\mathrm{\Sigma }{)}^{1/2}(2\pi {)}^{m/2}}{e}^{-\frac{1}{2}(x-\mu {)}^{\mathrm{\top }}{\mathrm{\Sigma }}^{-1}(x-\mu )}$$
• 对数密度： $$\log \mathcal{N}(x;\mu ,\mathrm{\Sigma })=-\frac{1}{2}(x-\mu {)}^{\mathrm{\top }}{\mathrm{\Sigma }}^{-1}(x-\mu )-\frac{m}{2}\log (2\pi )-\frac{1}{2}\log (det\mathrm{\Sigma })$$

多元正态分布的 KL 散度

• 一般情况：对于 ${\mathcal{N}}_{{\mu }_1,{\mathrm{\Sigma }}_1}$ 和 ${\mathcal{N}}_{{\mu }_2,{\mathrm{\Sigma }}_2}$ ： $$D_{\text{KL}}({\mathcal{N}}_{{\mu }_1,{\mathrm{\Sigma }}_1}\parallel {\mathcal{N}}_{{\mu }_2,{\mathrm{\Sigma }}_2})=\frac{1}{2}(({\mu }_1-{\mu }_2{)}^{\mathrm{\top }}{\mathrm{\Sigma }}_2^{-1}({\mu }_1-{\mu }_2)-m+\text{tr}({\mathrm{\Sigma }}_2^{-1}{\mathrm{\Sigma }}_1)+\log \frac{det{\mathrm{\Sigma }}_2}{det{\mathrm{\Sigma }}_1})$$
• 特殊情况：

  • 当 ${\mathrm{\Sigma }}_2={\sigma }_2^{2}I$ 时：

    $$D_{\text{KL}}({\mathcal{N}}_{{\mu }_1,{\mathrm{\Sigma }}_1}\parallel {\mathcal{N}}_{{\mu }_2,{\sigma }_2^{2}I})=\frac{1}{2{\sigma }_2^2}\parallel {\mu }_1-{\mu }_2{\parallel }^2+\frac{\text{tr}({\mathrm{\Sigma }}_1)}{2{\sigma }_2^2}-\frac{m}{2}+\frac{m\log {\sigma }_2^2}{2}-\frac{\log det{\mathrm{\Sigma }}_1}{2}$$

  • 当标准正态分布（ ${\mu }_2=0$ ， ${\mathrm{\Sigma }}_2=I$ ）时：

    $$D_{\text{KL}}({\mathcal{N}}_{{\mu }_1,{\mathrm{\Sigma }}_1}\parallel {\mathcal{N}}_{0,I})=\frac{1}{2}\parallel {\mu }_1{\parallel }^2+\frac{\text{tr}({\mathrm{\Sigma }}_1)}{2}-\frac{m}{2}-\frac{\log det{\mathrm{\Sigma }}_1}{2}$$